加载中…
博文
分类: 数据仓库

1.数据仓库数据集成

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2017-09-06 22:09)
标签:

ods

分类: 数据仓库

ODS数据加载算法

 

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2017-08-31 09:40)
标签:

月结

分类: 个人管理
    读书——————————————————————————
本月阅读基本荒废:
思考了自己本月读书少以及没有坚持下去的原因:
1.最近带孩子,还没有找到一个平衡点。
2.上下班通勤没有读书,白白浪费了时间。此后还是基于kindle阅读比较好点。
3.大前研一《思考的技术》,读了大概一半左右。随时随地保持思考,不盲目做事情,多问为什么。
阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

1.第一步

创建SparkConf对象,设置Spark应用的配置信息,使用setMaster()可以设置Spark应用程序要连接的Spark集群的master节点的url,如果设置为”local”则代表在本地运行。

2.第二步

创建SparkContext,在Spark中,SparkContext是Spark所有功能的一个入口,你无论是用jav

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

Ubuntu下测试ssh时使用ssh localhost 命令,出现错误提示connect to host localhost port 22:Connection refused

造成这个错误的原因可能是ssh-server未安装或者未启动。ubuntu 11.10 默认安装openssh-client,但是木有安装server

运行 ps -e | grep ssh,查看是否有sshd进程

如果没有,说明server没启动,通过 /etc/init.d/ssh -start 启动server进程,如果提示ssh不存在 那么就是没安装server

通过 sudo apt-get install openssh-server命令安装即可

阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
(2017-02-24 13:44)

Spark RDD 弹性,缓存,创建RDD的几种方式,Persist持久化,广播

1.Spark RDD弹性:

  • 自动的进行内存与磁盘数据的切换
  • 基于LineAge的高效容错
  • 任务失败会自动进行特定次数的重试
  • Stage如果失败会自动进行特定次数的重试

2.什么时候使用缓存:

    阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

    1.为什么要有HistoryServer

    以standalone运行模式为例,在运行Spark Application的时候,Spark会提供一个WEBUI列出应用程序的运行时信息;但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录;

    Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日志事件信息,那么在Application执行结束后,WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息;

    Spark运行在yarn或者mesos之上,通过spark的history server仍然可以重构出一个已经完成的Application的运行时参数信息(假如Ap

    阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
    (2017-02-17 08:45)

    在Spark集群上安装Zookeeper,实现集群的高可用性(HA),Hadoop及Spark集群的搭建请参考相关博客。
    Hadoop2.5.1完全分布式集群部署
    Spark-CentOS6下搭建spark-2.1.0-bin-hadoop2.7

    阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
    (2017-02-16 11:28)
    利用Scala语言编写第一个Spark程序,并分别在本地和Spark集群正常运行,主要有以下几个步骤。
    1 创建Spark的配置对象SparkConf,设置Spark的运行时信息,例如说通过色图Master来设置程序要链接到的集群的Master的URL,如果设置为local,则为本地运行。
    阅读  ┆ 评论  ┆ 转载 ┆ 收藏 

    1.Scala的类,函数,方法都可以是泛型
    2.上边界 “<:”表达了泛型的类型必须是某种类型或者其子类,是对类型的限定
    3.下边界 “>:”表达了泛型的类型必须是某种类型或者其父类,是对类型的限定
    4.View bound:把类型转换为目标类型,是上边界和下边界的加强版本 T

    阅读  ┆ 评论  ┆ 转载 ┆ 收藏 
    个人资料
    不圆的石头
    不圆的石头
    • 博客等级:
    • 博客积分:0
    • 博客访问:8,085
    • 关注人气:0
    • 获赠金笔:0支
    • 赠出金笔:0支
    • 荣誉徽章:
    访客
    加载中…
    好友
    加载中…
    评论
    加载中…
    留言
    加载中…
      

    新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有