加载中…
个人资料
千锋大数据
千锋大数据
  • 博客等级:
  • 博客积分:0
  • 博客访问:22,054
  • 关注人气:10
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

Docker搭建的大数据环境,一键启停!

(2019-12-30 15:09:25)

  代码未动,环境先行

  我是一个Docker 爱好者。我在学习大数据相关技术的时候,想到了一个点子:

  用docker搭建一个大数据开发环境!

  这么做有什么好处呢 ?

  我只要有了这个docker-compose.yml 容器编排描述文件,我就可以在任何一个安装docker 软件的机器里,启动我的大数据环境。

  一劳永逸的事情,不正是我们程序员每天都在做并且是努力的目标吗?

  如何做?

  找遍了国内的博客和帖子,都没有合适的答案。

  我只能自己来。

  docker hub

  首先我去到docker hub 。 这个就是 github的 docker 版本。

  我在里面搜索了 很多 Hadoop , spark 等等关键词,找到了一家公司;

  


  这家公司 几乎把所有的 大数据组件都做成了 docker image 。 而且是细粒度,分角色 去划分的。真的太棒了。

  比如 你现在看到的这个图片,就是 他针对于 Hadoop 中 namenode 这一角色做的docker image。如果你在其之上做一些封装和个性化定制将会变得特别容易。

  于是我就从他的Registry 中找我想要的大数据组件

  Hadoop

  Hive

  Spark

  easy , 全都找到了。

  虚拟机

  接线来我们就需要 在虚拟机中安装docker了。

  什么 还需要虚拟机 ?

  这里我说一下,安装一个虚拟机吧,windows 各种不方便。(mac 的朋友可以飘过)。

  虚拟机我使用 virtual box , 安装的 ubuntu 。

  然后我就开始安装docker了。

  安装了docker 还需要安装他的孪生兄弟,docker-compose

  

docker-compose.yml

docker-compose 让docker 容器的编排变得简单。

docker-compose.yml 记录了如何编排的过程。他是一个描述文件!

如下 是我大数据环境的docker-compose.yml 文件!


  后来我需要用到 elasticsearch 和 kibana , 我就直接加上去了。真的非常方便。

  最重要的是 他可以 轻松的 share 给你的小伙伴,好基友。

  接下来我们需要写一个启动脚本,一个停止脚本。这样就能实现一键启停了。

  run.sh

  stop.sh

  来看下效果:

  


  启动成功了。验证一下

  


  

  

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有