加载中…刘晖数据工程专项培训
(2022-04-24 08:51:31)
标签：
刘晖量子信息技术区块链数字经济元宇宙 |
分类： 互联网 |
【课程收益】
1.
2.
3.
【课程特色】
1. 课上采用案例式教学，通俗易懂，课下一对一辅导强化训练，学与练交叉进行强化记忆，你所要做的就是认真听，勤于问，乐于练。
2. 清晰的知识结构，根据应用经验采用最优化授课模式。
3. 内容充沛、详略得当，前后呼应。
4. 讲师资历丰富，具有丰富的实践经验。
5. 知识讲授+贴身案例+场景故事+互动讨论+现场演练+落地跟踪
【课程对象】相关人员
【课程时长】2天（6小时/天）
【课程大纲】
第一部分：数据仓库
一、
1.
2.
3.
4.
5.
6.
二、
1.
2.
3.
4.
5.
6.
三、
1.
2.
3.
4.
5.
6.
四、
1.
2.
3.
4.
5.
五、
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
六、
1.
2.
3.
4.
5.
6.
7.
七、
1.
2.
3.
4.
5.
6.
八、
1.
2.
3.
4.
九、
1.
2.
3.
4.
第二部分：数据存储方案
一、
二、
三、
四、
五、
六、
七、
八、
九、
十、
十一、
十二、
第三部分 数据处理过程的规划、设计、优化
一、
二、
三、
四、
课程1：大数据技术基础与应用
|
时间 |
内容 |
案例实践与练习 |
|
|
一、大数据时代背景 二、大数据业务应用场景 三、大数据在各行业最佳实践案例 |
案例讨论：大数据行业应用价值 |
|
|
一、大数据处理技术发展趋势 二、大数据主要存储技术介绍 三、大数据主要计算技术介绍 |
案例分析：
|
课程2：大数据基础理论与算法入门
|
时间 |
内容 |
|
|
第1个主题：概率论与数理统计入门
1、
2、
3、
4、
5、
6、
7、
8、
9、 |
|
|
第2个主题：离散值的概率分布
1、
2、
3、
4、
5、
6、 课堂实操：概率统计各种相关类型习题讲解，由浅入深探索概率统计 第3个主题：SQL语法与应用实战
1、
2、
3、
4、
5、
6、
7、 |
|
|
第4个主题：数据预处理
1.
2.
3.
4.
5.
6.
7.
8. 第5个主题：数据分析入门
1.
2.
3.
4. |
|
|
第6个主题：数据算法基础
1.
2.
3.
4.
5.
6.
7.
8.
9.
10. |
|
|
第7个主题：数据算法基础
1.
2.
3.
4.
5.
6.
7.
8.
9. |
课程3：Hadoop生态系统
|
时间 |
内容 |
案例实践与练习 |
|
|
一、HDFS特征及读写文件 二、NameNode的考虑 三、HDFS安全概览 |
案例练习：HDFS基础命令 |
|
|
一、运用 Hadoop文件Shell 二、利用Flume 从外部源摄取数据 三、利用Sqoop从关系数据库摄取数据 |
案例练习：HDFS脚本及接口命令 |
|
|
一、MapReduce原理及特征 二、YARN2.0架构与原理 三、Zookeeper和YARN2.0关系 |
案例练习：MapReduce运行及调度 |
|
|
一、SQOOP原理及特征 二、SQOOP开发应用 三、SQOOP和Hadoop关系 |
案例练习：SQOOP开发 |
|
|
一、zookeeper原理及特征 二、zookeeper架构与应用 三、Zookeeper和Hadoop关系 |
案例练习：Zookeeper集群管理命令 |
|
|
一、HBase原理及特征 二、HBase and RDBMS 三、HBase Shell |
案例练习：HBase Shell命令 |
|
|
一、创建表 二、HBase 的ROWKEY设计 三、Hbase的优化设计 |
案例练习：HBase 优化设计 |
|
|
一、Hive模式和数据存储 二、Hive与传统数据库的比较 三、Hive应用案例 |
案例练习：Hive模式及管理命令 |
|
|
一、HQL基础DDL编程 二、HQL基础DML编程 三、HQL实现关联操作 |
案例练习：Hive 基础开发 |
|
|
一、Hive管理的各中表与模型应用 二、装载数据进入Hive 三、Hive维度模型开发应用 |
案例练习：Hive模型开发 |
|
|
一、Flume装载数据进入Hive 二、SQOOP装载数据进入Hive 三、Hive开发与Hadoop关系 |
案例练习：Hive接口开发 |
|
|
一、Scala基础知识 二、Scala常用集合 三、Scala应用场景 |
案例练习：Scala基础开发 |
|
|
一、函数对象 二、编程实例 三、Scala高级开发应用 |
案例练习：Scala开发应用 |
课程4：Spark生态系统
|
时间 |
内容 |
案例实践与练习 |
|
|
一、Spark发展历史及简介 二、Spark业务应用场景 三、Spark与Hadoop系统关系 |
案例讨论：Spark与Hadoop系统关系 |
|
|
一、Spark原理及特征 二、Spark架构及组件应用场景 三、Spark接口及应用场景 |
案例讨论：Spark接口及应用场景 |
|
|
一、RDD基础 二、转换操作与执行操作 三、共享变量 |
案例练习：RDD基础开发操作 |
|
|
一、Spark计算框架原理及特征 二、Spark架构与应用 三、Spark之宽窄依赖和DAG调度 |
案例练习：Spark计算模型及运行日志查看 |
|
|
一、Spark资源调度原理及特征 二、Spark资源调度架构及应用 三、Spark资源调度基于Hadoop |
案例练习：Spark调度命令 |
|
|
一、Spark生态系统接口介绍 二、Spark生态系统接口与Hadoop 三、Spark生态系统接口与大数据分析 |
案例练习：Spark接口开发 |
|
|
一、Spark SQL原理与架构 二、Hive SQL与Spark SQL 三、Spark SQL开发应用 |
案例练习：Spark SQL基础开发 |
|
|
一、Spark SQL与Hive 二、Spark SQL与模型构建 三、Spark SQL与数据挖掘分析 |
案例练习：Spark SQL模型开发 |
|
|
一、Spark Streaming基本原理 二、Spark Streaming开发基础 三、Spark Streaming开发应用 |
案例练习：Spark Streaming开发 |
|
|
一、Spark ML读取数据 二、Spark ML对数据进行探索 三、Spark ML训练模型 |
案例练习：Spark Mllib开发 |
|
|
一、Spark ML组装任务 二、Spark ML评估、优化模型 三、Spark Mllib开发 |
案例练习：Spark Mllib开发 |
|
|
一、Spark GraphX 的核心代码剖析 二、Spark GraphX 命令方式操作 三、Spark GraphX 的客户端 API 介绍 |
案例练习：Spark Graphx开发 |
课程5：大数据流式处理技术入门
|
时间 |
内容 |
案例实践与练习 |
|
|
一、大数据流式处理技术原理与架构 二、大数据实时计算应用场景 三、大数据实时计算与Hadoop系统 |
案例讨论：大数据实时计算与Hadoop系统 |
|
|
一、大数据流式处理组件介绍 二、SparkStreaming与各流计算组件特点 三、大数据流式处理技术选型实践 |
案例讨论：大数据流式处理技术选型 |
|
|
一、FLUME基本原理 二、FLUME架构部署 三、FLUME管理运维开发命令 |
案例练习：FLUME开发基础 |
|
|
一、FLUME读取数据 二、FLUME处理数据 三、FLUME写入数据 |
案例练习：FLUME开发应用 |
|
|
一、Kafka基本原理 二、Kafka架构部署 三、Kafka管理运维开发命令 |
案例练习：Kafka开发基础 |
|
|
一、Kafka读取数据 二、Kafka处理数据 三、Kafka写入数据 |
案例练习：Kafka开发应用 |
|
|
一、ELK各组件特点 二、ELK架构优势 三、ELK开发应用场景 |
案例练习：ELK开发基础 |
|
|
一、ELK部署配置 二、ELK管理运维 三、ELK开发应用 |
案例练习：ELK开发应用 |
|
|
一、Flink原理 二、Flink架构优势 三、Flink开发应用场景 |
案例练习：Flink开发基础 |
|
|
一、Flink部署配置 二、Flink管理运维 三、Flink开发应用 |
案例练习：Flink开发应用 |
喜欢
0
赠金笔