大数据存储与处理课程教学大纲

第一讲，大数据原理与技术概论

包括大数据概念、特点，研究内容，大数据技术简介。

第二讲，搜索引擎技术，Google Big Table技术，分布式数据存储技术

这部分内容通过介绍搜索引擎的原理与技术，介绍Google大数据技术出现的技术背景，使学生能更好的理解NoSQL数据库原理，介绍搜索引擎的数据采集方法、存储模型、检索模型、评价模型与技术，介绍Google搜索引擎、Lemur、Lucene等。介绍Big Table技术。

实验：利用Nutch进行数据采集，利用Lucene建立搜索引擎集群。

第三讲，SPSS分析工具介绍

介绍IBM 的SPSS工具与技术。

实验：SPSS大数据分析实验

第四讲，Hadoop, HDFS

这部分内容介绍Hadoop的存储模型，文件系统HDFS，文件系统HDFS的使用命令，Hadoop集群搭建技术等。

实验：Hadoop集群搭建，HDFS命令使用

第五讲，HBase, Hive，Pig，列族数据库

这部分内容介绍HBase的原理与存储模型，Hive的存储模型，列族数据库的存储模型与特点，HBase、Hive、Pig的命令的使用等。HBase、Hive  API接口与开发。

实验：HBase, Hive，安装，HBase, Hive，Pig命令使用。要求建立分布式集群。

第六讲，NoSQL数据库原理，CAP，BASE

这一讲主要介绍NoSQL数据库原理，包括CAP，BASE，分布机制等

第七讲，Map Reduce开发技术

这部分内容介绍Map Reduce开发技术与案例，分布式数据处理技术。

实验：Map Reduce实验，要求建立分布式集群。 

第八讲，Redis，键值数据库

这部分内容介绍Redis原理，键值数据库的存储模型与特点，Redis命令的使用等。Redis API接口与开发。其他典型键值数据库介绍。

实验：Redis的安装，命令使用，建立分布式存储环境，开发案例编写与运行

第九讲，MongoDB文档数据库

这部分内容介绍MongoDB原理，文档数据库的存储模型与特点，MongoDB命令的使用等。MongoDB API接口与开发。其他典型文档数据库介绍。

实验：MongoDB的安装，命令使用，建立分布式存储环境，开发案例编写与运行

第十讲，Neo4j图数据库，图计算应用

这部分内容介绍Neo4j原理，图数据库的存储模型与特点，Neo4j命令的使用等。Neo4j API接口与开发。介绍图计算的模型与算法，其他典型图数据库介绍。

实验：Neo4j的安装，命令使用，建立分布式存储环境，开发案例编写与运行

第十一讲，数据可视化

这一讲主要介绍大数据可视化的意义、要求、工具等。

第十二讲，行业应用案例，IBM大数据解决方案

这一讲主要介绍行业应用案例，IBM大数据解决方案等。

“大数据存储与处理”课程每一讲3个课时，教学实施时可以根据学生的基础做调整。