如何处理大规模的快数据集

大数据指的是创建的数据和供分析的数据的数量与速率迅速增加。

此趋势的主要驱动因素是不断增加的信息数字化。采集设备的数量和类型以及其他数据生成机制无时无刻不在增加。

大数据源包括来自仪表传感器、卫星和医疗图像的流数据，来自安全摄像机的视频以及派生自金融市场和零售运营的数据。上述来源的大数据集可以包含千兆字节或百万兆字节的数据，并且每天以兆字节或千兆字节的级别增长。

大数据使分析师和数据专家有机会获得更好的见解，进行更明智的决策，但是它同时也会带来许多的挑战。可用的内存可能无法足以处理大数据集，可能需要花太久的时间进行处理或可能流动太快而无法存储。标准算法通常不能以合理的时间或内存来处理大数据集。没有任何一种单一方法可以处理大数据。为此，MATLAB 提供了许多工具来解决这些挑战。

在 MATLAB 中处理大数据

1. 64 位计算。64 位版本的 MATLAB 可迅速增加内存中可保留的数据量——通常可达到任意 32 位程序的 2000 倍。32 位程序限制您只能使用 2 GB 的内存，而 64 位 MATLAB 的内存可以达到操作系统的物理内存限制。对于 Windows 8，台式机内存为 500 GB，Windows Server 内存为 4 TB。
2. 内存映射的变量。 借助 MATLAB 中的 memmapfile 函数，您可以将文件或文件的一部分映射到内存中的 MATLAB 变量。这样，您就可以高效访问磁盘上由于太大而无法保留在内存中或需要花太长时间而无法加载的大数据集。
3. 磁盘变量。 matfile 函数使您可以直接从磁盘上的 MAT 文件访问 MATLAB 变量（使用 MATLAB 索引命令），无需将全部变量加载到内存。这使您可以在大数据集上进行块处理，这些大数据集因为太大而无法保存在内存中。
4. 内在的多核数学。MATLAB 中的许多内置数学函数，如 fft、inv 和 eig 都是多线程的。通过并行运行，这些函数充分利用计算机的多核，提供高性能的大数据集计算。
5. GPU 计算。如果您正在使用 GPU，Parallel Computing Toolbox 中的 GPU 优化的数学函数可以为大数据集提供更高的性能。
6. 并行计算。 Parallel Computing Toolbox 提供 并行 for 循环 , 该循环在多核计算机上并行运行您的 MATLAB 代码和算法。如果您使用 MATLAB Distributed Computing Server，则可以在机器群集上并行执行，这些机器可扩展到数千台计算机。
7. 云计算。对于数百或数千台计算机的按需并行处理，您可以在 Amazon Elastic Computing Cloud（亚马逊弹性计算云）(EC2) 上使用 MATLAB Distributed Computing Server 并行运行 MATLAB 计算。借助云计算，您无需购买或维护您自己的群集或数据中心就可以处理大数据。
8. 分布式阵列。 使用 Parallel Computing Toolbox 和 MATLAB Distributed Computing Server，您可以处理分布在计算机群集内存中的矩阵和多维数组。使用此方法，您可以针对因太大而无法由单台计算机内存处理的大数据集，进行存储和执行计算。
9. 流式算法。 使用系统对象，您可以对因太大或太快而无法保留在内存中的数据传入流执行流式处理。此外，您还可以使用 MATLAB Coder 通过 MATLAB 算法生成嵌入式 C/C++ 代码，并针对高性能实时系统运行产生的代码。
10. 图像块处理。使用 Image Processing Toolbox 中的 blockproc 函数，您可以处理特别大的图像，方法是每次以模块的形式高效处理它们。与 Parallel Computing Toolbox 一起使用时，在多核和 GPU 上并行运行计算。
11. 机器学习。 机器学习有助于通过大数据集提取见解和开发预测性模型。广泛的机器学习算法，包括 Statistics Toolbox和 Neural Network Toolbox 中提供的促进式 (boosted) 和袋装 (bagged) 决策树、K 均值和分层聚类、k-最近邻搜索、高斯混合、期望最大化算法、隐马尔可夫模型和神经网络。

示例与具体方法

• Large Data Sets in MATLAB 47:40 （网络讲座）
• 利用 PCT 和 MDCS 进行内存中的大数据分析 （博客）
• 用于可视化大型数据集的 Plot（大型）函数 （文件交换）
• 使用 memmapfile 导航“大数据”二进制文件 （Loren 谈 MATLAB 技巧博客）
• 处理“特别大的”图像：块处理 （Steve 谈图像处理博客）
• 使用系统对象进行 MATLAB 中的流式处理 （概述）
• Using Distributed Arrays to Process Large Matrices 7:36 （视频）
• 使用 SPMD 和分布式阵列求解大规模线性代数问题 （文章）

应用示例

• Tesco 使用 Supply Chain Analytics 一年节省了一亿英镑（文章及相关）
• How Weather and Pricing Affect Sales: Using MATLAB to Improve Tesco's Supply Chain 23:51
• Naturalistic 汽车驾驶数据处理和分析（文章及相关 ）
• Data Processing Framework Supporting Large-Scale Driving Data Analysis 30:38
• Listening to the World's Oceans: Searching for Marine Mammals by Detecting and Classifying Terabytes of Bioacoustic Data in Clouds of Noise 51:32 （网络讲座）
• Edwards Air Force Base 加速了大规模飞机测试数据的分析 （用户案例）
• 通过高性能计算进行地震数据处理 （概述）
• 生态系统如何影响区域气候建模 （文章）

软件参考

• 在 MATLAB 中高效使用内存的策略 （文档）
• MATLAB 中内存映射概述 （文档）
• 大型 Multi-Entry 文本文件（FASTA、FASTQ、SAM） （文档）
• Image Processing Toolbox 中的相异块处理 （文档）