目前常用的并行计算机是对称多处理机(smp)和集群系统(cluster)。常见的搭载单颗多核处理器的桌面个人计算机就属于 smp；cluster 是一种通过局域网络将多台计算机连接起来协同工作的并行计算系统，可以用普通个人电脑(PC)、工作站(workstation)或者 smp 来组建 cluster。smp 与 cluster 最大的区别在于：smp 中内存地址具有单地址空间，各处理器可以平等地调用共享内存、I/O 设备和操作系统等各种资源；cluster 中内存实际分布在各个节点上，处理器读取本地节点的内存时数据通过总线传输，延时低，处理器读取其它节点的内存时数据通过局域网络传输，延时高。smp 支持的最大处理器数一般不超过 10 个^[1]，因此 smp 只能作为小型的并行计算系统。cluster利用局域网络进行处理器间通信的方法虽然能提高并联的处理器数，但也因局域网络的带宽和延时限制了集群的性能，目前集群技术适合搭建 100 颗处理器以下级别的并行计算系统^[1]。
 
目前 smp 结构的服务器一般是搭载多核处理器的双路或四路服务器，但真正的八路或十六路服务器产品非常少见。一些 smp 结构的小型机可以并联更多的处理器，但是其价格昂贵，后期维护复杂。cluster 可以使用商业化大生产的多路服务器来构建。双路或四路服务器是很好的选择，该类服务器价格低廉、性能优异，用来构建 cluster 可以获得很好的性能/价格比。所以在科学计算领域，cluster 非常流行，在 TOP500 中很大一部分并行计算系统都
 
是 cluster。
 
此外还有一些阵列处理机、向量处理机，可能不兼容常用的 x86 程序，所以应用上具有局限性。目前提出的 GPU 加速技术，需要开发新的程序来使用该技术，用在运行商业程序的集群上也不适用。
 
1 基于 Abaqus软件的数值模拟并行计算集群平台的建立
 
1.1 集群系统的结构
 
集群中的每台计算机设备都称为集群的节点(node)，有时各节点在功能上具有分工，那么各节点可以依照功能划分为管理节点、计算节点、I/O 节点等；有时一个节点也可能实现多个功能，例如小型集群可以将 I/O、存储、管理等功能都放在一个节点上，这个节点就可以称为主节点。与 smp 相比，集群更具有可扩放性：增加集群中处理器数量只需要增加集群的节点。
 
本文中构建的集群采用机架式设备组建，按功能分为四类节点：计算节点、管理节点、存储节点和网络节点。其具体的硬件配置见表 1。其拓扑结构图见图 1。图 1 显示了该集群系统及其主要附属设备。除集群各类节点外，电源系统、监视系统和冷却系统也是维持集群正常工作的重要附属设备。

 

	4 台 DELL PE1950 或 DELL PE2950 双路四核机架式服务器
	处理器	每台搭载 2 颗 3GHz Intel Xeon Pro E5450 或
计算节点		X5365 处理器
	内存	每台 8GB DDRⅡ 667MHz 全缓冲 ECC 效验内存
	硬盘	每台 2 块 SAS 15000 转 146GB 硬盘组建 RIAD 0
	网卡	每台双 1Gb 以太网卡，支持链路聚合与巨型帧
	1 台 DELL PERCISION 670 双路双核工作站
管理节点	处理器	2 颗 Intel Xeon 3.2G 处理器
	内存	4GB DDRⅡ 400MHz ECC 效验内存
	显卡	NVIDIA Quadro FX 1400 专业显卡
	1 台 QNAP TS-809U-RP 网络附加存储器
	处理器	Intel Core 2 Duo 2.8GHz 处理器
存储节点	闪存/内存	128M FLASH/2G DDRⅡ
	硬盘	8 块 SATAⅡ 1TB 企业级硬盘，组建 RIAD 5
	网卡	双 1Gb 以太网卡，支持链路聚合与巨型帧
	1 台 DELL PowerConnect 2724 千兆以太网络交换机
网络节点	交换能力	最大 48 Gbps 交换速度
	链路聚合功能	6 个组的链路聚合，每组最多 4 个端口
	巨型帧功能	支持标准的 9k 巨型帧

http://www.posongbi.com/uploadfile/2017/0415/20170415041942275.png| Abaqus 小型并行计算集群平台的构建方法" />

 

   
1.2 计算节点的选择
 
在构建基于 Abaqus 软件并行计算数值模拟集群平台时，硬件选择方面如何兼顾显式计算和隐式计算是首先

file:///C:\Users\XUBAIN~1\AppData\Local\Temp\ksohtml\wps65C8.tmp.png| Abaqus 小型并行计算集群平台的构建方法" TITLE="abaqus学习系列 | Abaqus 小型并行计算集群平台的构建方法" />需要考虑的问题。显式算法和隐式算法在并行计算性能特性方面有很大的差异。显式算法的并行性能好，但是，如果模型网格划分很细致，则计算的时步需要取值很小；隐式计算的并行性能稍差，CPU 间通信多，但模型所取的计算时步和网格尺寸都可以大一些，时间步长甚至是同类问题显式算法模型的 1000 倍。表 2 总结了隐式算法和显式算法的特点，以及对计算机硬件的要求。
 
表 2 隐式算法与显式算法的特性比较^[2]
 

	隐式算法	显式算法
典型的软	ABAQUS/Standard、	ABAQUS/Explicit、LS-DYNA
件	ANSYS
求解的问	静力、模态、屈曲等	接触、碰撞、冲击等
题
算法特点	内存占用多、磁盘	相对而言，内存、I/O 和通信量要少一些
	I/O 大、进程通信量
	大
硬件要求	内存容量大、访存带	相对而言，系统硬件配置可低一些
	宽高、磁盘 I/O 速度
	快、通信延迟低
算法扩展	8-16 CPU	64-128 CPU
性

 
虽然隐式算法的并行计算扩展性差，但是可以使用高主频的处理器来加速计算。本集群使计算节点采用高性能计算节点，但是配置了较少的节点数，在 CPU 主频和 CPU 个数两个性能参数上取得平衡，从而兼顾隐式算法和显示算法。
 
中央处理器(CPU)是决定计算机性能的核心部件。计算机根据 CPU 支持的指令集的差异分为：复杂指令系统计算机(CISC)和精简指令系统计算机(RISC)。常用的 Intel Xeon 和 AMD Option 处理器隶属于 CISC/IA-32(也称为 x86-64 或 EMT64)构架。CISC 的发展历史悠久，可运行于 CISC 上的程序非常丰富，该构架下的处理器研发工作
 
也非常迅速。Intel Itanium 处理器隶属于 CISC/IA-64 构架，但不兼容 32 位程序，存在应用局限性。同时 Intel Itanium
 
处理器主频低，其 abaqus 计算性能反而不如高频的 x86-64 处理器。IBM Power 处理器隶属于 RISC 构架。虽然 RISC 在计算效率上高于 CISC，但其相应程序的开发要慢于 CISC。由于 CISC/IA-64 和 RISC 非通用性，计算速度相同的处理器产品中 x86-64 的价格最低廉。在 TOP500 中采用 x86-64 处理器的集群所占比例很大。
 
综合考虑计算机软件的通用性、设备价格、设备性能和解决设备故障的难易性，Intel Xeon 或 AMD Option 处理器是很好的选择。这两类处理器都属于 64 位处理器，也兼容 32 位程序。
 
判断 x86-64 处理器性能的主要指标是处理器核心类型、主频、总线带宽(或类似的技术)、缓存容量。但是在
 
某一地铁隧道地震效应数值计算中(使用 Abaqus/Standard 求解器)，Intel Xeon X5365 处理器的计算速度要高于 Intel Xeon E5450 处理器。在其它一些使用 Abaqus/Standard 求解器的测试中，Intel Xeon 5400 系列处理器的计算速度
 
要高于 Intel Xeon 5500 系列处理器。所以上述主要指标只是处理器性能的参考，为 Abaqus 集群选择处理器需要做贴近实际运用的测试。
 
1.3 存储节点对计算速度的影响
 
Abaqus 软件在计算中将产生临时文件和结果文件，这些文件需要存储在磁盘空间上。一个集群系统的磁盘空间可能是局部存储类型的，这类空间只允许某一个节点访问；也可能是全局存储类型的，这类空间允许所有节点访问。每个节点上装载的硬盘是局部存储，但是可以通过网络文件系统(NFS)服务通过局域网络上实现磁盘共享，共享的磁盘空间就是全局存储空间。
 
在《Abaqus Version 6.7 PDF Documentation》中称临时文件和结果文件可以存储在任意类型的空间上。实际中

图 2 磁盘性能对计算速度的影响