为集群计算系统选存储

山东大学集群系统存储架构拓扑图

前不久，浪潮天梭高性能计算系统与中国象棋界顶尖高手的对局吸引了无数人的眼球。高性能计算又成了万众瞩目的焦点。以前，一提起高性能计算系统，人们往往会首先联想到军事、科学研究、气象、地理等方面的应用，更多关注的是其突出的计算能力。其实，高性能计算系统涉及整机构架、存储、通信、安全等多个技术模块，而随着数据量、计算节点的增加，存储系统承受的压力也越来越大。

高性能计算系统应该配备什么样的存储系统呢？为了弄清这个问题，还是让我们先来了解一下高性能计算的发展趋势吧。

集群系统已经成为高性能计算的主流，无论是尖端科研领域，还是工业制造中的协同制造网格应用，这种趋势都十分明显。在全球TOP500高性能计算机排行榜上，集群系统所占的比例也越来越高。集群系统的成熟也使得集中计算、共享存储以及随之而来的数据集中、数据管理变得十分重要。集群计算系统对存储系统性能的要求日益提高。无论是那种高性能计算系统，都有一个共同特征，就是存储系统的高吞吐量。在这些系统中，存储系统的I/O性能需要支持对TB甚至PB量级的共享数据进行快速访问。例如，在《泰坦尼克》、《玩具总动员》等电影动画生成过程中，需要将场景生成任务分发到上百个计算节点上，其中每个节点负责生成最终场景中一个单独的部分。共享的场景和人物信息，以及每一帧的渲染指令必须能够被每一个参与计算的节点访问，而每个节点计算一帧会产生大约50MB的数据量。数据量日渐庞大，众多计算节点具有巨大的数据处理能力，这都要求存储系统能够提供海量存储空间和丰富的数据管理功能。越来越多的集群系统把SAN作为存储架构，以实现存储容量和性能的提升。作为一种高性能的存储系统，SAN的优势还是十分明显的，但是随着系统规模的扩大，高昂的价格对某些用户来说可能是无法承受的。有业内人士就指出，目前FC SAN系统的成本很高，其价格可能比集群系统本身还贵。

急剧增加的计算节点、高并发的数据访问，必然要求存储网络及存储系统可以满足聚合高效率、高带宽的数据访问需求。高聚合带宽的需求，直接推动了集群存储技术的发展。集群文件系统具备支持大规模数据有效传输，且支持多计算节点间数据共享等特点。在高性能计算系统中，由于计算节点的重复安装、配置等管理工作会降低集群系统的使用效率，因此以存储为核心的集群系统高效管理技术成了下一步研发的重点。

高性能计算中的数据既有参考型数据，又有事务型数据。与传统商用计算中大量数据沉积下来成为参考型数据不同，高性能计算系统往往需要对数据进行频繁读取，这就对系统的可靠性、可用性提出了更高的要求。另一方面，海量数据的集中也要求存储系统提供更高的数据管理能力。

另外，在高性能计算领域，linux操作系统正在不断蚕食其他操作系统的市场份额。正因为如此，一些专门针对linux集群的存储解决方案也得到了更大的施展空间。

高性能计算在国防、信息安全、石油勘探、气象预报、生物制药、工程仿真、科学计算、商业计算等领域都有着旺盛需求，而这些行业的应用需求又各具特色。为高性能计算系统配备什么样的存储，还是应该具体情况具体分析。举例来说，山东大学在高能物理研究中就选择了浪潮中端存储系统AS500。山东大学采用的天梭10000高性能计算系统，总节点数量24个，包括18个计算节点、两个登录节点、1个管理节点、两台文件服务器以及1台安腾2开发服务器，系统峰值的计算能力达到268.8FLOTS。这一计算体系配置了两套AS500存储设备。在实际应用中，两套AS500分别与两台应用服务器直连，为登录用户提供数据以及为计算项目保存运算结果。AS500具备高稳定、高性能、灵活扩展的特点，可以兼容FC和iSCSI两种主流主机接口，进一步提升了计算系统的整体性能，可以满足高能物理海量数据处理的苛刻要求。 （E5）