优化IBM pSeries 670服务器I/O性能

【摘要】1.首先对EMC Clariion－CX700 进行全面诊断，检查Clariion－CX700阵列状态，没有发现硬件故障； 2.运行EMC阵列 CAP2检测工具,收取CX700系统信息和阵列性能数据； 3.分别在IBM pSeri...

由于系统性能调优是个非常复杂的问题，在SAN 的存储环境中，服务器、SAN交换机、磁盘阵列各个环节都有可能对性能造成很大的影响，本文针对IBM pSeries 670服务器，对建立在 EMC磁盘阵列Clariion－CX700的文件系统的读写访问速度很慢的问题，进行了系统性能优化和诊断。

中国石油地球科学与钻井系统（简称“A1”项目）在大庆油田勘探开发研究院已运行一年多了，2006年大庆油田A1项目组在大批量加载地震数据时，发现ibm pseries 670服务器对建立在 EMC磁盘阵列Clariion－CX700的文件系统的读写访问速度很慢，曾一度出现平均读写速度为1MB/s左右的情况。针对这一问题，我们对IBM pSeries 670 服务器AIX 操作系统firmware从5.1.1升级至5.1.10后，IBM pSeries 670 服务器I/O读写访问速度有些改善，I/O平均读写速度可达到10MB/s左右，但用户加载18GB的数据量仍然需要十几个小时，低效的I/O读写访问速度不能让用户容忍，主数据库PetroBank MDS系统的正常应用受到严重影响。

2004年在大庆油田A1试点项目体系结构设计、设备选型时，依据兰德马克公司 PetroBank MDS 应用软件对服务器的最低配置的要求（最低配置为： CPU：RS/6000 P610 或更高；内存：256MB内存；硬盘：15GB磁盘空间； Swap区：内存的双倍；存储和分发区域50GB 磁盘空间；操作系统：AIX4.3.3 patch 9，AIX5.1），结合大庆油田对A1系统所需的容量、性能和可靠性，论证选用了IBM pSeries 670 服务器。目前，大庆油田A1系统的应用环境是：一台EMC Clariion－CX700作为磁盘存储；两台Brocade Silkworm3900光纤交换机，主要连接IBM P670和SUN4900两台主机（均是双光纤卡配置）；IBM pSeries 670 服务器作为Oracle数据库服务器、运行高性能计算,经常进行批量的大文件读写操作。pSeries 670服务器上的POWER4+处理器采用了“SMP-on-a-chip”设计和铜、绝缘硅(SOI)技术，具有耗电少，可靠性高，系统结构独特，能够满足有效的数据共享和应用程序处理量，16路配置的L3高速缓存带宽达102.4GB/s最大总I/O子系统频带宽度为14GB/s。目前，应用没有完全投入运行，不应该出现I/O瓶颈的问题。

由于系统性能调优是个非常复杂的问题，主机、SAN环境、磁盘阵列各个环节都有可能对性能造成很大的影响，为了彻底解决存在的问题，我们组织厂商售后工程师对主机、SAN环境、磁盘阵列各个环节进行分析和会诊，制定了详细解决方案，对IBM pSeries 服务器、Brocade交换机和Clariion－CX700的性能进行了全面诊断测试及系统优化。

EMC Clariion－CX700性能优化

1.首先对EMC Clariion－CX700 进行全面诊断，检查Clariion－CX700阵列状态，没有发现硬件故障；

2.运行EMC阵列 CAP2检测工具,收取CX700系统信息和阵列性能数据；

3.分别在IBM pSeries 670和SUN F4900主机上运行EMCGRAB软件,收取EMC支持中心需要的主机信息；

4.分别在2台Brocade Silkworm3900光纤交换机上运行supportshow命令,收取交换机信息；

5.将上述信息上传到EMC技术支持中心进行分析；

6.根据EMC技术支持中心返回的分析结果,对CX700阵列进行硬件健康检查,状态正常，IBM pSeries 670主机和SUN F4900主机状态正常，Brocade光纤交换机有端口故障, 建议更换dqrc_sw1光纤交换机port16的GBIC模块和光纤线,dqrc_sw2重新enable port23，同时升级两个光纤交换机的firmware固件版本到v5.1.0d；

7.调整CX700的lun参数，参数“write Aside size”从“1023”调整为“2048”,调整Brocade光纤交换机光纤端口速率”port speed”从“Autosening”模式调整为“2GB”模式；

8.根据Petrobank应用的需要，将CX700中的LUN16挂接到主机IBM pSeries 670上，将Lun4和Lun5挂接到主机IBM pSeries 670上，将LUN6分拆成两个1T大小的LUN32和LUN33，挂接到主机IBM pSeries 670上。

Brocade光纤交换机性能优化

1.更换dqrc_sw1光纤交换机port16、port24的GBIC模块；

2.升级两个光纤交换机的firmware固件版本到v5.1.0d.；

3.对二台Brocade光纤交换机进行持续诊断测试，Brocade光纤交换运行正常。

IBM pSeries 670性能优化

我们对EMC Clariion－CX700性能、Brocade光纤交换机做完性能优化工作后，IBM pSeries 670服务器对建立在 EMC磁盘阵列Clariion－CX700的文件系统的读写访问速度没有明显改善，随后监控IBM pSeries 670服务器硬件资源使用状况，分析 CPU、I/O、内存是否存在瓶颈，没有发现CPU、I/O、内存存在异常情况，又结合应用负载压力分析，确认现有硬件资源是能够满足业务运行需要的。由于当时兰德马克公司 PetroBank MDS 应用软件只适宜AIX 5.1的操作系统，因此，IBM pSeries 670服务器在OS升级前操作系统的版本为 AIX 5.1 -ML5109，6239 HBA光纤通道卡firmware为 1.81X1，版本号均较低。我们计划将EMC CX700磁盘阵列中的所有数据做完全备份后，采用migration install方式升级AIX操作版本到5.2 -ML 5208。6239 HBA光纤通道卡firmware升级到最新版本1.91x4。

在用户将EMC CX700磁盘阵列中的所有数据做完全备份后，具体工作步骤如下：

1.为了保证操作系统、数据库和应用的正常运行，做原系统mksysb磁带备份。

2.以alt_disk_install 方式做磁盘操作系统备份，以免磁带备份出现故障，达到双重备份的目的。

3. 采用migration install方式升级AIX操作系统版本到5.2 - ML 5208。

4.IBM pSeries 670服务器操作系统升级AIX5208完毕，顺利进入AIX5.2系统，确认连接的EMC磁盘、挂载文件系统。使用cp命令，对挂接的EMC磁盘进行同一个LUN和不同LUN之间的I/O读写速度测试，发现IBM pSeries 670服务器对建立在 EMC磁盘阵列Clariion－CX700的文件系统的读写访问速度明显比AIX5.1系统时快很多。

5.升级四块6239光纤通道卡firmware到1.91x4。使用cp命令，对挂接的EMC磁盘再进行同一个LUN和不同LUN之间的I/O读写速度测试， I/O读写速度与IBM pSeries 670服务器操作系统升级后基本相同。

6.根据兰德马克公司 PetroBank MDS 应用软件的需求，对EMC磁盘进行优化挂接。

7.系统ROOTVG根卷组做成mirror方式,避免单点故障。

至此，通过不懈努力，完成了EMC Clariion－CX700、Brocade光纤交换机和IBM pSeries 670服务器系统优化的工作，尤其是IBM pSeries 670操作系统及光纤通道卡微码升级工作全部顺利完成后，I/O读写速度性能得到显著的提高，解决了IBM pSeries 670服务器对建立在EMC Clariion－CX700磁盘阵列的文件系统的读写访问速度缓慢的问题，使服务器运行在最佳状态，PetroBank MDS系统数据加载速度有了数量级的提高。