云计算平台的性能评测模型方法研究

摘要：云计算作为一种新兴的商业模式，正在迅速的发展，并逐步成为商业机构、科研单位研究的热点。云计算的产生将会对传统软件行业、互联网运营模式、企业管理方式进行冲击，从而推动革命性的产业变革。云计算的这些商业特性使其对用户的服务质量备受关注，使得云计算平台的性能好坏成为关键问题。

本文通过探讨云计算平台的性能评测技术研究，着力为云计算平台性能评测技术的发展建立良好的基础。

关键词：软件测试 云计算 性能评价 效率 效能

云计算[1]是一种计算方式，通过互联网将资源“以服务”的形式提供给用户和应用系统，而用户和应用系统不需要了解、知晓和控制支持这些服务的技术基础架构“云”。云计算同时也是一种通过互联网将数据中心的各种资源打包成服务向外提供的商业模式，它将计算任务分布在大量计算机构成的资源池上，各种应用系统和用户能够依需获取存储空间、计算能力和各种软件应用服务。

为了更好地解决这一问题，本文为了完善对云平台的质量评测中性能指标评测的目的，就现有的ISO/IEC 9126[2][3]质量评价模型中效率评价指标部分进行了扩展增进，并给出了增进模型的指标测试方法及评价计算公式。

1 云计算平台的评测研究现状

国内外标准化组织对云计算标准的研究从2009年逐步开展起来，到2011年底呈现遍地开花的局势，从云存储、云架构、云安全、云管理、虚拟化和云间技术等多方面对云计算技术进行了详细地分析与研究，在标准方面确立了度量云计算平台的可行性。NIST（美国国家标准与技术研究院）定义了云计算的五个基本特征，快速伸缩、服务可度量、按需自助服务、无所不在的网络访问和资源池，在标准方面确立了如何度量云计算平台的方向。[5]国内对于云计算平台的评测体系研究则定义评测指标模型是一个统一的整体，既包含纵向的层次关系，又包含指标间的平行关系，不同的指标反映云计算平台的不同侧面，分属于不同的类别。根据云计算产品功能、云计算的相关技术、云计算标准的特点，结合国家在软件工程的产品质量方面的标准，云计算平台通用评测模型包含6大类指标：网络架构路由和交换能力、存储架构快速响应能力、虚拟化能力、资源抽象与控制能力、服务成熟度、安全性保证能力。其中，服务成熟度又分为5个小类指标：服务提供能力、服务监测能力、计量/计费能力、开发的接口能力、网络响应性能[1]。

2 云计算的性能评测模型研究

2.1 传统的性能评测模型 ①效率。现有的GB/T 16260国家标准中规定，对于COTS（商用现货软件）性能评测依据该标准构建的质量评测模型中的效率指标部分（如时间特性、资源利用性、依从笥）进行评测。②时间特性。时间特性评测包含响应时间、吞吐量时间、周转时间等要素。③资源利用性。资源利用性评测包含的I/O利用率、I/O利用的消息密度、内存利用率、内存利用率的消息密度、传输利用率等要素。

2.2 面向云计算平台性能评测指标模型的构建 ①效能。介于目前没有针对云计算的国家及行业标准或规范性规约进行规范，通过对云计算平台的基本定义、云服务特点及云计算平台的关键要素进行研究和分析，并查阅、参考、分析多个科研机构对于云计算标准和规范性规约的研究进展和阶段成果，结合上述的日常评测工作中碰上的与云技术相关软件的项目实施经验，构建一套针对云计算平台性能评价的指标体系，并给出对应的测试及评价方法，用于对云计算平台的性能测试与优化、规模评估、资源优化等给出参考及评判依据。效能是通过典型的应用体现出来的，如Web服务、大文件和加解密等应用。针对这些应用，我们研究了高性能及云计算领域的一些测试方法，并结合现在典型应用相关的特点，进而研究效能相关的度量指标和度量方法。主要对效能分为计算、通信和存储三个方面进行研究。②计算能力。对于其中的计算能力我们划分为高性能计算和现在典型的web服务两个方面进行研究，通过如图1所示的要素进行评价。通过分析和借鉴Linpack、HPCC、NPB、SPEC CPU等组织所采用的测试方法，进而得出效能的计算能力的相关度量标准。高通信性能将成为新型计算机体系结构的特点之一，它深刻地影响着计算机系统的其他各个方面的性能。③通信能力。针对通信能力，通过研究MPI通信机制，并把它应用到如图2所示的对通信性能的测试和度量上。④存储能力。存储能力问题是计算机系统的一个传统的性能问题，在分析传统的存储系统和分布式存储系统的实现机制和特点的基础上，并结合云环境存储系统的特点，得到如图3所示的存储能力相关的度量指标。

图1 计算能力评价模型 图2 通信能力评价模型

图3 存储能力评价模型

3 云计算平台的性能评测方法研究

3.1 基于传统性能评测模型的效率指标测试方法 在通用商业现货（COTS）软件的性能评测中，效率测试常常采用负载测试、压力测试、稳定性测试和大数据量测试等方法，通过收集多次测试数据，从时间和资源利用两大特性角度对软件性能进行科学计算及评价。①负载测试：通过测试系统在资源超负荷情况下的能力表现，以发现设计上的缺陷或验证系统的最大负载能力或确定在各种业务工作负载下的系统平台性能。目标是测试并记录当前负载逐步增加时，系统平台组成部分的相应输出项，如事务数、网络吞吐量、响应时间、平均CPU使用率和平均可用内存等性能情况。②压力测试：通过测试系统平台的性能点，来获得系统平台所能提供的最大服务级别。压力测试预测系统的效率能够满足日后扩容的应用。在当前系统平台的软硬件环境不变的情况下，验证系统平台是否仍然能够满足现在或者将来的需要，从而初步判断当前系统平台的软硬件调整的必要性。从而分析及应对系统平台将来面临的扩容如用户数增加、数据量不断增大等多种应用情况。③稳定性测试：如果对系统平台有连续运行的要求，可对系统进行疲劳性测试，确认系统是否能够满足相应的连续运行时间的要求，一般稳定性的时间要求大于8小时，如大型数据系统需7×24小时测试。④大数据量测试：在系统平台具有一定业务数据量的背景下进行测试，目的是发现在小数据量情况下测试不易发现的潜在问题与缺陷。

3.2 基于效能评测模型的测试方法 云计算性能测试的目标是验证在各种负载情况下云计算服务的性能。进行性能测试的最佳方式是使得多个测试客户运行完整的云服务测试，包括请求提交和应答验证。性能测试不仅通过指定的并发请求数目来监视服务器的响应速率，还要测试各类负载是否导致云服务功能性故障。因此，要求云服务性能测试工具能够设置或者定制性能测试场景（主要是指定负载等级、负载分布等）来执行云性能测试套件。根据高性能计算系统常见的应用场景，云计算系统性能测试可设置的场景主要包括bell曲线、缓冲区测试、线性增加和稳定负载。这样，通过使用不同的测试场景来使用不同的测试用例，同时还应支持跨越远端的云服务器分布虚拟用户，从而模拟极限测试与压力测试。

3.3 基于效能评测模型的评价方法 计算能力测试与评价包含加速比、指令效率、WEB服务评估、平均应答延迟、集群负载相对差等要素；存储能力评价包含I/O利用率、I/O利用的消息密度、内存利用率、内存利用率的消息密度、传输利用率等要素；通信能力评价包含I/O利用率、I/O利用的消息密度、内存利用率、内存利用率的消息密度、传输利用率等要素。

4 结束语

根据云计算平台用途的划分为以数据存储为主的存储型云平台、以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台，针对这些平台基于商务需求的性能侧重点不同，云计算平台的性能评价模型及性能评价度量将会进一步完善。在将来，天空中不会只有一朵云，而是有多片云，云与云之间的互联要靠标准的支撑才得以实现。当云计算被普及应用的时候，云计算的标准也应该已经成熟，至于何时会制定出来，还取决于市场的发展情况、厂商的积极推动、科研机构及全国信息技术标准化技术委员会的深入研究情况。本文意在为将来云计算标准的制定做出力所能及的贡献。

参考文献：

[1]张超等.基于用户访问模式的性能测试模型探讨.软件产业与工程，2012-1.

[2]赵一鸣.基于ISO质量模型的软件质量评价方法.计算机工程，2002，28（5）.

[3]虞慧群，范贵生.云计算发展分析与展望.软件产业与工程，2011.9（15-21）.

[4]李征.云计算平台的通用评测体系研究.中国新通信，2012（16）.

[5]LINPACK benchmarks [EB/OL] http：///wiki/LINPACK_benchmarks.

[6]ISO/IEC JTC1/SC7.Software engingeering-Product quality Quality Model，ISO，2001.