第三方测评提高信息系统质量

随着信息系统的不断发展，信息系统已经不再作为企业的门面，而是作为企业的核心竞争力的体现，信息系统的稳定性和可靠性已成为一家企业生存与发展的关键。企业信息的规划、建设和上线运行之前寻求第三方专业测评机构进行测试是提高信息系统质量的有效手段之一，同时还可以降低企业自身的测试和质量保障成本。

第三方测评的目的和意义

企业在信息系统的建设过程中，按照软件工程理论，在系统上线之前，企业首先要求系统开发商进行内部测试，提交相对稳定的版本，然后企业自身将安排进行用户测试，以保证系统满足客户需要。但这两种测试都存在缺点和不足。系统开发商在进行内部测试过程中，除了个别利益驱使造成的问题外，思维定势也局限了测试人员的工作，容易造成问题的漏测与误判，这一问题在涉及业务流程、安全可靠性、易用性、可扩充性和用户文档等方面体现得尤为突出。另外，用户在自测过程中，虽然对系统功能较为了解，但一般用户对于计算机领域知识不可能也没有必要深入研究，在测试过程中无法对系统进行深入分析，因此在用户自测过程中，在系统性能测试、网络测试、硬件测试方面根本无法进行专业的测试，存在较大缺憾。

鉴于开发商内部测试和用户测试存在的问题和不足，必须引入第三方专业测评机构进行测试，以避免上述问题的发生。

引入第三方测试的目的主要在于提高信息系统质量、降低运营风险、减少后期维护成本、保障软件工程质量。第三方测评的意义在于：保证测试工作的客观性。

专业的第三方测试机构按照与业主签订的合同约定，不会刻意维护开发方的利益，这保证了测试工作在一开始就具有客观性。第三方一般属于权威的专业测试机构，因此能够严格按照软件工程的要求，以软件工程的标准要求开发方与业主方进行配合，从而较好地体现软件工程的理念。

保证测试工作的权威性

第三方测试机构丰富的行业测试经验有利于从用户角度及专业角度看待系统，更好的进行测试工作。此外，由于系统的规模较大，开发商很难投入足够的人力与物力进行测试工作，同时也缺乏专业的测试工具(一般价格较昂贵)及丰富的工具使用经验，而专业的第三方测试机构拥有长时间经验积累，能够参照以往行业信息化项目的测试案例，更好的完成验收测试工作。保证测试工作的公证性

第三方没有参与业主方的需求定义以及开发方的需求分析、设计与编码工作，因此只能通过对需求定义、需求分析、设计、使用文档等的分析来深入理解系统，有利于公正的评价系统出现的问题。引入第三方测试后，由于测试方的权威性与相对客观的位置，便于调解业主方与开发方之间的矛盾，有利于系统中问题的解决。

第三方测评的内容

第三方评测的内容主要包括：功能度、性能、安全性、可靠性、易用性、兼容性、可扩充性、用户文档等方面的测试，能够发现系统功能、性能及业务流程方面存在的问题。通过对照需求分析报告、设计说明书及用户手册对问题进行分析，能够发现不同环节引入的缺陷：

需求分析阶段的问题

对用户需求不合理的简化，造成系统功能及性能方面出现重大缺陷；将用户需求复杂化，造成系统冗余程度过高，降低系统运行效率，提高项目开发成本与使用成本。

设计阶段的问题

未能反映需求中的用户要求，造成系统功能的遗漏；对需求的理解不准确，造成系统功能实现的错误；设计方法选择不当，造成系统结构不合理，导致运行效率降低和稳定性下降。

开发阶段的问题

未按照设计进行编码或编码错误，造成系统功能错误、性能不满足要求、业务流程产生断点。

用户手册的问题

对系统功能模块描述不完整；与系统实际功能不一致；缺乏必要的操作实例。

通过对系统存在问题的分析后，第三方测评机构将提交问题报告，问题报告在对问题现象描述的基础上，按照问题的严重程度进行分类，分析问题产生的原因并提出修改建议。被测评单位可参照问题报告，向开发商提出系统修改的要求。

在问题修改完成后，将进行回归测试，一方面检查问题的修改情况，另一方面测试相关模块是否产生新的问题。回归测试工作实现了对系统缺陷的全过程跟踪，从而有效保证缺陷的及时解决。

在回归测试的基础上，完成系统的测试报告，测试报告对系统的功能、性能、流程的综合情况进行分析并对系统整体情况进行评估，令面把握系统总体质量情况，为系统的后续开发、推广和运行打下基础。

第三方测评的效益分析

以某单位信息系统的测评为例，在引入第三方专业测评机构之前，该项目的开发商和用户已经进行了详细的内部测试和用户测试，但并没有形成完善的测试报告，同时系统在功能、性能方面依旧存在缺点和不足，在易用性和资源占用情况等方面存在效率不高的问题。

为全面了解信息系统的运行情况，提高业务执行效率和系统稳定性，该单位聘请第三方测评机构，从功能度、性能、安全性和易用性四个方面对该系统进行了专业的测评。

在功能度方面，主要围绕信息系统的核心模块功能点以及业务流程进行了详细测试；在性能方面，主要针对该系统的十几个关键业务点进行负载压力测试，同时监控应用服务器和数据库服务器的资源使用情况，包括CPU占用率、硬盘使用状况以及事务处理平均响应时间等相关参数，考察系统在各种情况下的性能表现；在安全可靠性方面，结合功能考察软件的用户权限限制、用户和密码封闭性、留痕功能、屏蔽用户错误操作、错误提示的准确性、数据备份恢复手段等方面；在易用性方面，考察了软件的用户界面友好性、易学习性和易操作性等等。

评测工作首先从现场测试开始，在完成第一轮现场功能及性能测试后，评测工作进入了第二个阶段，即进行问题的核对和集中修改测试问题，在开发商确认完测试问题，并进行整改后，评测工作进入了本次项目测评的最后一个环节，就是对整个后的系统进行回归测试。

经过为期两个多月的专业测评，第三方测评机构发现了该系统在功能、性能上的一些不足，共提出397个问题，其中严重问题112个，一般问题235个，建议问题50个。针对这些问题和建议，在测评机构的配合下，该项目单位组织开发商进行功能完善和性能的调优，共完善功能点90个、屏蔽32个。在性能方面，核心功能的响应时间较测评之前提高了40％，系统的客户满意度从80％提高到了92％，系统安全性方面也得到了进一步的加强。