网络交付测试

摘 要 本文通过对网络交付测试过程进行分析，从现有问题出发，给出自己在实际工作中的思考和大胆实践。以金融无线网络为例，详细阐述了整个过程的解决方案。

关键词 交付；测试

中图分类号TP39 文献标识码A 文章编号 1674-6708（2014）116-0226-03

1 当前网络测试存在的问题

当前网络测试方法不够系统，测试效果不是很具有针对性，还存在用户场景和测试方法缺失，网络

测试仿真方法不够真实，本文通过一系列的研究和大胆实践，基本解决了上述两个难题。

2 网络交付测试的基本概念

2.1 测试的概念

这个概念想必大家已经比较清楚了，就是为了发现软件错误而执行程序的过程。软件测试最重要的一条就是做正确的事情。

当然，软件测试有很多种类型，这些测试类型对应于不同的测试模型，如功能测试，系统测试等。这些传统的测试类型与本文讨论的交付测试还不完全一样，具体如下。

2.2 网络交付测试

“交付”何意？从词典讲起，“交付”其包括两个含义：现实交付与概念交付；现实交付就是一方（通常为出让人）把东西当场交给另一方（通常为买受人）。观念交付是一种非真正的交付，是指动产占有在观念上的移转。

“交付测试”相信很多人对这个词还比较陌生。其实，“交付”这种概念在该领域已经不新鲜了，比如有人提出提出了“无线搬迁场景交付”“无线交钥匙场景交付”“多场景交付能力”“端到端交付能力”“实现核心网的高质量交付”，另外，还有其他的诸如“整网交付”“持续交付”等理念。

此处提出网络交付测试，主要原因在于之前的测试思路是以功能测试为主，系统测试辅助的方式，无法回答产品/软件版本在市场端的适应场景，不能够直观反映产品市场端的部署效果；存在自身的弊端。正所谓穷则思变，为此，我们才大胆转向这条路。即以用户场景和软件规格为输入，以用户体验指标为预期结果，完成整个测试过程的一种方法。

3 网络交付测试的思路

那么网络交付测试具体如何实施呢？

以金融市场无线网络为例：1）先从网络架构层面分析，包括各个位置使用的产品、软件版本、对接设备、链路情况、认证服务器等；判断整个网络层面的数据流向，流备份和切换模型，用户认证和管理模型；2）再分析每个层次或者区域，用户的业务特征或者用户需求；3）然后分析用户的行为特征，如用户在该区域是否有移动；是否频繁待机、节电等行为；4）扩展分析，针对无线特征，对用户的不同场景进行分析，挖掘每个场景的潜在的客户需求、客户业务和用户特征。

在交付测试具体实施过程中，如此处的金融网络，首先会依据用户场景差异性，区分出领导区、会议室、办公网、营业网点等。其次针对上述分析，差异化设计交付测试方案和测试用例，测试方案也以覆盖用户端的体验和感受为主，针对各个场景用户要求进行验收，形成闭环。在实际执行过程中，通过对该环境网络、射频和用户端进行差异化仿真环境构造，纳入项目中覆盖。最后根据项目测试情况，得出产品各个场景支持能力清单，并同步输出各个场景下的部署指导书。

4 具体实施案例

4.1 金融无线网络描述

网络实质上可以看做是一张网（很多设备的连接），上面跑了一些数据流。对这块的仿真测试，也就需要从网络和数据流两个层面进行深入拆解。本文对网络交付测试也是延着这条主线进行分析的。

“网”可以在下文中的设备，拓扑，功能等里面看到痕迹；“数据流”部分可以从下文中的用户行为，终端，用户应用等找到蛛丝马迹。

4.1.1 金融无线网络环境概述

在该典型的拓扑模型中，每级行都有自己的局域网，存在两个独立的办公网络和生产（营业网点）网；每个局域网内部都有自己的“核心―汇聚―接入”设备；存在对应的数据中心；大多数客户网络中又同时具备有线网络和无线网络，在办公网络和营销网点场景中存在普遍的无线网络应用。

无线网络有自身的特点，相比有线网络来说则复杂的多，存在较多不稳定因素，如信道之间的相互干扰，空间信号环境变化，移动终端的移动等等。

金融场景大多采用802.1X认证；对非办公终端接入场景，如外来客户，采用web-portal的认证方式进行认证。

金融网络尤其注重安全，其安全控制大致为：

1）SSID（Service Set Identifier， 服务集标识）采用隐藏机制：采用隐藏SSID方式降低SSID广播带来的安全隐患；

2）无线信号的传输及认证的安全机制：采用WPA2（Wi-Fi Protected Access， Wi-Fi 保护访问）的无线加密方式实现信号传输加密和用户认证两个功能。无线信号传输采用AES算法实现数据加密。用户认证采用802.1x协议实现身份认证和密钥管理。802.1x协议中EAP-TLS（Transport Layer Security）使用数字证书实现用户和服务器的双向认证。数字证书的公钥体系可提供最可靠的用户和服务器的身份验证。另外银行个人证书还采用了USB Key硬件证书，可以最大限度上确保个人证书安全。

3）硬准入控制：采用Gateway Enforcer实现无线终端的硬准入控制。对非行内终端或不合规终端，Gateway Enforcer会拦截相关数据包，禁止其通过无线接入银行网络。

4.1.2 金融网络仿真过程

上图图 2金融无线网络逻辑层次图中，绘制了典型的金融网络解决方案，其中不同层级银行之间采用广域网链路连接；有线网络部署为主，无线网络辅助。

对于该网络：

1）通过采集网络各个子单元的信息元素，得出对应的关键指标；

2）对获取到的关键指标设计对应的用例。

4.1.3 关键指标获取方法

对于一个网络的关键指标，获取过程可以从几个方面进行：

1）用户场景有哪些子类别，对不同的类别进行区分，给出典型的应用特征描述；如办公网典型的为用户终端会相对位置固定，有移动办公和远程桌面需求，有终端待机，节电等用户特征；

2）整网体验层次；即用户感受出发，端到端的体验指标；

3）从网络层面，进一步拆解。对每个拆解子单元得到对应的关键指标，即上述第1和2点进行组合。

上述第2点，网络体验层次指标，如用户最主要的是关注不断网，稳定，针对这些概念，还需要进一步细化到具体场景中去；如稳定可能会对应不同场景下的ping时延和丢包率，web页面打开时间等度量因素；分解后，需要对这些关键指标进行编号，用于后续用例设计过程中的跟踪，防止遗漏；

该阶段的输出包括以下几个方面的内容，如：“覆盖场景”-[场景大的分类]、“场景元素”-[包括是否为重点关注区域，该场景大的子类别]、“场景信息集”-[具体测试点]、“采集结果”-[该场景应该具备的指标值，如有业界标准等则用，否则可以先用经验值填充]、“验收关键指标”-[该维度的场景重要性]、“编号”-[用于跟踪] “验证结果”-[测试执行的结果]等。

4.1.4 设计对应的用例

以上面的分析结果为输入，结合整个网络结果在对应场景下必须用到的和可选用到的不同功能进行相关性分析，找到对应的测试点。包括测试用例的几大关键字段，如优先级，测试结果等。

与原有用例设计过程的差异：

1）用例深入分析用户场景，以用户场景为主要输入，结合产品实现的功能，产品实现的功能并不再是关键；非孤立的产品级测试方案；

2）测试结果判断除了功能的关键结果判断外，很大程度上增加了用户体验的判断标准；即用例设计思维模式已经发生了较大转变；

3）用例设计过程中较多的考虑了不同场景下的差异化用户行为和用户应用；非大而全的测试用例，减少了冗余用例，更加具备针对性；

4）在无线侧的测试中也采用了更具备针对性的测试方案，与客户现场足够逼真；

基于4.2.1关键指标的测试方案中以“编号”为索引，导入到测试方案中，基于上述场景关键指标进行测试点分解和细化。

4.1.5 网络侧仿真过程

这部分分：背景流；设备容量；用户行为；用户体验四类测试；

其中背景流部分通过IXIA测试仪进行构造，主要参考对应市场的网络数据流特征，如流量大小，报文特征分布，突发性等等，其他方面并无特殊注意点；这部分目前也没有做特别深入的分析。

设备容量需要分为模拟的和真实的两个方面。其中仿真部分需要进一步细分为：（1）AP（Access Point）接入容量，是指该网络中AC（Access Controler）设备接入和管理的AP数量；（2）STA（Station）接入数量。这两个参数反映了一个无线网络的规模。

这部分主要是通过模拟器进行仿真，即：1）用PC系统模拟AC-AP之间的CAPWAP（Control And Provisioning of Wireless Access Points Protocol Specification）交互过程，以此来模拟大量AP与AC建立隧道；2）再通过模拟STA上线和认证交互过程，仿真批量STA上线过程；3）继而通过模拟STA流量发送，模拟用户打流过程。

在此基础上还需要采用一两台真实的AP和几个真实的STA，进行用户体验类测试，如上网，看视频，ftp下载等，对用户体验效果进行度量，给出相对的评分；

4.1.6 终端侧仿真过程

终端侧除了上述的仿真过程外，市面上终端型号差异很大，尤其是办公网中，BYOD（Bring Your Own Device，携带自己的设备办公）的流行，各种各样的终端都进入了客户网络。这部分也通过两种方式进行仿真测试；

一是通过KVM（kernel-based Virtual Machine）类虚拟机仿真多台真实的PC，可以预定义不同类型的终端配置，虚拟不同的无线终端，预定义不同的类型和比例的无线终端（驱动），在这类终端上进行用户体验类测试；二是从终端上出发，对终端不同参数进行修改，形成不同的无线网卡驱动，应用于上述第一类方法中。通过上述两个组合仿真过程，可以很好的得出终端下相对真实的用户体验数据。

4.1.7 AP侧仿真过程

此处仿真通过模拟真实的AP场景，考虑的因素包括AP摆放位置，AP信号随空间距离等变化的衰减/位角，AP与STA之间的角度等；

这里有一个难题，即这种复杂场景如何在有限的空间内仿真，并且高效率能够满足项目开发需要；

针对这个课题，我们做了深入的研究，我们通过研制了一套综合自动控制化系统（RJW3S，锐捷无线仿真系统），该系统能够对部分空间进行仿真，即只需要输入预定义的场景关键信息，该系统即可以构造这种空间射频环境，对出现的BUG能够较好的完成重现。

大致思路为：该系统主要包括控制组件、AP信号衰减组件、STA旋转组件、AP升降组件、网络分析组件等几个部分组成。

控制系统是能够以用于场景关键元素为输出，向其他组件下发对应的场景构造指令；通过程序控制（如ARM板）即可对wifi信号进行直接控制，如控制两台AP的信号（控制算法内容较多，限于篇幅不在此赘述），一台按指定速率降低信号强度，另外一台按照指定速率抬升信号强度，能够很好的模拟人走动或者高速移动场景效果；

衰减及方向决策系统则通过：1）控制AP信号的衰减算法；2）控制AP在滑杆上下移动；3）并能够控制终端的360度全方向转动；衰减部分从市面上选取了wifi衰减芯片（如HMC274QS16），并购置了PCB板组合，对信号进行衰减；之所以没有选择商用的设备，主要考虑：1）成本更低；2）后续调试和维护更加灵活；另外，对于AP与STA角度因素，可以通过火车轨道模型，让STA在AP周边进行自由转动；这样就可以模拟到一个办公室，不同位置下的用户体验，能够覆盖到智能AP在不同方向的信号分布；通过遥控开关控制STA在轨道上移动的速度和时间，就可以定义每次旋转角度，完成该角度下用户体验测试；得到整个方位下的用户体验报告；

网络分析单元则对空间信号进行分析，控制干扰元的大小和方向构造等。如通过外部触发生成干扰源，产生不同大小和方向的干扰，仿真不同用户场景。

至此，各个组件之间相互协调完成整个空间的仿真。

该系统能够通过控制组件的调度下自动完成不同角度下的性能和用户体验测试，大大提升了测试效率，有效提升了BUG必现率。

当然，这里还有很多内容在完善中，如MIMO（Multiple-Input Multiple-Output，多进多出）机制，快/慢衰减模型，阴影衰落模型，位角，多径时延分布，天线模型导入，3维入射角建模等。

5 结论

本研究成果解决了目前基于市场的交付测试模型，基于该测试模型，提供了较好的测试范例，如无线金融交付测试中的各种用户交付测试方法，通过该模型，不仅能够对用户场景覆盖全面，还能够输出直观和全面的测试报告，测试效率提升较大，对项目周期缩短帮助较大。整个测试模型在业内首创。

通过上述实践，我司金融市场故障大幅降低，从13年的上半年6起，下半年仅1起；效果很明显。