互联网流量分析技术及部署方案

【摘 要】

运营商在移动互联网时代要更好地发掘流量价值、建设智能管道，必须加强对网络流量的了解及管控。对现有的流量分析技术进行了分析比较，结合运营商的网络需求，提出了部署策略和方案。部分应用的试点结果表明，互联网流量分析技术在运营商的流量精细化经营中起到了积极有效的作用。

【关键词】

流量分析 智能管道 DPI DFI

中图分类号：TP393.0 文献标识码：A 文章编号：1006-1010（2013）-19-0071-03

收稿日期：2013-06-06

1 概述

在全业务和移动互联网新形势下，通信运营商将向信息运营商转型。这种转型将根本性地重塑电信运营商的价值创造方式，必然也要求电信运营商的基础设施和商业模式随之做出转变。运营商未来发展应将重点放在精细化的流量经营上，要逐步推进运营服务的精品化，建设智能的业务管控体系、精细准确的流量分析服务体系、客户导向的终端适配服务体系，建立基于用户细分的业务、流量、套餐匹配关系，提供精确化的服务，不断提升用户感知。

网络流量分析系统的定位重点在于帮助运营商了解客户使用网络的情况，包括何时、何人、使用何种应用、做何事，即对网络数据的流量、流向、协议进行监听和分析，在网络安全管控、根据网络流量使用情况计费的情况下，为运营商提供实时有效的信息输入。

2 流量分析技术

2.1 包检测技术及其发展

数据包（Packet）是TCP/IP通信协议中规定的传输数据单位。在TCP/IP协议中，数据被送入协议栈中，然后按顺序通过每一层，按照各层协议添加包头信息，直到被当作一串比特流送入网络。TCP/IP协议工作在OSI模型第三层（网络层）、第四层（传输层）上，它将上层协议数据封装成TCP/IP的原始数据流IP数据报（IP Datagram），由于网络环境等情况，TCP/IP协议将该数据报分成更小的数据单元Packet，并传输到网络中。更准确地说，IP数据报是指IP层端到端的传输单元（在分片之前和重新组装之后），数据包是网络层和链路层之间传送的数据单元。数据包既可以是一个完整的IP数据报，也可以是IP数据报的一个分片（fragment）。

包检测技术通过对网络中传输的数据包进行抓包检查，分析包头和所负载的数据，从而得出该数据包的一些业务特征和访问情况，达到分析和控制互联网使用情况的目的。包检测技术的发展主要经历了三个阶段：传统包检测阶段、深度包检测阶段和深度流检测技术。

2.2 传统包检测技术

传统包检测技术主要应用于网络层与传输层的分析，一般是检查网络层的IP头和传输层的TCP头，从中抽取五元组信息。具体的检查项目有：

（1）IP源地址和目的地址；

（2）协议类型（TCP、UDP、ICMP等传输层或网络层协议）；

（3）TCP或UDP的源端口和目的端口。

除此之外，还有ICMP消息类型、TCP报头中的ACK位、TCP的序列号、确认号、IP检验和、分割偏移等选项。一些改进型的传统包检测技术还会记录TCP连接对话的序号，确认数据包是否属于同一个TCP对话。

传统包检测技术具有实现简单、处理速度快、对应用透明等优点。但是，它只对每个数据包的传输层和网络层进行检查，对数据的检测只限于这两层的信息，并不能完全透视网络的使用情况；同时由于五元组的信息所限，它并不能分辨所有的网络应用。

2.3 深度包检测技术

深度包检测技术，也称为DPI（Deep Packet Inspection）。相对于传统包检测技术仅分析IP包的层4以下的内容（包括源地址、目的地址、源端口、目的端口及协议类型），深度包检测技术还增加了应用层分析，识别各种应用及其内容，基本概念如图1所示：

图1 深度包检测的包含内容

随着网上应用类型的越来越多，仅仅通过第四层端口信息已经不能真正判断流量中的应用类型，也不能判断基于随机端口、开放端口甚至采用加密方式进行传输的应用。DPI技术是一种基于应用层的流量检测和控制技术，在对包头进行分析的基础上，增加了对应用层的分析。当TCP、IP数据包或UDP数据流经过基于DPI技术的带宽管理系统时，通过深入读取IP包载荷的内容来重组OSI 7层协议中的应用层信息，进而获取整个应用程序的内容，然后按照系统定义的管理策略对流量进行整型操作。

2.4 深度流检测技术

深度流检测技术，也称为DFI（Deep Flow Inspection）。与DPI进行应用层的载荷匹配不同，DFI采用的是一种基于流量行为的应用识别技术，即不同的应用类型体现在数据流或会话连接上的状态有所不同。以网上IP语音流量为例，体现在流状态上的特征就很明显：RTP流的包长相对固定，一般在130～220byte，连接速率较低，为20～84kb/s，同时会话持续时间较长；而基于P2P下载应用的流量模型的特点为：平均包长都在450byte以上，连接速率高、下载时间长，首选传输层协议为TCP等。DFI技术正是根据流量的这些行为特征，建立流量特征模型，通过分析会话连接流的连接速率、包长、传输字节量、包间隔等信息来与流量模型对比，以鉴别不同的应用类型。

2.5 各种检测技术对比

传统包检测技术处理速度较快，仅检测层4以下的包头，对硬件的处理能力要求不高。由于检测深度不够，它对日益丰富的互联网应用并不能逐一识别，对某些协议和新应用的检测监控能力不足。

DPI检测信息最完善准确，深入分析应用层，逐包进行拆包操作，并匹配对比后台数据库，因此所获得的相关数据最为完善，也能最准确地判断出数据包的应用类型；但由于检测深度深，其对硬件的处理能力要求也最高，检测延时最长。

DFI技术对数据包只进行层4以下的解析，业务应用通过收集比对数据流的行为特征完成；因此DFI的检测延时低，对硬件处理能力要求不高，基本和传统包检测技术一样，目前多数基于DPI的带宽管理系统的处理能力要远小于基于DFI的系统的流量监控能力。但DFI技术的准确度依赖于流量模型的可靠度，由于DFI技术刚刚推出市场，目前产品模型成熟度还没经过完整验证。

识别准确率方面，传统包解析技术由于获得的数据主要为五元组，不能准确解析大部分新应用；DPI技术由于采用逐包分析、模式匹配技术，因此可以比较准确地识别流量中的具体应用类型和协议；而DFI技术仅对流量行为分析，所以只能对应用类型进行笼统分类，如将符合网络语音流量模型的类型统一识别为VoIP流量，将符合P2P流量模型的应用统一分类为P2P流量，但是无法判断该流量是否采用H.323或其他协议。如果数据包是经过加密传输的，那么采用DPI方式的流控技术则不能识别其具体应用，而DFI方式的流控技术却不受影响，因为应用流的状态行为特征不会因加密而改变，但模型准确度将是制约DFI准确度的关键。

由于传统包解析技术的局限性，本文主要讨论DPI与DFI在网络运营中的应用。二者的对比如表1所示：

表1 DFI和DPI的对比

DPI（深度包检测） DFI（深度/动态流检测）

分析范围 IP五元组以及应用层负载信息 IP五元组及flow协议等流的特征信息

处理速度 有数据包拆包、匹配对比操作，处理速度较慢（100μs级） 无需进行拆包操作，仅需分析比较流量特征与后台流量模型，处理速度较快（10μs级）

识别精度 采用逐包操作、“特征字”匹配技术，可做到精准识别 无需拆包，分析流量行为，与后台进行流量模型匹配，可做到笼统分类

维护成本 需紧跟新协议和新型应用的产生而不断更新后台特征数据库，否则无效，识别、管理、维护成本较高 同一类型的新应用与旧应用在流量特征上变化不大，无需频繁升级流量行为模型，维护成本较低

现网应用 流量分析控制系统、防火墙、IPS入侵、防御系统、流量清洗系统等 流量流向系统、IDS入侵检测系统

单位造价/（万元·G-1） 4～8 约0.5

3 运营商流量分析系统部署方案

如前所述，面对互联网特别是移动互联网业务的发展，运营商要避免管道化，实现流量经营，前提是充分了解互联网管道中的海量数据内容，对管道内容的识别（可识）是资源管理（可管）和流量控制（可控）的前提。运营商进行流量分析控制的基本流程是：通过流量检测技术对链路数据流进行采集并上报；通过与后台特征库进行匹配，给出数据统计分析结果并呈现；根据特定需求下发控制及调度策略，对管道流量实施管控。

3.1 部署策略

运营商在考虑流量分析系统的时候，对于有线宽带与无线宽带应区别对待。

无线互联网的特点是：按流量计费，语音和数据共享信道。终端通过EDGE/3G/LTE 网络接入，空口带宽资源有限。数据峰值流量不高，但严重抢占语音信道影响通话质量。对于有线互联网，资费按带宽计费，不限流量，所以流量控制需执行QoS保障，客户通过ADSL/FTTH/FTTB接入，均需保障用户接入带宽的稳定性。有线接入数据流量峰值流量高，不同运营商网间访问的带宽拥塞，成为影响用户上网体验的主要因素。

因此对于无线互联网和有线互联网，流量分析控制的侧重点不一样。无线互联网侧重于应用分析和用户访问习惯收集，在不影响用户体验的前提下压缩信道内数据流量，根据用户使用情况推荐业务。其流量分析主要为控制流量策略服务，需要详尽的流量分析数据，应以DPI技术为主。对于有线互联网，应该适当控制资源浪费严重的低值流量（如P2P），加大热点内容源在运营商网内的引入（自建IDC、Cache），引导用户流量留在网内。其流量分析系统的主要作用是控制P2P，分析流量去向，为网内内容引入提供指导，因此有线网应用的流量分析技术需处理能力高以应对高峰值流量，分析内容以流量流向为主，建议多采用DFI技术。有线接入和无线接入对流量分析技术的需求如表2所示：

表2 有线接入和无线接入对流量分析技术的需求 有线接入 无线接入

流量分析目的 低值流量的控制和网内资源引入指导 应用分析和用户访问习惯收集

识别精度需求 仅需流量流向和基本业务类别分析 细致的客户业务应用分析、使用习惯分析

带宽需求 高带宽，高流量 低带宽，延时要求相对较低

建议技术 DFI为主 DPI为主

3.2 部署方案

运营商可根据自身网络特点需求在省网层面统一部署流量流向系统和流量监控系统，以及部分试点应用：

（1）流量流向系统——省级网络部署，监测4台核心路由器BR的出口流量，以DFI技术为主，呈现省内数据流量的总体情况，不具有控制功能。

（2）流量监控系统——省级网络部署，监测省级网络到全国网络和第三方运营商的出口，监测省级网络出口、自由IDC出口部分链路，在DFI基础上进行DPI检测，可精准掌握业务访问行为，通过旁路干扰方式实现P2P流量控制。

（3）综合网关——省级网络部署Gi口，汇接GGSN的所有流量，实现无线接入APN的路由完全整合，具有Cache、DPI等功能，可实现多种增值应用。

（4）数据业务监测与分析系统——全国网络部署，Gn口实现CS/PS各类信令监测与分析应用。

（5）试点应用——采用DPI技术监测GGSN数据流量或城域网出口数据流量，通过掌握用户上网行为，开展个性化业务推送。

3.3 部分应用实施效果

P2P流量限制：高峰时段适当限制运营商流向网外的P2P流量，节约运营商网间带宽资源和网间核算成本。P2P流量高峰时段限制效果如图2所示。

在综合网关采用DPI技术监测GGSN数据流量或城域网出口数据流量，开展个性化业务推送。基于综合网关的个性化信息推荐，凭借着对用户访问行为的有效精细化分析，目前个性化推荐能力用户转化效果基本可达9%左右，相较短信等传统营销手段其效果更优；页面浏览量PV在应用个性化业务推送后提高8%左右，见图3。

4 结束语

互联网的流量分析对运营商的流量精细化经营有着积极的意义。流量分析不单为运营商了解自己的网络现状、业务质量提供输入，还为业务拓展、节省运营成本等方面提供了积极有效、细致可查的网络和用户数据，在一些已部署的流量系统和试点业务上都已取得了卓越的成效。后续应该在合理规划的前提下继续扩展流量分析系统的部署范围，逐渐向业务部门公开流量采集及分析数据，共同探索面向流量经营的业务产品，开展业务试点，为运营商建设智能管道、提高流量收益提供支持。

参考文献：

[1] 范全润，潘峰. 针对网络服务提供商的一种流量分类和应用架构[J]. 网络安全技术与应用， 2013（2）： 16-22.

[2] 郭恩阳. DPI在移动分组域中的应用与展望[J]. 移动通信， 2012（18）： 85-89.

[3] 周昕. 基于DPI与DFI的流量识别系统的分析与设计[D]. 湖北： 湖北工业大学， 2010.

[4] 朱立君. DPI技术应用在城域网的几点探讨[J]. 邮电设计技术， 2013（2）： 22-26.

[5] 罗忆祖. DPI技术力助运营商精细化运营[J]. 数据通信， 2009（3）： 42-45.

[6] 田红月. 让带宽按需分配——DPI、DFI带宽管理技术分析[J]. 科技资讯， 2007（12）： 13-15.

作者简介

张婧婧：硕士毕业于重庆邮电大学，现任职于中国移动通信集团广东有限公司网络管理中心，主要从事移动通信网络维护及通信技术研究工作。

陈福文：硕士毕业于重庆邮电大学，现任职于广东省电信规划设计院有限公司移动通信咨询设计院，主要从事移动通信网络规划设计工作。