新型DPI技术在网络安全态势感知的应用

摘要：在网络安全态势感知领域，需要对引起网络态势发生变化的安全要素进行采集获取，其中就包括网络实时流量的采集获取，传统DPI技术对采集流量的识别能力有限，使用新型DPI技术，可以实现流量精准识别，使安全要素数据的采集更加准确、有序，采集目标范围更加精准。

关键词：新型DPI；网络安全态势感知；网络流量采集

经济飞速发展的同时，科学技术也在不断地进步，网络已经成为当前社会生产生活中不可或缺的重要组成部分，给人们带来了极大的便利。与此同时，网络系统也遭受着一定的安全威胁，这给人们正常使用网络系统带来了不利影响。尤其是在大数据时代，无论是国家还是企业、个人，在网络系统中均存储着大量重要的信息，网络系统一旦出现安全问题将会造成极大的损失。

1基本概念

1.1网络安全态势感知

网络安全态势感知是对网络安全各要素进行综合分析后，评估网络安全整体情况，对其发展趋势进行预测，最终以可视化系统展示给用户，同时给出相应的统计报表和风险应对措施。网络安全态势感知包括五个方面1：（1）网络安全要素数据采集：借助各种检测工具，对影响网络安全性的各类要素进行检测，采集获取相应数据；（2）网络安全要素数据理解：对各种网络安全要素数据进行分析、处理和融合，对数据进一步综合分析，形成网络安全整体情况报告；（3）网络安全评估：对网络安全整体情况报告中各项数据进行定性、定量分析，总结当前的安全概况和安全薄弱环节，针对安全薄弱环境提出相应的应对措施；（4）网络安全态势预测：通过对一段时间的网络安全评估结果的分析，找出关键影响因素，并预测未来这些关键影响因素的发展趋势，进而预测未来的安全态势情况以及可以采取的应对措施。（5）网络安全态势感知报告：对网络安全态势以图表统计、报表等可视化系统展示给用户。报告要做到深度和广度兼备，从多层次、多角度、多粒度分析系统的安全性并提供应对措施。

1.2DPI技术

DPI（DeepPacketInspection）是一种基于数据包的深度检测技术，针对不同的网络传输协议（例如HTTP、DNS等）进行解析，根据协议载荷内容，分析对应网络行为的技术。DPI技术广泛应用于网络流量分析的场景，比如网络内容分析领域等。DPI技术应用于网络安全态势感知领域，通过DPI技术的应用识别能力，将网络安全关注的网络攻击、威胁行为对应的流量进行识别，并形成网络安全行为日志，实现网络安全要素数据精准采集。DPI技术发展到现在，随着后端业务应用的多元化，对DPI系统的能力也提出了更高的要求。传统DPI技术的实现主要是基于知名协议的端口、特征字段等作为识别依据，比如基于HTTP、HTTPS、DNS、SMTP、POP3、FTP、SSH等协议特征的识别、基于源IP、目的IP、源端口和目的端口的五元组特征识别。但是随着互联网应用的发展，越来越多的应用采用加密手段和私有协议进行数据传输，网络流量中能够准确识别到应用层行为的占比呈现越来越低的趋势。在当前网络应用复杂多变的背景下，很多网络攻击行为具有隐蔽性，比如数据传输时采用知名网络协议的端口，但是对传输流量内容进行定制，传统DPI很容易根据端口特征，将流量识别为知名应用，但是实际上，网络攻击行为却“瞒天过海”，绕过基于传统DPI技术的IDS、防火墙等网络安全屏障，在互联网上肆意妄为。新型DPI技术在传统DPI技术的基础上，对流量的识别能力更强。基本实现原理是对接入的网络流量根据网络传输协议、内容、流特征等多元化特征融合分析，实现网络流量精准识别。其目的是为了给后端的态势感知系统提供准确的、可控的数据来源。新型DPI技术通过对流量中传输的不同应用的传输协议、应用层内容、协议特征、流特征等进行多维度的分析和打标，形成协议识别引擎。新型DPI的协议识别引擎除了支持标准、知名应用协议的识别，还可以对应用层进行深度识别。

2新型DPI技术在网络安全态势感知领域的应用

新型DPI技术主要应用于数据采集和数据理解环节。在网络安全要素数据采集环节，应用新型DPI技术，可以实现网络流量的精准采集，避免安全要素数据采集不全、漏采或者多采的现象。在网络安全要素数据理解环节，在对数据进行分析时，需要基于新型DPI技术的特征知识库，提供数据标准的说明，帮助态势感知应用可以理解这些安全要素数据。新型DPI技术在进行网络流量分析时主要有以下步骤，（1）需要对攻击威胁的流量特征、协议特征等进行分析，将特征形成知识库，协议识别引擎加载特征知识库后，对实时流量进行打标，完成流量识别。这个步骤需要确保获取的特征是有效且准确的，需要基于真实的数据进行测试统计，避免由于特征不准确误判或者特征不全面漏判的情况出现。有了特征库之后，（2）根据特征库，对流量进行过滤、分发，识别流量中异常流量对应的攻击威胁行为。这个步骤仍然要借助于协议识别特征知识库，在协议识别知识库中记录了网络异常流量和攻击威胁行为的映射关系，使得系统可以根据异常流量对应的特征库ID，进而得出攻击威胁行为日志。攻击威胁行为日志包含捕获时间、攻击者IP和端口、被攻击者IP和端口、攻击流量特征、攻击流量的行为类型等必要的字段信息。（3）根据网络流量进一步识别被攻击的灾损评估，同样是基于协议识别知识库中行为特征库，判断有哪些灾损动作产生、灾损波及的数据类型、数据范围等。网络安全态势感知的分析是基于步骤2产生的攻击威胁行为日志中记录的流量、域名、报文和恶意代码等多元数据入手,对来自互联网探针、终端、云计算和大数据平台的威胁数据进行处理,分析不同类型数据中潜藏的异常行为,对流量、域名、报文和恶意代码等安全元素进行多层次的检测。针对步骤1的协议识别特征库，可以采用两种实现技术：分别是协议识别特征库技术和流量“白名单”技术。

2.1协议识别特征库

在网络流量识别时，协议识别特征库是非常重要的，形成协议识别特征库主要有两种方式。一种是传统方式，正向流量分析方法。这种方法是基于网络攻击者的视角分析，模拟攻击者的攻击行为，进而分析模拟网络流量中的流量特征，获取攻击威胁的流量特征。这种方法准确度高，但是需要对逐个应用进行模拟和分析，研发成本高且效率低下，而且随着互联网攻击行为的层出不穷和不断升级，这种分析方法往往存在一定的滞后性。第二种方法是近年随着人工智能技术的进步，逐渐应用的智能识别特征库。这种方法可以基于威胁流量的流特征、已有网络攻击、威胁行为特征库等，通过AI智能算法来进行训练，获取智能特征库。这种方式采用AI智能识别算法实现，虽然在准确率方面要低于传统方式，但是这种方法可以应对互联网上层出不穷的新应用流量，效率更高。而且随着特征库的积累，算法本身具备更好的进化特性，正在逐步替代传统方式。智能特征库不仅仅可以识别已经出现的网络攻击行为，对于未来可能出现的网络攻击行为，也具备一定的适应性，其适应性更强。这种方式还有另一个优点，通过对新发现的网络攻击、威胁行为特征的不断积累，完成样本库的自动化更新，基于自动化更新的样本库，实现自动化更新的流量智能识别特征库，进而实现AI智能识别算法的自动升级能力。为了确保采集流量精准，新型DPI的协议识别特征库具备更深度的协议特征识别能力，比如对于http协议能够实现基于头部信息特征的识别，包括Host、Cookie、Useragent、Re-fer、Contet-type、Method等头部信息，对于https协议，也能够实现基于SNI的特征识别。对于目前主流应用，支持识别的应用类型包括网络购物、新闻、即时消息、微博、网络游戏、应用市场、网络视频、网络音频、网络直播、DNS、远程控制等，新型DPI的协议特征识别库更为强大。新型DPI的协议识别特征库在应用时还可以结合其他外部知识库，使得分析更具目的性。比如通过结合全球IP地址库，实现对境外流量定APP、特定URL或者特定DNS请求流量的识别，分析其中可能存在的跨境网络攻击、安全威胁行为等。

2.2流量“白名单”

在网络流量识别时也同时应用“流量白名单”功能，该功能通过对网络访问流量规模的统计，对流量较大的、且已知无害的TOPN的应用特征进行提取，同时将这些特征标记为“流量白名单”。由于“流量白名单”中的应用往往对应较高的网络流量规模，在网络流量识别时，可以优先对流量进行“流量白名单”特征比对，比对成功则直接标记为“安全”。使用“流量白名单”技术，可以大大提高识别效率，将更多的分析和计算能力留给未知的、可疑的流量。流量白名单通常是域名形式，这就要求新型DPI技术能够支持域名类型的流量识别和过滤。随着https的广泛应用，也有很多流量较大的白名单网站采用https作为数据传输协议，新型DPI技术也必须能够支持https证书类型的流量识别和过滤。流量白名单库和协议识别特征库对网络流量的处理流程参考下图1：

3新型DPI技术中数据标准

安全态势感知系统在发展中，从各个厂商独立作战，到现在可以接入不同厂商的数据，实现多源数据的融合作战，离不开新型DPI技术中的数据标准化。为了保证各个厂商采集到的安全要素数据能够统一接入安全态势感知系统，各厂商通过制定行业数据标准，一方面行业内部的安全数据采集、数据理解达成一致，另一方面安全态势感知系统在和行业外部系统进行数据共享时，也能够提供和接入标准化的数据。新型DPI技术中的数据标准包括三个部分，第一个部分是控制指令部分，安全态势感知系统发送控制指令，新型DPI在接收到指令后，对采集的数据范围进行调整，实现数据采集的可视化、可定制化。同时不同的厂商基于同一套控制指令，也可以实现不同厂商设备之间指令操作的畅通无阻。第二个部分是安全要素数据部分，新型DPI在输出安全要素数据时，基于统一的数据标准，比如HTTP类型的数据，统一输出头域的URI、Host、Cookie、UserAgent、Refer、Authorization、Via、Proxy-Authorization、X-Forward、X-Requested-With、Content-Dispositon、Content-Language、Content-Type、Method等HTTP常见头部和头部关键内容。对于DNS类型的数据，统一输出Querys-Name、Querys-Type、Answers-Name、Answers–Type等。通过定义数据描述文件，对输出字段顺序、字段说明进行描述。针对不同的协议数据，定义各自的数据输出标准。数据输出标准也可以从业务应用角度进行区分，比如针对网络攻击行为1定义该行为采集到安全要素数据的输出标准。第三个部分是内容组织标准，也就是需要定义安全要素数据以什么形式记录，如果是以文件形式记录，标准中就需要约定文件内容组织形式、文件命名标准等，以及为了便于文件传输，文件的压缩和加密标准等。安全态势感知系统中安全要素数据标准构成参考下图2：新型DPI技术的数据标准为安全态势领域各类网络攻击、异常监测等数据融合应用提供了基础支撑，为不同领域厂商之间数据互通互联、不同系统之间数据共享提供便利。

4新型DPI技术面临的挑战

目前互联网技术日新月异、各类网络应用层出不穷的背景下，新型DPI技术在安全要素采集时，需要从互联网流量中，将网络攻击、异常流量识别出来，这项工作难度越来越大。同时随着5G应用越来越广泛，万物互联离我们的生活越来越近，接入网络的终端类型也多种多样，针对不同类型终端的网络攻击也更为“个性化”。新型DPI技术需要从规模越来越大的互联网流量中，将网络安全相关的要素数据准确获取到仍然有很长的路要走。基于新型DPI技术，完成网络态势感知系统中的安全要素数据采集，实现从网络流量到数据的转化，这只是网络安全态势感知的第一步。网络安全态势感知系统还需要基于网络安全威胁评估实现从数据到信息、从信息到网络安全威胁情报的完整转化过程，对网络异常行为、已知攻击手段、组合攻击手段、未知漏洞攻击和未知代码攻击等多种类型的网络安全威胁数据进行统计建模与评估，网络安全态势感知系统才能做到对攻击行为、网络系统异常等的及时发现与检测，实现全貌还原攻击事件、攻击者意图，客观评估攻击投入和防护效能，为威胁溯源提供必要的线索。

5结论

随着云计算和大数据等新技术的应用，网络入侵和攻击正在向规模化、复杂化的趋势发展，国内网络安全工作从针对局部信息系统的被动性、应急性安全保障，演变为面向整个网络空间的安全规划布局转变。基于新型DPI技术可以有效提升网络流量分析的精度和准度，新型DPI技术基于多种类型的协议识别规则，确保识别的准确和全面。新型DPI技术对网络安全态势感知系统分析提供实时、准确的安全要素数据，让网络安全工作具有及时性、主动性和条理性。网络安全态势感知系统，能够对网络安全遭遇的攻击威胁实现同步感知、应对和处理，在网络安全态势感知领域，新型DPI技术可以为基于网络流量分析的安全态势感知系统提供实时精准流量采集，排除无关流量对感知系统的干扰和无效分析，最终提高感知的准确度和实时性。

作者：李经 杨延平 周汉川 余勇 万月亮 单位：大同市公安局网络安全保卫支队