基于场景重构和报警融合的异常数据分析

【摘 要】本文提出了一种包含报警标准化、去冗余、场景重构和报警融合的异常数据分析方法，通过去除攻击失败的报警，减少了对场景重构的干扰。在场景重构中，通过反向关联，减少了不必要的报警，同时通过对孤立报警的补充，保证了场景图的完整性。在报警融合中，提出了融合同一攻击步骤的不同报警的方法，以抽象层和具体层两个层次重构入侵场景。最后通过实验验证了所提出方法的有效性。

【关键词】异常数据分析；去冗余；场景重构；报警融合

【Abstract】This paper proposes an abnormal data analysis method which contains alarm standardization， eliminating redundancy， scene reconstruction and alarm fusion . The interference of scene reconstruction is reduced by removing the alarm of failed attacks. In the reconstruction of the scene， through reverse link， reduced the unnecessary evidence， at the same time through the addition to the isolated alarm， to ensure the integrity of the scene graph .Herein， to reconstruct intrusion scenario in abstract and concrete layer， we also developed different alerting methods based fusion of the same attack steps in the alarm fusion. Finally the effectiveness of the proposed method is verified by experiment.

【Key words】Abnormal data analysis； Eliminating redundancy； Scene reconstruction； Alarm fusion

0 引言

随着互联网的普及和网民数量的增加，网络攻击事件频繁发生，在通过入侵检测系统对这些攻击事件进行检测时，会产生海量报警，这些报警零星杂乱、难以理解与管理，因此网络安全管理员要想从海量的数据中发现入侵者的攻击过程并对其做出相应的防御是非常困难的。

目前已有的很多异常数据分析方法都难以解决场景重构时的误报和漏报，本文提出了基于场景重构和报警融合的异常数据分析方法。在场景重构中通过去冗余技术来减少攻击失败报警对场景重构过程的干扰；采用因果关联的方法，从时间、状态、参数3个方面对报警进行关联；利用反向搜索来补充遗漏的报警事件。因此，本文提出的方法可以在很大程度上消除了场景重构时的漏报和误报。在实验中，采用DARPA 2000的入侵检测数据集，并利用基于Snort网络入侵检测系统的报警，对本文提出的方法进行了验证。

1 相关工作

异常数据分析技术是入侵检测系统中对报警信息进行处理的核心技术，通过异常数据的分析可以将入侵者的攻击流程直观的展示给人们。异常数据分析技术主要包括场景重构和报警融合。场景重构解决了传统入侵检测中存在着较高误报率和漏报率的问题，报警融合将大量的低级报警进行融合，确保攻击场景的完整性。

Han[1]等设计了基于关联规则的入侵检测算法，通过对频繁子集的挖掘，成功检测出了已知攻击的变种。赵宁[2]等人提出了基于流程化攻击场景重构技术，采用不同的关联模型对来源不同的报警进行关联，重构入侵者的入侵场景。Daisuke[3]提出了一种基于日志分析方法，通过对计算机网络日志进行分析，构建攻击者的攻击场景。H.Achi[4]把计算机网络安全的一些技术应用到入侵检测，得出攻击者的网络攻击流程。

2 异常数据分析方法

本文提出的基于场景重构和报警融合的异常数据分析方法，其主要思路是：首先去除攻击失败的报警；然后反向关联，减少场景重构中一些不必要的数据；最后对一些孤立报警进行必要的补充，来保证场景图的完整性。具体流程如下：

1）依据报警属性的重要程度，保留了五种报警属性：（1）报警ID号Alert_id；（2）报警时间Alert_time；（3）报警类型Alert_type；（4）报警源地址Alert_source；（5）报警目的地址Alert_dest。

2）对报警进行精简与合并，此项工作主要由以下两个步骤完成：（1）对具有重复关系的报警进行合并；（2）删除攻击失败的报警。

3）通过寻找各个攻击步骤之间存在的因果关系，将那些大量的、离散的报警合并成同一攻击的不同攻击阶段。本文所使用的算法是在文章[5]的基础上添加了时间约束条件，即两条报警能进行关联的前提是这两条报警的时间差在一定范围之内。该算法的流程为：

S 1：遍历每一条报警，将报警与词典库中的数据进行匹配。

S 2：若该报警与其匹配成功，将其保存到关联表中。经过多次实验，发现时间阈值T=20min为最佳时间段。

S 3：如果该报警与词典库的报警都无法匹配，则将该条报警保存在独立报警表中。

4）对于某一个入侵场景，首先找到该场景中报警类型级别比较高且时间靠后的五条报警，就从这些报警开始向前补充，将这些报警补充完后，判断此场景是否完整，若该场景图还存在遗漏，需要再进行一次遗漏报警的补充，直至场景图相对最完整。

5）本文提出的报警融合方法，结合了相似性和抽象性，通过该技术得到一个完整的攻击场景图。我们把报警融合算法分成两大步：（1）将新产生的报警融合到攻击者的攻击流程中；（2）将不同的场景图，再次合并形成一个更加完整的攻击场景，具体算法如下：

S 1：提取各完整入侵场景中的报警MA1，MA2，…，MAn。

S 2：对于新报警A，寻找可以与其融合的报警Find（A，MAi）。

S 2.1：若A.Alert_type =MAi.Alert_type，则转S 2.2，否则插入融合队列。

S 2.2：若IP地址相似度SimIP（A.source，MAi.source）>IP阈值，则转S 2.4，否则转S 2.3。

S 2.3：若SimIP（A.dest，MAi.dest）>IP阈值，则转S 2.6，否则转S 2.4。

S 2.4：若SimIP（A.dest，MAi.source）>IP阈值，则将A的dest与source互换，并转S2.5，否则插入融合队列。

S 2.5：若Simtime（A.begintime，MAi.begintime）>time阈值，则转S 2.6，否则插入融合队列。

S 2.6：若全局相似度SimAll（A，MAi）>AllSim最小阈值，则转S 3，否则插入融合队列。

S 3：融合生成一个新报警N，有N.begintime =min{MAi.begintime，A.begintime}，N.endtime =max{MAi.endtime，A.endtime}；IP地址取A和MAi合并的IP地址。

S 4：删除场景中重复的报警。

S 5：比较各入侵场景是否相同，将相同的入侵场景合并。

6）然而，在实际的环境下，如果仅仅通过分析报警，很难得到完整的攻击场景图，这时如果再对系统日志、cookies记录等进行分析，将其融合到攻击场景中，所得到的攻击场景将会更加完整。

3 实验结果及分析

上一节介绍了基于场景重构和报警融合的异常数据分析方法的具体流程，在本小节中，主要是将此方法得到的实验结果进行分析，验证本文所提出方法的必要性与可行性。

1）报警融合步骤的必要性

报警融合的主要目的是去除原始报警中冗余的报警，通过多次的实验，结果表明了在对报警信息进行关联分析时，必须要采取报警融合技术。

由表1，可以清晰的看出各个不同规模的报警集经过报警融合后，其报警数量都大大地减少了。因此，报警融合这一步骤是很有用的。

2）基于异常数据进行入侵检测的可行性

通过上面的实验，可以看出，通过报警融合确实减少了报警数量，但去掉的这些报警是否会影响场景图的完整性，下面对其进行分析。

通过上图可以很清晰的看出攻击者的主要攻击步骤，即首先通过主机进行端口扫描，然后通过asp注入，添加超级用户，然后通过该用户对该网站进行操作管理，最后入侵网站成功。实际检测出的攻击场景图由图中虚线表示，即成功关联出了具有关联关系的报警信息，进行MSSQL注入时，会通过pangolin在主机增加一个用户，然后将此用户加入到管理员分组，提升此用户的权限，通过本文设计的系统进行关联时，将此步骤关联出来了。由此可以看出，本文的方法很大程度上避免了漏报，证明了该方法在可行性方面是没问题的。

4 结论

在攻击场景重构中，报警融合能有效的抽象出不同主机的行为，场景重构对每台主机可以实现攻击场景的重现。本文把这两者结合起来，提出了基于场景重构和报警融合的异常数据分析技术，先进行场景重构再进行报警融合，既保证了攻击场景图的全面性又保证了准确性，有利于从宏观上了解攻击者的攻击动机和过程。在下一步工作中，将对提出的算法进行进一步的优化，并对入侵知识库进行完善。

【参考文献】

[1]MoradiM， Zulkemine M. A neural network based system for intrusion detection and classification ofattacks[J]. Queen University， Canada， 2004：1008-1015.

[2]赵宁.基于流程化攻击场景重构的网络风险评估[D].华中师范大学，2011.

[3]Daisuke Takahashi ，Yang Plexity Analysis of Retrieving Knlowledge from Auditing Log Files for ComPuter and Network Forensics and Accountability[C]//IEEE International Conference on Communieations， IEEE.May ，2008：1474-1478.

[4]Achi H， Hellany A， Nagrial M. Network security approach for digital forensics analysis[C]//Computer Engineering & Systems， 2008. ICCES 2008. International Conference on. IEEE， 2008：263-267.

[5]Peng N， Yun C， Douglas S. Techniques and tools for analyzing intrusion alerts[J]. ACM Trans on Information and System Security， 2004， 7（2）： 274-318.