安全审计系统中日志数据整合的研究

摘要：日志数据是安全审计系统的重要数据来源，但由于不同安全产品所生成的日志格式未能实现完全的统一，安全审计系统在使用这些日志数据前必须做好日志格式的整合工作，本文就此提出一些探讨。

关键词：网络安全审计；日志；日志格式

中图分类号：TP311文献标识码：A文章编号：1009-3044(2008)14-20803-02

1 引言

防火墙、入侵检测系统和安全审计系统等安全产品为内部网络提供了良好的保护作用。安全审计系统提供了一种通过收集各种网络信息从而发现有用信息的机制，将这种机制应用于局域网内部，从多种网络安全产品中收集日志和警报信息并分析，从而实现效能的融合，与防火墙、入侵检测系统等安全产品形成合力，为局域网的安全提供强有力的保障。

如何高效的从各种网络设备所生成的海量的日志数据信息中提取有用信息，通过格式的统一整合后为安全审计系统提供统一接口，这是安全审计系统一项十分关键的工作，也是影响整个系统性能的一个重要因素，本文就此进行探讨。

2 安全审计系统的功能需求

安全监控与审计技术通过实时监控网络活动，分析用户和系统的行为、审计系统配置和漏洞、评估敏感系统和数据的完整性、识别攻击行为、对异常行为进行统计、跟踪识别违反安全法则的行为等功能，使系统管理员可以有效地监控、评估自己的系统和网络。监控审计技术是对防火墙和入侵检测系统的有效补充，弥补了传统防火墙对网络传输内容粗粒度(传输层以下)的控制不足，同时作为一种重要的网络安全防范手段，对检测手段单一的入侵检测系统也是有益的补充，能及时对网络进行监控，规范网络的使用[1]。

目前，安全审计系统是网络安全领域的一个研究热点，许多研究者都提出了不同的系统模型，这包括对内容进行审计的安全审计系统、对用户行为进行审计的安全审计系统以及对各种安全设备生成的日志进行审计的安全审计系统等等。

基于日志的网络安全审计系统是一个日志接收与日志分析的审计系统，该系统能够接收、分析审计局域网内的防火墙、入侵检测系统等网络安全产品生成的日志，审计局域网内的网络信息安全。基于日志的网络安全审计系统的功能需求如下：

(1) 集中管理：审计系统通过提供一个统一的集中管理平台，实现对日志、安全审计中心、日志数据库的集中管理，包括对日包更新、备份和删除等操作。

(2) 能采集各种操作系统的日志，防火墙系统日志，入侵检测系统日志，网络交换及路由设备的日志，各种服务和应用系统日志，并且具备处理多日志来源、多种不同格式日志的能力。

(3) 审计系统不仅要能对不同来源的日志进行识别、归类和存储，还应能自动将其收集到的各种日志转换为统一的日志格式，以供系统调用。并且能以多种方式查询网络中的日志记录信息，以报表的形式显示。

(4) 能及时发现网络存在的安全问题并通知管理员采取相应措施。系统必须从海量的数据信息中找出可疑或危险的日志信息，并及时以响铃、E-mail或其他方式报警，通知管理员采取应对措施及修复漏洞。

(5) 审计系统的存在应尽可能少的占用网络资源，不对网络造成任何不良的影响。

(6) 具备一定的隐蔽性和自我保护能力。具有隐蔽性是说系统的存在应该合理“隐藏”起来，做到对于入侵者来说是透明而不易察觉系统的存在。

(7) 保证安全审计系统使用的各种数据源的安全性和有效性。若采用未经加密的明文进行数据传输，很容易被截获、篡改和伪造，工作站与服务器之间的通讯应进行加密传输，可采用SSL、AES、3DES等加密方式。

(8) 具有友好的操作界面。

3 安全审计系统的模型概述

如图1所示，基于日志的安全审计系统主要包含如下模块：

(1) ：负责收集各种日志数据，包括各种操作系统的日志，防火墙系统日志、入侵检测系统日志、网络交换及路由设备的日志、各种服务和应用系统日志等。定时或实时发送到审计中心。其间，日志数据的传送采用加密方式进行发送，防止数据被截获、篡改和伪造。

(2) 数据预处理模块：将采集到的日志数据经过解密后按照数据来源存入相应的数据库中。

(3) 系统管理模块：负责对日志、安全审计中心、日志数据库的集中管理，包括对日志数据的更新、备份和删除等操作。

(4) 数据处理模块：负责自动将收集到的各种日志转换为统一的日志格式，并且从海量的数据中通过模式匹配，发现并找出可疑或危险的日志信息，交由“日志报警处理模块”进行处理。

(5) 日志报警处理模块：处理已发现的问题，以响铃、E-mail或其他方式报警通知管理员采取应对措施。

(6) 数据库模块：负责接收、保存各种日志数据，包括策略库也存放其中。

(7) 接口模块：供用户访问、查询。

4 安全审计系统中有用数据整合的方法

4.1 安全审计系统的数据源

安全审计系统可以利用的日志大致分为以下四类[2]：

4.1.1 操作系统日志

a) Windows系统日志。Windows NT/2K/XP的系统日志文件有应用程序日志、安全日志和系统日志等，日志默认位置在%systemroot%\system32\config目录下。Windows是使用一种特殊的格式存放它的日志文件，这种格式的文件通常只可以通过事件查看器EVENT VIEWER读取。

b) Linux/Unix系统日志。在Linux/Unix系统中，有三个主要的日志子系统：连接时间日志、进程统计日志和错误日志。错误日志――由syslogd(8)执行。各种系统守护进程、用户程序和内核通过syslog向文件/var/log/messages报告值得注意的事件。

4.1.2 安全设备日志

安全设备日志主要是指防火墙，入侵检测系统等网络安全设备产生的日志。这部分日志格式没有统一标准。目前，国内多数防火墙支持WELF(Web Trends Enhanced Log Format)的日志格式，而多数入侵检测系统的日志兼容Snort产生日志格式。

4.1.3 网络设备日志

网络设备日志是指网络中交换机、路由器等网络设备产生的日志，这些设备日志通常遵循RFC3164(TheBSD syslog Protocol)规定的日志格式,可以通过syslogd实现方便的转发和处理。一个典型的syslog记录包括生成该记录的进程名字、文本信息、设备和优先级范围等。

4.1.4 应用系统日志

应用系统日志包含由各种应用程序记录的事件。应用系统的程序开发员决定记录哪一个事件。Web应用程序日志往往是系统管理员最关心的应用系统日志之一。

a) Apache日志。Apache日志记录Apache服务器处理的所有请求和出错信息，它支持两种格式的日志：普通记录格式(Common Log Format)，组合记录格式(Combined Log Format)。

b) IIS日志。IIS日志文件记录了所有访问IIS服务程序的信息，IIS日志文件一般位于如下路径：%systemroot%\system32\LogFiles。IIS支持“W3C扩充日志文件格式”、“NCSA通用日志格式”和“ODBC数据库日志格式”。

4.2 日志数据的特点

多样性：操作系统、防火墙、入侵检测系统等安全产品都有各自记录事件的格式，缺乏统一的接口。