一种靶场环境监测数据分布式处理方法

摘要：在分析靶场环境监测数据特点的基础上，构建了基于传感网的靶场环境数据检测方案，并根据监测数据的特点提出运用分布式的方式进行数据处理，以电磁环境数据为例，给出了基于Map/Reduce模型的数据处理方式与实现，总结了其优点。

关键词:物联网；环境监测；分布式数据处理；Map/Reduce

中图分类号：TP212文献标识码：A文章编号：1009-3044(2012)12-2901-02

A Distributed Processing Method of Shooting Range Environmental Monitoring Data

FENG Qin-qun

(Department of Computer Application, Command Communication Academy, Wuhan 430010, China)

Abstract: Features of the shooting range environmental monitoring data are analyzed, and the monitoring project using sensor net is brought out, the distributed processing method based on map/reduce mode is demonstrated according to the electromagnetism data, of which priorities are concluded in the end.

Key words: internet of things; environmental monitoring; distributed data process; Map/Reduce

为了能够对靶场环境进行实时监测以及评估环境因素对试验训练的影响，通过使用物联网技术，建立集数据动态采集、综合统计分析和数字化智能评估的信息化靶场环境测评系统。考虑到靶场监测数据处理的监测数据量巨大，并且监测数据是由多组最大可达到150M的数据文件组成，这样对这么庞大的数据群处理时如何提高处理效率是一个严峻考验，另外，建立能够满足数据存储要求的大容量空间也是一个问题，基于这样的考虑，在靶场数据处理上，选取Map/Reduce分布式程序设计模型，充分利用现有计算机群，在集群上对海量靶场环境数据进行并行处理，提高数据处理的质量与效率，为靶场试验训练的顺利开展提供有效保障。

1靶场环境数据监测方案

环境因素对靶场试验有非常大的影响，如何将环境因素集中分析，并根据环境评估对靶场试验进行实时调整，有必要对靶场环境进行全面检测，通过对监测数据进行分析，得出全面的环境因素评估结果。考虑到靶场环境复杂，监测实时，处理动态，分析及时等要求，提出构建自组方式的传感器网络，监测靶场环境温度、湿度、噪声、光强度、压力、冲击等因素，监测数据通过无线网络传送到数据处理中心，而数据处理中心以Map/Reduce作为分布式计算框架，实现对监测数据的并行计算，提高数据处理质量与效率。靶场环境数据监测拓扑结构图如图1所示。

图1系统结构拓扑图

每个感知节点部署有监测环境数据的温度、温度、风力、压力、电磁等传感器，计算机数据处理中心是完成各试验节点所采集的环境信息数据和试验数据的存储、管理、统计和性能分析的单元。

2 Hadoop平台的计算模式Map/Reduce简要介绍

采用并行计算的方法来解决数据处理效率低下的现状是很常见的。但是传统的分布式系统与并行算法都过于复杂，实施起来比较困难。而Hadoop实现了Google的Map/Reduce编程模型，将并行应用开发部分封装到Hadoop内部，提供了一种并行处理平 台。Hadoop框架下的HDFS和MapReduce是两个最基础最重要的成员。HDFS是GoogleGFS的开源版本,一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量(PB级)的大文件。MapReduce的实现采用了Master/Slave结构。Master叫做Job Tracker，而Slave叫做TaskTracker。用户提交的计算叫做Job，每一个Job会被划分成若干个 Tasks。JobTracker负责Job和Tasks的调度，而 TaskTracker负责执行Tasks。MapReduce的工作过程分为两个阶段：Map阶段和Reduce阶段。每个阶段都有键/值对作为输入和输出，并且它们的类型可由程序员选择。用户只需要实现map和reduce两个接口，即可完成TB级数据的计算。

3使用Hadoop对靶场监测数据处理

靶场环境监测数据包括温度、湿度、大气压力、关键目标的移动速度、瞬时冲击、震动，电磁环境等。在数据处理上，下面以电磁态势为例，运用Hadoop平台对数据处理进行说明。3.1算法设计

电磁态势监测数据由数据报头与数据组成。数据报头包括了监测经纬度、设备号、设备名称、中频带宽、射频衰减、中频衰减、解调方式、测量时间等，数据以报头的格式进行组织。数据按照/时间/频率/幅度/进行组织，下面是几组测试数据实例，每一条数据对应一组监测值。

/2010-03-12 11:43:12.246/137525000.00/47.60/

/2010-03-12 11:43:12.246/137550000.00/45.70/

/2010-03-12 11:43:12.246/137575000.00/45.50/

/2010-03-12 11:43:12.246/137600000.00/46.40/

/2010-03-12 11:43:12.246/137625000.00/46.30/

/2010-03-12 11:43:12.246/137650000.00/51.20/

/2010-03-12 11:43:12.946/137675000.00/51.10/根据Hadoop平台的特性，将战场电磁态势数据的频率占用度、频谱占用度分、电平分布、异常信号搜索等按照Map/Reduce模型进行设计，充分利用Hadoop的集群拓扑特性，实现了战场电磁态势数据处理的分布式、高可靠和易扩展。

以频率占用度为例，传统处理方式要遍历所有数据，找到监测到的最大频率、最小频率以及计算频率的平均值。而频率的平均值。而根据MapReduce模型，可以将电磁态势数据分割成许多部分，首先必须确定Map任务总数，在配置文件中设定单机执行的Map数，在程序中进行读取，并乘以机器数就可算出所需Map总数。然后将电磁态势数据按Map数进行等分，形成一个输入文件作为Map的输入，实际产生的Map数根据数据分割来确定，将数据记录的时间作为Map的key，而将相同时间里监测到的频率的平均值作为Map的value，则形成一组键值对。如第n组数据块有m个时间点，则有键值对，其中，是第n组数据块中第m个时间点，而则是该组数据块中的时刻监测到的频率的算术平均值。那么，将每次Map所形成的一组键值经过排序后作为Reduce的输入。而Reduce则将输出所有时间点所有频率的平均值。经过Reduce算法处理后的频率平均值为

（1）

此外，对其它参数可将其持久化后写入分布式文件系统中，由所有Map操作共享。最后必须为JobConf设置各类配置信息，然后启动任务。

下图是平均频率计算在Map/Reduce模型上的实现。

图2平均频率计算的实现

除了平均频率计算外，频率的最大值、最小值，异常频率搜索和频率幅度分布等都可以在Hadoop平台上实现分布计算，这大大提高了数据的处理效率，提高了整个系统的性能。

3.2算法实现

在实验中，配置Hadoop集群一共有3台PC，一台部署为NameNode和Job-Tracker，另外两台部署为DataNode和TaskTracker。使用的操作系统为Ubuntu Linux，Java环境为jdk-1.6.0-24，Hadoop版本为Hadoop0.20。通过对频率的平均值、最大值、最小值，异常频率搜索和频率幅度分布等结果分析发现，当数据量小和节点少的时候，在Hadoop平台上的计算效率不如在单台机器上的计算效率，而随着数据量的增加，节点的增多，计算效率大大提高。同样，根据不同监测数据的特点，运用Map/Reduce方式对其它类型的环境数据进行相应处理。

4结束语

靶场环境监测数据量大，而且数据处理上如何充分利用现有的计算资源，达到并行、高效、灵活、资源利用最大化是构建靶场环境监测要考虑的主要因素。而Hadoop作为一个开源的云计算平台使得编写处理海量数据的应用程序更加容易，基于Hadoop的Ma pReduce编程模型的思想、计算方法很容易在低端机器集群上实现，并能够提高并行计算系统性能、可靠性和扩展性，利用其对靶场环境监测系统建立与数据处理提供了良好的支撑。

参考文献：

[1]张西红.无线传感网技术及其军事应用[M].北京:国防工业出版社,2010.

[2]利尔达科技.物联网/无线传感网原理与实践[M].北京:北京航空航天大学出版社,2011.

[3]怀特.Hadoop权威指南[M]. 2版.周敏奇,钱卫宁,金澈清,王晓玲,译.北京:清华大学出版社,2003.

[4]刘刚,侯宾,翟周伟. Hadoop开源云计算平台[M].北京:北京邮电大学出版社,2011.