数据时代的无线电监测

1大数据时代已经来临

一是数据体量巨大（Volume）。百度资料表明，其新首页导航每天需要提供的数据超过1.5PB(1PB=1024TB)，这些数据如果打印出来将超过5千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。二是数据类型多样（Variety）。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数（见图1）。三是处理速度快（Velocity）。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。四是价值密度低（Value）。以视频为例，一小时的视频在不间断的监控过程中，可能有用的数据只有一两秒。大数据不仅仅是海量数据，更是一种技术。大数据核心是业务模式，本质是数据处理技术。数据是资产，如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，大数据技术是IT领域新一代的技术与架构，将帮助人们从大体量、高复杂度的数据中提取价值。用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。各种研究表明，大数据是与智能制造、无线网络革命并行的又一次颠覆性的技术变革。其具体内容包括：海量数据分析技术、大数据处理技术、分布式计算技术和数据可视化技术。如图2所示，大数据技术主要包含三个部分：大数据产品、大数据管理、大数据使用。大数据产品主要是指各种数据获取系统，包含各种数据库、RFID、sensors等等。在无线电频谱监测中，其最明显的数据产品就是各种传感器、监测站设备等等。大数据管理主要是指大数据的存储、处理、过滤等各种关键技术，涉及各种电磁感知数据的整合和质量控制等，这个环节是大数据技术关键环节。大数据使用是挖掘、分析、搜索、扩充，是大数据技术的核心之处，即如何将数据转化为有用的信息。大数据发展催生大数据时代。大数据发展之快，已远远超出人们的想象。特别值得关注的是，2012年3月，奥巴马政府了“大数据研究与开发计划”，并宣布先期投资超过2亿美元的资金，用于研发大数据关键技术，以抢占数据资源开发利用的制高点。将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分。未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。2012年5月，联合国“全球脉动”计划了《大数据开发：机遇与挑战》报告，英国、德国、法国、日本、加拿大等发达国家积极响应。我国也于2012年10月成立了中国通信学会大数据专家委员会。种种迹象表明，世界各国特别是发达国家都把大数据的发展摆到国家战略层面加以推动，使大数据正在成为世界新的战略资源争夺的一个焦点。对于大数据的发展，全球知名咨询公司麦肯锡研究认为，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长浪潮的到来，在政府公共服务、民生医疗服务、维护社会安定、动态安全监管等领域的广泛应用，将产生巨大的社会价值和产业空间。有机构预测，大数据应用将使美国零售业净利润增长实现60％，可使制造业的产品开发和组装成本降低50％。这种影响和变化是革命性的，说明大数据蕴含着大价值。大数据应用也开拓了军事变革新境界。大数据在当今世界科技、经济、文化等领域的应用是广泛的，在军事领域也是如此。如当前的美军信息系统，运行的数据中心超过772个，服务器超过7万台，还有约700万个计算机终端。2011年，美军战略司令部司令官罗伯特·科勒上将曾指出：“不断增长的数据搜集能力和有限的数据处理能力之间的鸿沟正在扩大。”因此，美军正在加紧推进大数据研发计划，确定了“从数据到决策、网络科技、电子战与电子防护、工程化弹性系统、大规模杀伤性武器防御、自主系统和人机互动”等7个重点研究领域。美军应对大数据的基本策略，是不断提高“从数据到决策的能力”，实现由数据优势向决策优势的转化。大数据已经渗透到每一个行业和业务职能领域。作为国家频谱资源的管理者，无线电管理机构要准确把握形势，积极应对挑战，重视数据的潜在价值，关注大数据前沿技术，加快推进其实际应用，使大数据技术早日应用于无线电频谱监管领域，推动无线电管理事业发展。

2无线电频谱监测进入大数据时代

随着无线电业务的迅猛发展、无线电设备的日益增多，以及无线电监测设施的不断建设，无线电监测正逐步呈现出大数据特征。（1）监测数据量巨大。截至2013年年底，全国已经建成1千多个固定监测站、上千个移动站、1千多个可搬移设备。利用这些监测设备，开展的频谱扫描、信号测量、占用度分析等工作产生了大量的监测数据，而网格化监测方式将产生更加海量的数据。（2）数据类型复杂多样。监测设备除了产生频谱扫描数据，还可以提供IQ数据、AD采样数据及音频、测向和定位数据等。（3）沙里淘金，价值密度低。大量的监测数据并不提供现成的有价值的信息。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，为无线电管理提供管用、有用的信息，是目前大数据背景下无线电监测亟待解决的难题。（4）处理效率的要求高。大量的数据不能仅仅是存储为“数据档案”，需要及时、高效分析综合，为无线电管理提供快速的技术支撑，很多情况下需要实时或者准实时。大数据时代无线电监测要围绕新时期无线电管理工作“管资源、管台站、管秩序，服务经济社会发展、服务国防建设、服务党政机关，突出做好重点无线电安全保障工作”总体目标，切实解决资源是否摸清、台站是否管好、干扰查处是否及时有效、到底能提供哪些服务、保障工作有什么亮点这5个方面的问题。而大数据技术和网格化监测为解决上述问题提供了有效途径。

3网格化监测是以平台大数据处理为核心的新架构

如果监测数据是财富，那么网格化监测数据就是宝藏，而大数据技术就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花；没有网格化监测数据的积淀，大数据技术也只能是杀鸡用的宰牛刀。无线电监测网是一种典型的传感网，而网格化监测的数据采集、存储、处理是一种典型的大数据技术架构，如图3所示，实际上在图2中大数据产品中就有sensors（传感器）。依靠网格化无线电监测设施，利用大数据技术，分析挖掘海量无线电监测数据，从而实现统计、分析、发现、预测等功能，充分发挥无线电监测数据效能，为无线电管理提供有用信息。网格化监测和大数据技术结合可以从以下4个方面转变无线电管理工作模式、提升无线电管理水平，如图4所示。（1）提升资源管理手段。网格化监测覆盖广、频段宽、时间长，可以全面掌控频谱资源使用和演变动态；监测“粒度”细，数据挖掘深，可以实现频谱管理精细化。（2）强化台站功能。利用监测辅助台站管理，实现对在用频率和发射设备的远程监控；分析监测检测结果，掌控台站工作状态；网格化监测提升台站监管的时效性和覆盖率。（3）主动获取频谱态势。通过广域、全时监测，实现多域的统计和深度分析，主动获取频谱态势。（4）服务经济社会发展。为业务使用者提供电磁环境态势，为公众和企业提供电磁环境数据，打造开放的无线电监管平台，实现数据共享，发挥无线电管理行业优势，为国防建设、社会发展作贡献。图4网格化监测和大数据技术结合提升无线电管理水平无线电监测已经积累了海量数据，这些数据还在不断急速增加，给无线电监测带来两个巨大的变化：一方面，在过去没有数据积累的时代无法实现的应用现在终于可以实现；另一方面，从数据匮乏时代到数据泛滥时代的转变，给数据的应用带来新的挑战与困扰。如何从海量数据中高效获取数据，有效深加工并最终得到感兴趣的信息变得异常困难。要利用这种架构实现上述4个主要目标，就需要具备下面4个关键技术：（1）数据存储和预处理技术。监测节点采集了很多数据，如果要将这些海量数据全部传输到数据中心进行有效的分析统计，会给现有通信网的传输能力和数据中心的处理能力造成很大压力。利用大数据分布式存储集群概念，可将原始采集数据做一些简单的清洗和预处理工作，将其暂时缓存在监测节点端。数据预处理有多种方法：数据清理、数据集成、数据变换以及数据归约等。这些数据预处理技术可以大幅提高数据挖掘的质量，并减少实际挖掘所需要的时间。（2）分布式计算技术。分布式计算是一种把需要进行大量计算的工程数据分区成小块，由多台计算机分别计算，再上传运算结果后，将结果统一合并得出数据结论的技术。目前常见的分布式计算项目通常使用世界各地上千万志愿者计算机的闲置计算能力，通过互联网进行数据传输。如分析计算蛋白质的内部结构和相关药物的Folding@home项目，该项目结构庞大，需要惊人的计算量，由一台电脑计算是不可能完成的，借助分布式计算可以相对廉价地完成他们的计算任务。其他还有如模拟百年以来全球气象变化，并计算未来地球气象的；主攻医药领域，以寻找抗癌药物和天花疫苗为主的UnitedDevices等项目。在网格化监测中，可利用监测节点的计算功能实现这一技术。各个监测节点（任务服务器）在监测中心（作业服务器）的统一调度下，根据不同的业务类型（客户端）和工作目标（客户端），分布式计算完成各自的数据挖掘任务，将结果上传到监测中心，再次进行高层次的统计，形成有价值的数据处理结果。具体作业流程如图5所示。（3）数据挖掘技术。数据挖掘(DataMining)是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。网格化无线电监测中的数据挖掘主要是通过分析和统计监测网中各个监测设备产生的频谱扫描数据、IQ数据、解调结果数据、占用度统计数据等，生成各种频谱资源状态和趋势、台站工作状态、空间信号分布等等。（4）数据处理结果的可视化。可视化本来属于数据挖掘部分中的一个环节，即解释和应用。在无线电监测工作中要将看不见的频谱资源用可视化手段展现非常重要，所以将无线电监测数据处理结果的可视化单独讨论。可视化（Visualization）是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。无线电监测数据的可视化能够把抽象的监测数据，变为直观的、以图形图像信息表示的、随时间和空间变化的物理现象呈现在管理者面前，使他们能够观察、研究。网格化监测平台的可视化重点要做到：报表模板灵活、图表形式多样、OA集成展现、移动跨平台访问，使管理者看得明白、管得方便，如图6所示。

4总结

本文详细分析论证了无线电监测在大数据时代面临的新形势，论证了新时期无线电监测网尤其是网格化无线电监测的大数据特征，给出了一种以网格化监测为平台、以大数据处理为核心的无线电监测新架构，并对其关键技术思路进行了初步探讨。

作者：王军 黄炬 马有厂 马方立 权金泉 单位：四川省无线电办公室 四川省无线电监测站