大数据及其智能处理技术在物联网产业中的应用

时间:2022-10-02 01:04:40

大数据及其智能处理技术在物联网产业中的应用

摘 要 从商业应用的角度,分析大数据技术对物联网产业发展的促进作用,讨论大数据具体应用在物联网产业中的技术解决途径。

关键词 物联网;大数据;智能处理

中图分类号:TP3 文献标识码:A 文章编号:1671-7597(2013)17-0001-01

随着物联网产业的不断发展,为实现“物物相联”及“人物相联”,数以亿计的物联感知设备,如RFID、GPS、搜索引擎、浏览器等,嵌入到实体设备中采集数据。由于感知设备的不断增加,物联网采集的海量数据呈井喷式增长,广泛采用云计算等大数据处理技术,实现数据分析及信息传递、交换的不断优化,从而使得物联网产业在智能识别、定位、跟踪、监控、管理等领域的应用需求从概念化走向商业实质化。

1 大数据及其对物联网产业的意义

1.1 大数据概述

“大数据”,是指一个体量及数据类别特别大的数据集,大数据技术是指从各种各样类型的海量数据中,快速获得有价值信息的技术。目前所说的“大数据”不仅指数据本身的规模,也包括采集数据的工具、平台和数据分析系统。

从实质上来讲,大数据并不是简单解决数据大及复杂的问题,而是对海量数据进行分析,只有通过分析才能获取更多智能化、深层次、商业价值高的信息,才能最终为创业决策提供有价值的信息。例如在智能交通领域,新加坡的公共交通部门近十年来利用个人位置数据做交通需求的预测;荷兰的交通部门利用移动电话的定位功能预测汽车和行人的拥堵状况。

1.2 物联网背后的大数据价值

物联网通常包括感知层、网络层及应用层。感知层产生大量的数据,例如:Facebook每天评论32亿条、新上传照片近3亿张,每周新增数据容量超过60TB。应用层则是基于感知层的这些数据进行再加工,将感知层产生的海量数据通过智能化的处理、分析,挖掘用户的行为习惯和喜好,从凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务,并对产品和服务进行针对性地调整和优化,从而提供满足不同用户需求的商业应用,而这些应用正是物联网最核心的商业价值所在。简而言之,就是物联网产生大数据,大数据推动物联网。从这个意义上讲,物联网产业的核心就是,广泛运用大数据分析手段进行智能管理和优化运营。

从商业及产业发展的角度来看,物联网背后的大数据可以提供从商业支撑到商业决策的各种行业信息,具备了商业应用实质,可以加快物联网产业商业应用的进程。

2 大数据技术在物联网产业中的应用

目前,物联网产业主要分为4个部分:数据采集、传递、处理、应用。其中数据采集与传递属于基础环节,核心是数据处理与应用环节。我国物联网产业还处在初级阶段,一线厂商还主要以感知层数据采集为主,如RFID、传感器等设备厂商,以及传输层数据传递,如电信运营商等。大数据技术,通过数据可视化、数据挖掘、预测分析、语义引擎以及数据质量和数据管理等手段,有利于推动物联网产业在应用层方面数据智能处理及信息决策的商业应用,主要包括数据采集、数据存储、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现等技术。

2.1 数据采集

海量数据是智能决策的基础。物联网的大数据采集主要包括获取、选择及存储等过程。

大数据获取主要包括传感器、WEB2.0、条形码、RFID以及移动智能终端等技术。传感器技术主要是获取物理数据,WEB2.0是网络互动数据,条形码与RFID是物品基本信息,移动智能终端则是物理数据、社交数据、地理位置信息等综合性数据。例如:中国移动推进移动支付物联网产业时,利用RFID-SIM卡替代普通SIM卡,实现物品交易数据的获取与结算。

大数据选择主要是指数据的去噪及关键信息的提取。与一般的大数据相比,物联网的数据是异构的、多样性的、非结构和有噪声的,更大的不同是它的高增长率。物联网的数据有明显的颗粒性,其数据通常带有时间、位置、环境和行为等信息。如何去噪提取有效信息是智能处理的关键。HP公司基于香农信息论及贝叶斯概率论提出了Autonomy非结构化数据解决方案,实现音频、图片、电子邮件等异构数据的智能化信息理解。

2.2 数据存储

物联网背后的大数据进行分析和分类汇总,通常采用分布式计算集群来实现。对于传统的数据存储及实时分析,关系数据库基本上能满足应用需求,如EMC的GreenPlum、Oracle的Exadata,以及基于MySQL的列式存储Infobright等。但是,对于物联网产生的海量异构数据,以谷歌为代表的IT企业提出了利用大规模廉价服务器以达到并行处理的非关系数据库解决方案,即MapReduce技术。非关系数据库的分布式存储技术,推动了物联网产业通常采用云存储、分布式文件系统等大数据基础架构,以及基于云计算的分布式数据处理方式。目前,IBM、微软、谷歌、阿里巴巴、腾讯等企业,都在推出各自基于分布式计算的云存储,解决非结构化数据的数据关联及基于此的数据分析及数据挖掘等问题。

2.3 数据分析

物联网后台海量数据的统计分析、数据挖掘、模型预测、结果呈现等都属于数据分析。物联网真正的商业价值基础在于数据分析,主要是在现有数据上面进行基于各种算法的计算,从而起到预测的效果,从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes,主要使用的工具有Hadoop的Mahout等。例如:在市场营销领域,Google通过免费软件及服务来更精确的理解用户行为和习惯,通过对用户的更精确理解来提供精确广告服务。

3 结束语

随着大数据技术在物联网产业中的不断应用,未来物联网产业必将出现体现不同商业价值的细分产业,既包括数据收集、数据分类、数据处理的原始数据处理企业,更囊括专门从事软件应用集成和商业运作的第三方企业,从而使得整个物联网产业链更加完善,更具用户体验性,也更具商业价值。

参考文献

[1]阮晓冬.物联网握手大数据[J].新经济导刊,2013(8).

[2]窦万春,江澄.大数据应用的技术体系及潜在问题[J].中兴通讯技术,2013(7).

[3]周开乐,丁帅,胡小建.面向海量数据应用的物联网信息服务系统研究综述[J].计算机应用研究,2012(1).

作者简介

余静(1982-),女,讲师,主要从事电子信息领域教学与科研。

上一篇:基于GPRS的分布式电力监测管理系统设计 下一篇:基于WEB技术的包头市奶产业风险基金管理系统的...