研究物联网海量数据处理下的数据库技术研究

时间:2022-05-06 02:59:13

【前言】研究物联网海量数据处理下的数据库技术研究由文秘帮小编整理而成,但愿对你的学习工作带来帮助。物联网(Internet of things)是信息化时代产物,属于信息技术组成部分[1]。从字面含义来说,它是指以“物”为基础而连接的互联网,是对互联网的延伸和拓展,直接实现了物品与物品之间的通信、信息交换。物联网主要以通信技术为基础,如局部网络等,能有效将人员、控...

研究物联网海量数据处理下的数据库技术研究

摘要:随着社会不断进步,科学技术飞速发展,对数据处理技术的要求也越来越高,在这种时代背景下,物联网数据库技术开始受到人们广泛关注,它集海量处理和快速处理等优点于一身,能有效满足人们日益多层次、多元化的数据处理需要。本文从物联网基本概念入手,简要介绍其发展过程,结合目前数据处理技术,重点研究、阐述物联网海量数据处理下的数据库技术。

关键词:物联网海量数据数据库技术内存数据库

中图分类号: TP393 文献标识码:A 文章编号:1007-9416(2016)04-0000-00

计算机、电脑等移动终端逐渐普及,再加上互联网技术的发展,每天都会产生大量原始数据,传统数据处理技术已经不能很好地满足人们需要,如果想要在日益竞争激烈的市场中获取竞争力,必须不断更新数据处理系统,借助物联网海量数据处理下的数据库技术,实时动态收集、搜索和分析数据变化,为科学化决策提供保障。

1物联网概念和发展过程分析

物联网(Internet of things)是信息化时代产物,属于信息技术组成部分[1]。从字面含义来说,它是指以“物”为基础而连接的互联网,是对互联网的延伸和拓展,直接实现了物品与物品之间的通信、信息交换。物联网主要以通信技术为基础,如局部网络等,能有效将人员、控制器和机器等联系在一起,实现真正意义上的远程管理和自动化,其属于新兴产业,具有很宽广的市场前景[2]。

随着物联网技术的飞速发展,其涵盖的领域越来越广泛,如交通、环保等,它最初产生于1999年,其真正概念直到2005年才被确定。我国物联网数据处理技术引进时间不长,但它推动了我国产业结构优化,对我国经济水平的增长做出了一定贡献,特别是在通信领域。

2物联网海量数据处理技术分析

物联网海量数据处理技术中包含的设备种类、网络类型较为复杂,因此,在数据处理过程中,必须能够融合数据源、不同网络和各类设备,并且需要快速筛选有效信息,对处理技术的要求较高,目前,应用得较广泛的主要有以下两种:

2.1多源数据融合处理技术

不同区域物联网中存在的数据类型、数量、特点都会有所不同,加大了数据融合的需求,基于此,多源数据融合处理技术诞生,它规定了统一的数据本体标准,较好地实现了多层次数据结构[3],能将多种来源、不同结构的信息收集在一起,并以通信技术为基础,对数据进行有效整合,转化为其他技术能够融合的模式,将时空转换、聚类技术等有机结合,提高了海量数据的利用效率和质量。

多源数据融合处理技术为不同类型的数据结合提供了沟通平台,能较好地实现物与物之间的交流,对建立数据处理标准具有一定的参考价值,从数据库技术的层面分析,增加了海量数据的数量和来源,促进了数据一体化进程。

2.2数据查询处理技术

物联网设备应用较为广泛,数据产生速度、数量比传统互联网技术多,其数据具有不同来源、不同维度等方面的特征[4],且数据规模较大,因此对物联网储存、搜索和查找等技术的要求特别高。从物联网储存技术的角度分析,需要遵循就近存储,为数据建立统一摘要节点,降低过度存储的机率,为有效查询提供条件,同时,在储存过程中,要合理设计储存空间和容量,不断更新数据库信息,以最新数据代替原始数据,提高数据的实时性;从物联网搜索技术的角度分析,数据处理主要包括空间流和时态流两种形式,设计搜索引擎时,可以根据“索引算法”,合理对数据种类进行科学归档;从物联网查询技术的角度分析,如果能够确保储存技术和搜索技术,就能很好地为查询技术提供基础,因此,不能将三种技术分开设计,而应该结合物联网具体特征,综合考虑数据数量、类型等方面的因素,统筹规范处理技术,提升数据处理的可靠性和准确性。

3物联网海量数据处理下的数据库技术研究

物联网数据具有实时性、多维性、不同结构性和海量性等基本特征,对数据库储存空间、搜索技术等要求较高,研究物联网海量数据处理下的数据库技术的具体数据处理方式和技术类型,对数据处理具有很大意义,本文主要从以下三部分进行阐述。

3.1通过云技术,实现分布式数据库技术

云技术在目前网络服务中已经被广泛运用,如网络邮件等,它能将网络中资源有效统一,对数据的存储、计算具有一定帮助,在物联网的领域中,云技术也发挥着相应的效果,它与海量数据处理技术重新融合,组成新的“分布式数据库”技术,将中心服务器和数据服务器联合在一起,建立多个不同地方的实时数据库[5],对于数据库规模来说,增加了规模的灵活性,可以根据数量的大小,伸缩或扩大规模;对于管理系统来说,实时数据库能够降低管理过程中出现问题的概率,如果出现问题,也能及时维护。分布式数据库技术给物联网提供了虚拟平台,为数据储存、信息等创造了更快捷的途径。此外,其还具备调动事物、处理冲突等基本功能。

3.2融合网络技术,实现内存数据库技术

传统网络技术中仍然存在很多值得学习的数据处理方法,内存数据库技术以网络技术和物联网技术为基础,结合两者优点,将数据处理过程变得更加透明化、数据独立化,主要有以下三个特征:一是内存数据库独立于网络节点,通过水平切分、读写分离等存储方式,实现数据库集群化[6];二是数据库之间相互融合,能将海量数据集合在一起,满足其他终端需求;三是内存数据库技术的持久性,它以磁盘为基础,将数据内容变化复制,实现更科学的保管数据。海量数据的复杂性,需要借助内存数据库技术,将网络局部功能和空间联系在一起,为同步更新信息提供基础。

3.3联合数据收集、存储方式,实现检索服务

综合分布式实时数据库技术和内存数据库技术,将海量数据通过统一平台连接,实现数据收集、存储过程,从而实现对海量数据的高效检索和应用,保障整个过程的合理性和科学性。通过使用数据服务器或收集器,对相关查询数据服务进行申请,并借助网络节点,更好地进行准确搜索。海量数据的收集过程是否完善、高效直接影响着检索的准确性,因此必须保障数据接收过程的安全性。

4结语

综上所述,研究物联网海量数据处理下的数据库技术,其工程量复杂而艰巨,在这个过程中,只有进一步挖掘海量处理数据技术,才能更好地分析数据库技术的应用范围和优势。从分布式实时数据库技术和分布式内存数据库技术角度分析,它们以云技术为基础,能较好地解决数据收集、储存方式,并不断拓展数据系统规模,为形成统一数据服务创造了更好的条件。但目前数据库技术处理过程中仍然存在很多需要注意的问题,相关人员必须引起重视,并结合物联网海量处理的特点和优势,创新物联网数据库技术,提高数据处理过程中的准确性和可靠性。

参考文献

[1]石爱军,马娟,齐安文,薛跃明,黄矗张斌.物联网技术在突发地质灾害应急响应中的应用研究[J].水文地质工程地质,2014,05:148-152.

[2]刘持标,李贤灿,孙丽丽,吴美瑜,邱锦明.基于SOS技术的物联网实时数据管理系统开发[J].物联网技术,2014,09:58-65.

[3]谢伍瑛.2000-2014年中国物联网研究综述――基于“珞珈学术搜索”数据库的文献分析[J].新闻传播,2015,15:4-9.

[4]王莹.基于WebService的物联网信息数据库系统设计与分析[J].电脑编程技巧与维护,2015,16:59-60+69.

[5]马文娟,金伟祖,许文俊,刘坚.基于物联网的地震监测台网应急调度平台设计与应用[J].地震工程与工程振动,2013,01:204-211.

[6]陈宇,蒋文涛,熊艳,李小龙,晏菲.基于NoSQL技术的心电数据库存储研究[J].生物医学工程研究,2015,04:235-237+251.

收稿日期:2016-03-07

项目编号:16A520094 项目名称:基于多平台的教师业绩多维度智能评估系统的设计 单位:郑州大学西亚斯国际学院

主持:宋小芹

作者简介:宋小芹(1983―),女,河南开封人,本科,讲师,研究方向:计算机应用

上一篇:基于熵的复杂电网的脆弱性识别与评估 下一篇:液晶屏显示驱动芯片测试技术研究