大数据应用研究

[提要] 随着云计算、移动互联网的迅猛发展，信息技术在各行各业发挥了越来越重要的作用，产生于不同行业的大量数据带来了新的机遇和挑战，大数据技术在社会经济发展中脱颖而出。在电网、IT、教育、金融等领域，数据的来源、种类等纷繁复杂，数据处理一直是非常重要的一个方面，调度系统、交易系统、管理系统等各个环节都有大量的基础数据产生，这就急需有效的大数据处理技术来对这些海量的数据进行分析、处理。本文主要从大数据的概念、技术及基本框架出发，对大数据处理技术的应用，尤其是在教育、金融等领域的应用进行研究，最后总结大数据研究现状，并对大数据的发展前景及未来应用进行展望。

关键词：大数据；处理技术；应用；发展前景

本文为河北省社会科学基金青年项目：“大数据背景下河北省科技型中小企业的云融资模式研究”（项目编号：HB16YJ045）

中图分类号：F49 文献标识码：A

收录日期：2017年3月16日

一、大数据的概念、技术及其基本框架

大数据指的是大规模、超大规模的数据集合，具有规模大、种类多、生成速度快、价值巨大但密度低的特点。收集大数据可以帮助企业挖掘出更多具有研究价值的信息，比如管理分布趋势、人们的生活习惯等。传统的数据处理方式无法对海量的数据进行准确的分析与处理。《华尔街日报》将大数据时代、智能化生产和无线网络称为引领未来繁荣的三大技术变革。那么，大数据的定义是什么呢？维基百科对大数据做了比较简单明了的定义：大数据是指利用常用软件工作捕获、管理和处理数据所耗时间超过可容忍时间的数据集。也就是说，大数据是一个由大量数据组成的数据集，这个数据集涵盖的数据种类繁多，已经无法用我们传统的数据处理技术来分析和管理，也无法用传统的数据库来存储和查询，而且随着数据的不断扩充，数据的不完备性及时效性也为数据处理带来了极大的挑战，从而产生了大数据处理技术。Hadoop系统框架的提出，带来了海量数据处理技术新的浪潮，Hadoop是一个由Apache基金会所开发的分布式基础框架，实现了一个分布式文件系统，简称HDFS，用户可以在不了解分布式底层设计细节的情况下，进行分布式程序的开发。Hadoop框架最核心的设计就是HDFS和MapReduce。Hadoop体系架构和核心技术，如图1、图2所示。（图1、图2）

二、大数据处理技术的应用

大数据在各个领域应用广泛，尤其是在电子商务、电网、网络通信、医疗行业、能源行业、气象行业、国防军事等领域得到了深入的开发与应用。比如在电网领域，智能电网的调度、蓄电池领域等都提出了将大数据技术融合进智能电网的发展方向；在电子商务方面，通过大数据的分析可以得到消费者的消费习惯、消费趋势等信息；在网络通信领域，可以通过对大量的通信数据的收集分析，捕捉市场变化；在医疗行业，在医疗活动、健康体检、人类基因分析中会产生海量的有效数据，通过大数据处理技术，可以实现个性化治疗，建立基因数据库等；在气象领域，气象卫星、天气雷达等非常规遥感遥测数据中包含的数据信息非常丰富，通过收集大量的气象卫星数据可以挖掘出更多有助于预测天气变化的规律，提供更加精准的天气预报，同时通过这些数据分析也可以拓展气象行业新的领域。另外，大数据在交互领域的应用也更加广泛和深入。

在金融保险领域，“互联网+金融”的发展模式为大数据在金融领域的应用提供了更加广阔的空间。例如中小型企业融资问题的研究，通过搭建的云数据平台，广泛收集资金供需两方的信息资源，用大数据处理技术对收集到的海量的数据进行处理分析，从而建立标准化风险评估体系，降低金融行业的风险系数、拓宽融资渠道等，助力金融行业的发展。在教育科研领域，近年来在移动互联背景下，教育改革成果质量有了突飞猛进的提升，通过对教育活动中的一系列行为数据进行统计分析，可以帮助我们为改善学生的成绩提供个性化服务，与此同时，还能改善学生的出勤率、升学率等。目前，美国教育部门开发了“学习分析系统”，通过数据挖掘、模型化和案例运用，帮助教育者更多更精准地了解学生信息，对于翻转课堂、案例化教学等新兴的教学改革方式也提供了依据和帮助。国内的高校主要是通过网络教学平台的构建，依托大数据处理技术，分析教师、课程、学生三者之间的关系及各自的学习特征等。另外，大数据在智慧城市、智能运输等方面也有出色表现。

综上所述，大数据处理技术在各行各业都得到了广泛的应用，随着移动互联网、物联网、云计算等技术的飞速发展，大数据未来的发展空间将会更加广阔。

三、大数据发展的挑战与展望

当前，大数据处理技术的应用还面临着很多的挑战，目前的技术研究水平还处于初期阶段，在数据存储、数据处理、数据分析等方面还存在效率低、不稳定的问题，数据模型建立、数据分析及相应的搜索、挖掘算法还有待优化。另外，在信息技术中，数据的安全和隐私一直也是人们最为关注的问题，数据量的增多，也意味着大数据的处理面临着更严峻的安全风险。此外，病毒特征、漏洞特征和攻击特征等信息也更容易通过大数据分析而被掌握和利用。如何建立严格的数据安全机制，提升数据质量也成为大数据发展的制约因素。

综上所述，大数据的发展还面临着诸多问题。目前，大数据的安全问题已经得到了国内外研究学者的高度关注，但在多源异构大数据的表示、度量和语义理解方法，建模理论和计算模型、能效优化的分布存储和处理的软硬件系统架构等方面的研究还有待进一步深入。

大数据的出现已经影响了人们的生活和思维方式，改变了社会经济的发展模式，深入渗透于社会的各行各业。数据价值日益凸显，信息对人们的生活质量有着日益提高的重要作用。大数据不仅促进了物联网、移动互联网、云计算等技术的融合，同时还催生了很多学科专业的交叉融合。目前，以Hadoop为代表的数据处理技术取得了很大的成功，但随着大数据突飞猛进的发展速度，数据的规模会更大、种类更多、结构也更为复杂，未来从交叉学科、人机交互、信息安全、方法论等角度出发，大数据的发展会更加贴近人们的生活，这也必将引起社会活动的巨大变革。

四、结语

大数据的产生对当今社会经济的发展及变革产生了巨大的影响，大数据技术的应用及研究已经融入到各行各业中，为社会经济的发展带来了很大的机遇和挑战。但是，大数据的发展同样也面临着很多的问题：数据种类越来越复杂，数据量日趋庞大，无论是数据存储还是数据查询，都出现了软硬件等方面的瓶颈问题；用户的应用和分析结果呈整合趋势，对实时性和指令响应时间的要求越来越高；同时，数据处理的模型也越来越复杂，计算算法的要求越来越高等，这些都需要从数据采集、数据管理、数据处理（包括数据传输）等方面去改进优化。随着大数据技术在各行各业的广泛应用，数据处理技术也将会越来越先进，大数据将会更多更深入地与各个学科专业深度融合。相信大稻菁际趸岫陨缁峋济的发展产生强有力的推动作用。

主要参考文献：

[1]徐岩.面向计算机基础教学的Hadoop实验设计[J].试验室研究与探索，2016.1.

[2]方巍，郑玉，徐江.大数据：概念、技术及应用研究综述[J].南京信息工程大学学报，2014.10.

[3]张引，陈敏，廖小飞.大数据应用的现状与展望[J].计算机研究与发展，2013.2.