大数据应用技术浅析

时间:2022-10-03 04:03:09

大数据应用技术浅析

摘 要:随着大数据概念的热炒,大数据已经与我们的生活密切相关了。但是对于大多数人来说,大数据仅仅是一个新名词,并不了解大数据的概念以及应用。大数据的概念目前尚无定论,大数据应用技术还需要解决很多问题,相关的理论体系也急需建立,目前它的发展还面临着很大的挑战。

关键词:大数据;应用技术;挑战

中图分类号:TP311.13

关于数据方面的新名词是层出不穷,云计算、物联网的概念还没有完全理解,大数据的概念又频频出现在媒体中,特别是今年“两会”期间,在央视报道中,多次使用大数据进行实时分析。大数据的概念从计算机业界也迅速传播到各行各业,与我们的日常生活也密切的联系在一起。不但中国如此,2012年3月,奥巴马宣布美国政府五大部门投资两亿美元启动“大数据研究与开发计划”,【1】大力推动大数据相关的收集、储存、保留、管理、分析和共享海量数据技术研究,以提高美国的科研、教育与国家安全能力,美国政府以及把“大数据”技术上升到国家安全战略的高度。其他国家也纷纷加大对大数据研究的资金投入,同时,许多大公司企业也将此技术视作创新前沿。

1 大数据概念与特征

但是,到目前为止,业界关于大数据的概念尚未有统一的定义。最早将大数据应用于IT环境的是著名的咨询公司麦肯锡,它关于大数据的定义是这样的:大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。另外,被引用较多得到大家认可的还有维基百科的定义:大数据指数量巨大、类型复杂的数据集合,现有的数据库管理工具或传统的数据处理应用难以对其进行处理。这些挑战包括如捕获、收集、存储、搜索、共享、传递、分析与可视化等。【2】

当前,较为统一的认识是大数据有四个基本特征:数据规模大(Volume),数据种类多(Variety),数据要求处理速度快(Velocity),数据价值密度低(Value),即所谓的四V特性。这些特性使得大数据区别于传统的数据概念。【3】

首先,数据量庞大是大数据的最主要的特征,大数据的数据规模是以PB、EB、ZB量级为存储单位的,数据量非常庞大。同时,此类数据还在不断的加速产生,因此,传统的数据库管理技术无法在短时间内完成对数据的处理。第二,数据种类多。与传统的数据相比,大数据的数据类型种类繁多,包括了结构化数据、半结构化数据和非结构化数据等多种数据类型。传统的数据库技术采取关系型数据库较多,结构单一,而大数据重点关注的是包含大量细节信息的非结构化数据,因此传统数据库技术不能适应新的大数据的要求,传统的数据处理方式也面临着巨大的挑战。第三,大数据的产生与存储是动态的,有的处理结果时效性要求很高,这就要求对数据能够快速处理,数据处理速度快也是大数据区别数据仓库的主要因素。数据产生的速度以及快速变化形成的数据流,超越了传统的信息系统的承载能力。最后,数据价值密度低是大数据关注的非结构化数据的重要属性。大数据分析是采用原始数据的分析,保留了数据的全貌,因此一个事件的全部数据都会被保存,产生的数据量激增,而有用的信息可能非常少,因此价值密度偏低。

2 大数据可用性的面临的技术与问题

大数据并不仅仅指其数据量之大,更代表着其潜在的数据价值之大。有研究证明,有效地管理、使用大数据能够给企业提供更多增强企业生产能力和竞争能力的机会,能够给企业带来巨大的潜在商业价值。【4】但不可否认的是,大数据目前也面临很多负面影响。低质量低密度的数据也可能对决策造成致命性的错误。如何把大数据从理论研究到企业应用的转变,还面临很多问题与挑战。

(1)可用性理论体系的建立。大数据的可用性需要完整的理论做支撑,才能解决诸如如何形式化的表示数据可用性、如何评估数据可用性、数据错误自动发现和修复依据什么理论、如何管理数据和数据融合、数据安全性采取何种策略和理论等一系列问题。因此,要建立完整可用性理论体系,构建统一的模型,为大数据的进一步应用提供坚实的理论基础。

(2)高质量数据的获取的能力。大数据技术最基础的对象就是数据,是一切应用和分析决策的前提。因此,获取高质量数据是确保信息可用性的重要因素之一。随着互联网的数据不断增大,物联网的兴起以及复杂物理信息系统的应用,大数据的来源也多种多样,数据模型千差万别,质量也参差不齐,这就为加工整合数据带来非常大的困难。

大数据是对事物最原始的全貌记录,数据量规模很大,但是其中有用的信息非常少,因此,对于处理数据来说,数据并不是越多越好。如何提高数据中的有效数据是非常关键的。大量的数据中如果仅仅包含了少量的错误数据,对分析结果可能不会造成很大的影响。但是如果对错误数据没有有效控制的话,大量错误数据的涌入很可能会得到完全错误的结果。

因此,获取高质量数据的能力是大数据能否进行实用的关键因素,否则只会在浪费人力物力后获得完全无效甚至错误的结果。但是目前还缺乏系统的研究,对于出现的问题还没有很好的解决方案,在获取数据方面的工作任重而道远。

(3)数据分析与显示。单纯的大数据是没有意义的,只有通过对大数据进行分析,从中提取知识,使之能够转化成有用的结果,才是大数据可用性的实质。当前,对非结构化数据散乱无序的特征,仍然缺乏高效的分析处理手段。一方面是大数据以几何速度增长和更新,另一方面是难以从这么冗杂散乱的数据中进行有效数据分析,大数据能否发展应用完全取决于能否从数据中进行有效分析。

大数据分析主要针对非结构化数据,意味着不能保证输入的数据是完整的、清洗过和没有错误的。这使它更有挑战性,但同时提供了在数据中获得更多洞察力的范围。

同时,数据分析的结果是直接反馈给用户的,因此要以可见或可读的形式输出。而大数据处理的主要对象是关系复杂而且种类繁多的非结构化数据,因此传统的显示方法通常难以直观的表现大量的数据表、繁乱的关系图的分析结果,还可能使用户感到迷茫,甚至可能误导用户。因此还需要计算机图形学技术引入到大数据分析显示的应用中来。

上一篇:智能手机GPS功能开发与研究 下一篇:云计算应用时代开启及案例分析