大数据初探

摘 要：随着移动互联网、电子商务、物联网以及社交媒体的快速发展，大数据时代已经来临，本文从大数据的基本概念出发，尝试探讨大数据的概念、特点和主要应用。

关键词：大数据 数据分析

中图分类号：TP3 文献标识码：A 文章编号：1672-3791（2013）07（b）-0029-01

在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，数据是信息的载体。以博客、微博、社会化网络为代表的新型互联网的应用，使得用户成为数据产生的重要来源，数据的规模以前所未有的速度在不断的积累和增长。谷歌公司每天要处理超过24PB（1PB=250字节）的数据。Facebook公司每天更新的照片数量超过1000万张。Twitter上的信息量几乎每年都要翻一番，每天都会超过4亿条微博。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。毫无疑问，大数据时代已经到来。

1 何为大数据

大数据（Big Data）并非新生事物，2008年9月4日《自然》推出了名为“大数据”的专刊，其实它在物理学、生物学、环境生态学、自动控制等科学领域，以及军事、通讯、金融等行业已存在多年。近年来，随着互联网行业的蓬勃发展越来越得到人们的关注，开始焕发出勃然生机。

一般认为，大数据又称巨量资料，是由数量巨大、结构复杂、类型众多数据构成的数据集合，是基于云计算的数据处理与应用模式，通过数据的整合共享、交叉复用形成的智力资源和知识服务能力。2012年初，《纽约时报》撰文，宣告“大数据时代”已然降临。大数据正在对各个领域都造成影响。在商业、经济及其他领域中，越来越多的决策行为将日益依赖于对数据的收集和分析而做出，在公共卫生、经济发展和预测等领域中，大数据的预见能力也已经崭露头角。

2 大数据的特点

大数据并不是一个确切的概念，甚至人们对它的理解也存在认识上的混淆。

“大”并不能准确的描述大数据的全部特征。大数据具备四个特点，第一，数据体量巨大：从TB级别，跃升到PB级别，甚至EB级别；大数据”庞大很庞大，以至于不能用G或T来衡量，大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。第二，数据类型繁多：数据多样，包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。第三，价值密度低，不相关信息数量庞大，需要深度挖掘分析。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。第四，处理速度快。时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

3 大数据的应用

2012年，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。而这些事情在小规模数据的基础是无法实现的。大数据对于国家来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。对于企业来说，海量数据的运用将成为未来竞争和增长的基础，通过对海量数据进行分析获得有巨大的价值的产品和服务，数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。

目前，对于大数据的应用研究处在起步阶段，随着互联网技术的不断发展，数据即资产，这一观点在业界已经达成共识。越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。对数据的分析，获得有价值的信息，大数据是为了大智慧。随着商业环境的变化发展，营销方式也发生了巨大的变化，例如营销数据的获取，过去传统的市场调研通常采用问卷、用户走访的形式，在每个网站、每个页面以及每个广告都记录下每一次用户访问的信息，用户来自哪里，是单次访问还是重复访问，每次来驻留的时间有多长，是直接访问还是通过搜索引擎，看了什么内容、最关注哪些内容等等都一一存在。而这一切的获取和分析都离不开大数据，对数据分析，要实现较高的精准、细分的数据，必须建立在大数据的基础上，进行全数据的分析。搜索记录、Facebook的留言和微博消息使得人们的行为和情绪的细节测量成为可能。挖掘用户的行为习惯和喜好，在凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并针对产品和服务进行针对性的调整和优化，这就是大数据的价值所在。

4 大数据产业链分析

IDC的数据显示，2015年整个大数据市场将超过170亿美元。大数据的商业机会主要在以下几个方面。第一，数据中心的规划、建设、运营及优化，三分技术，七分数据，得数据者得天下。随着未来数据的规模剧增，数据中心的建设与维护是必不可少的。大数据需要在服务器和存储设施中进行收集，并且大多数的企业信息管理体系结构将会发生重要大变化，需要扩大他们的系统，以解决数据的不断扩大。第二，数据分析和挖掘，据“棱镜”计划显示，美国政府多年前就开始基于海量数据的大数据技术应用，利用谷歌、雅虎、Facebook等网络服务公司提供的电邮、即时消息、聊天记录、社交网络资料、以及登录时间等海量数据中挖掘情报信息。第三，在大数据时代，商业智能有望得到迅速发展。商业智能是数据库技术、人工智能技术、统计技术和软件技术等的有机结合，根据功能不同，可细分为工具平台软件和应用软件两大部分。从全球范围来看，商业智能已经成为软件市场当前最具发展潜力的领域之一。第四，信息安全，如何处理海量数据，成为未来IT发展的关键，而在人们充分享受大数据所带来的便利的同时，其背后所潜藏着的数据丢失风险不容忽视。故此，数据保护和安全的产业前景也同样有巨大的机会。

参考文献

[1] 孟小峰，慈祥.大数据管理：概念、技术、挑战[J].计算机研究与发展，2013，50（1）.

[2] 张铮.解析大数据[J].电脑开发与应用，2013，2.

[3] 袁婕.大数据时代的商机[J].现代商业， 2012，30.