大数据展望

在谈大数据之前，首先，让我们先看看两个大家都耳熟能详的例子。

第一个例子是二十世纪九十年代啤酒和尿布的例子，讲的是沃尔玛通过分析发现啤酒和尿布具有关联性，然后把两个货物放在一起，导致销量大幅度上升。

第二个例子是近期发生的一件事。在奥巴马连任之后，有媒体评论，华盛顿那些基于直觉和经验决策的竞选人士的优势正在急剧下降，取而代之的是数据分析专家和电脑程序员的工作。一位官员评论说，在政治领域大数据的时代已经到来。

讲到大数据的时候，大家经常讲到这两个例子，沃尔玛和奥巴马的例子同样是一帮人在做数据分析。但是为什么说现在大数据的时代已经到来呢？上个世纪九十年代时，沃尔玛的数据量应该也很大，分析应该也是很困难的，但为什么那时没有被称为大数据时代呢？

数据和大数据

对这两个例子我总结了一下，觉得它们之间有一些相同点和不同点。

相同点是都进行了数据的分析。不同点是什么？第一个不同是时间上的差别。第一个例子是发生在上世纪的九十年代，那时互联网刚刚兴起。另一个例子发生在上个月，现在已经到了互联网无处不在的时代。第二个不同的是，沃尔玛分析的是企业的销售数据，销售数据都是结构化的数据，所以他是用典型的数据分析和挖掘方法来进行分析的。而奥巴马的团队重点分析的是互联网数据，这类数据不可能都是结构化数据，当然会有一部分非结构化和半结构化的数据。

前者基于关系型数据库的分析方法其实就是数据挖掘或BI（商业智能）。后者则被称为大数据。大家都知道凡是做数据挖掘的，一定是从历史数据上进行分析和整理。但是在大数据时代，更多地应该是分析实时的信息。

大数据的推动力和概念

大数据之所以被称为大数据，我认为主要是有以下四个方面的推动力。

一是互联网、移动互联网、物联网以及随处可见的监控和遥测设备等产生的大规模的数据，这些数据源的数目、种类以及数据产生和发生的速度和频率都在急剧增长。

第二个推动力是云计算的日益成熟，为大数据提供了成熟的环境和处理能力，推动了数据挖掘和商业智能发展到大数据阶段。

第三是非结构化数据处理技术的快速发展。

第四是政治、经济、文化和构建和谐社会的应用需求，推动了大数据的发展。

大数据的价值

那么，大数据有什么价值呢？首先举个例子，谷歌曾利用大数据技术对全球登革热趋势进行过预测，他们得到的预测数据和实际的数据非常地吻合，这就带来了一个好处，我们可以通过这一趋势预测它的发病时间和周期以及它的振荡。通过这个例子我们可以看到，大数据所带来的一些价值。我认为，大数据的作用体现在以下几个方面：一是早期的预警；第二是实时的感知；第三是实时的反馈。

大数据的挑战

当然，在大数据的发展过程中，也存在着一些挑战。

第一个挑战来自于数据本身，包括数据的获取、共享和保护。第二个挑战是它的处理技术，还处于发展之中。第三个挑战是个人信息的保护。第四个挑战是如何应对新的数据源，也就是说对这些新的数据源，如何进行选择，如何进行摘要。另外一个问题是如果分析不当，可能会造成误导。

总而言之，大数据对国家治理、企业决策以及个人生活都将产生深远的影响。加速推动大数据的应用和普及，提高决策能力、提高服务创新能力，也应该成为今后我国政府以及企业的必然选择。