大数据带来的行业应用新浪潮

浪潮集团首席科学家、执行总裁王恩东

云计算和大数据是密不可分的两个词，也是最近几年的热点词汇。云计算和大数据是密不可分的，云计算是大数据的基础，大数据是云计算的目标，只有通过数据分析、挖掘提供服务，云计算才能体现它的价值。

从行业云到行业大数据

从云计算的角度看，可以将云分成三类：公众云、私人云和行业云。行业云的定义是行业内起主导作用或者掌控关键资源的组织建立或者维护的，以公开或者半公开方式向行业内部、相关组织或者公众提供有偿或无偿服务的云计算系统，它不同于公众云（百度、Google这些云计算可称作公众云）。行业云最大不同就在于它核心的能力是在于本身所掌控的数据。从前几年来看，公众云的数据都是网络上各种各样的数据，是在网络上自然形成的，或者是近几年每个消费者个人在免费使用行业云所提供的服务同时，所贡献了个人的一些数据。这些数据相对而言其私密性、保密性不是很强，对于国家的运行、经济的运行没有那么的关键。但是对于行业组织而言是非常有价值的。同样，这种数据一般来讲也是不可能随便拿出去放到一个公众云上让大家随意看到的，甚至包括我们的医疗数据、交通数据以及经济运行数据等。

当然公众云与行业云之间在基础上是有很大的变化，公众云有非常强大的技术能力，其核心竞争力就在于技术能力；行业云则在于其数据是垄断性的，或者通过一定的授权才能使用的，但是在技术能力上又需要第三方公司提供一些标准的支撑，因为本身不可能让每个行业、每个组织都自己开发这样一套相应的系统来支撑它的运营，还是要靠第三方的公司或者企业来支撑运营。

随着这几年云计算的发展，数据的积累也越来越多，于是就提出大数据也应当分出行业大数据。同样在很多其他行业里面也会有这样的需求。我们在逐步进行业务整合、数据集中，在这些数据逐步集中起来时，对于数据的挖掘和服务集中显现出来，这种行业的需求便叫做行业大数据。

行业大数据的发展阶段

根据行业大数据应用的特点，我们将行业大数据的应用分为三个阶段，每个阶段都有不同的应用特点。

首先是业务驱动阶段。在前期信息建设时，所有的数据实际上都是被动产生的，一般是围绕着某一个任务、某一个业务去建立信息系统，在信息系统运行过程中会产生一些数据形成的结果，在这过程当中更多的是关注最终的结果，对于过程数据关注非常的少，于是大量的过程数据都丢失了，因为我们认为它是没用的。

当然，在这个阶段，我们的存储容量、存储能力、存储水平也不能把那么多数据都记录下来。因此，信息孤岛现象或数据孤岛现象是非常普遍的。由于数据孤岛的问题，实际也为我们接下来的数据融合埋下了不利因素，因为数据格式不一样，数据质量会比较差。

第二个阶段是数据融合阶段。在这个阶段，组织内部或行业内部开始进行数据的整合、数据的共享，尤其是基于这些数据开始初步对数据进行分析、挖掘而产生一些价值，例如一些BI系统，即商业系统，实际上这些商业系统本身并不是预测，更多的是在历史数据里找出一些规律，为决策提供一些依据而已。在这个阶段由于要进行综合的挖掘，也会带来相关的困惑，也带来了相关技术发展上的问题，例如缓和存储的问题以及如何解决共享和隐私的矛盾，由于是处在一个组织内部，共享和隐私矛盾比较少，更重要的是要打破部门利益达成共享。

第三个阶段是数据驱动阶段。这应当是大数据最终的阶段，在这个阶段大数据真正成为资产。通常信息系统建设应当以数据为核心来建设我们的系统，而第一个阶段我们是以任务为目标建设系统，数据是副产品。在最后的数据驱动阶段，我们是以数据为核心来构建系统。系统的设计首先要进行数据结构的设计，跨行业、跨领域的数据融合成为一种必然。同样它要产生的结果中，我们主要是追求其预测性，这种预测也是要超出本组织、本行业的结果。天气预报是一种预测，这样的数据分析充其量是在第二个阶段――数据融合阶段，如果我们能够把天气预报、农业生产的数据、工业生产的数据等相关数据融合起来，进一步根据天气变化能够预测粮食产量情况，根据天气能够预测旅游情况，那么这可能就到了数据驱动阶段，到了真正充分利用大数据的阶段。

当然到这个阶段更多的不仅仅是技术问题，还涉及到政策、环境、一些法律法规的问题，再比如隐私保护的问题，在此阶段可能有大量的数据交易产生，数据交易过程中如何保护其私密性、保密性，都要通过相关的法律建立才能做到。

行业大数据面临的技术需求

在把大数据分为这三个阶段之后，再看行业大数据会面临什么样的技术需求。

实际上，行业大数据与大数据所面临的技术挑战有非常多相通的地方。同样也有它特殊的地方。围绕大数据，浪潮也做了很多实践，可以总结为一个词 “一体化”。

一是流程与技术的一体化。大数据的分析无论从采集、存储、分析、可视化这些阶段，都需要不同的技术、不同的产品，如果把这些交给用户自己去做，是很复杂、很麻烦的事情，所以浪潮在这方面做了一体化的工作，把相关的技术与流程结合起来，提供一体化的方案。

二是软件与硬件一体化。针对不同大数据应用提供专业计算、存储和网络硬件，针对不同的应用进行软件的调优，为用户提供软件和硬件的一体化。

三是平台与应用一体化。我们认为现在这阶段还是初级阶段，很多技术还没有形成最终哪一个是主流，能解决所有问题的，所以很多问题还面临着大量技术挑战。在这种情况下，我们看到，不同行业的问题有非常多相似性，因此面对不同行业提供不同的应用平台是非常有效的。比如围绕金融、公安这两个行业，浪潮也研发出了金融大数据一体机、公安大数据一体机等等。当然在大数据一体机里，我们把数据获取、存储、管理、分析以及可视化围绕行业特点进行专门的定制化，使整个系统性能有了很好提升。

云计算、大数据给我们带来了信息产业发展的机会，技术、产业、商业模式实际上仍在探索和发展过程中，在此过程中相关企业应积极配合大数据产业方面的发展，为大数据产业的发展尽一份力。