大数据时代来临:中国IT企业如何应对?

大数据时代来临，为企业的发展带来了新机会。在未来的3—5年，我们将看到真正理解大数据并能利用大数据进行价值挖掘的企业与对大数据价值挖掘重视程度不够企业间的差距进一步拉大。真正能够利用好大数据，并将其价值转化成生产力的企业将具备强劲的竞争优势，从而成为行业领导者。对善于发现市场机遇和开拓企业市场的IT企业来说，则是找到了一座待挖的“金矿”。

什么是大数据

最早提出大数据时代来临的是知名咨询公司麦肯锡，麦肯锡认为，数据逐渐成为重要的生产因素，人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。

IBM大中华区董事长钱大群在IBM论坛2012上表示，大数据时代的到来，使数据更为重要，通过对数据的分析，可以为决策者提供更有建设性的看法。对于大数据，IBM提出了规模性（Volume）、多样性（Variety）、高速性（Velocity）和真实性（Veracity）的“4V理论”；戴尔公司全球企业级解决方案副总裁Cheryl Cook认为，大数据就是指有大量的、快速的和多样化的数据集合以及由此带来的数据分析所导致的大的见解，同样，戴尔提出了大数据的五个阶段。

甲骨文公司副总裁兼大中华区技术总经理喻思成则认为，在大数据的实际应用中，用户的最终目的是要利用大数据来进行更好的决策。这一过程是由四个部分组成的：数据捕获、组织、分析和决策。NetApp大中华区总经理陈文表示，大数据要包括A、B、C三个要素：大分析、高带宽和大内容。

定义虽然不尽相同，但概括起来有下列特点：一是数据虽然很多并且很多样，但只有对这些数据进行有效的组织分析，才能找到对自身有用的信息；二是公司决策应当从数据分析结果中获得，而不是依赖于经验。

大数据不等于海量数据。一是大数据是海量数据+复杂类型的数据和不断变化的数据，所以复杂类型的数据既包括了传统结构型数据，也包括了半结构化的数据，还包括了完全非结构化的数据。二是海量数据首先是量特别大，常常是超过TB级的，但是大数据是在海量数据加工基础上形成的，它的绝对数量可能小于TB级，甚至是若干个GB级，但也可以称为大数据。它的典型特征是：数据量大、数据类型复杂、处理速度快。所谓数据量大，是指数据不再以几个GB和几个TB为单位来衡量，而是以PB（1000个T）、EB（100万个T）或ZB（10亿个T）为计量单位；数量类型复杂，是因为它的来源复杂，从结构化数据到非结构化数据；处理速度快，则是指数据的分析和使用需要在极短的时间内完成，甚至实时使用，它的来源是企业的交易数据、交互数据与传感数据。交易数据来自于企业ERP、CRM等应用程序和自主开发的业务管理系统、POS终端，以及网上支付系统等；交互数据来自于移动通信记录和社交媒体等；传感数据来自于GPS、RFID和视频监控设备等。

数据与云计算异同点

大数据的重点是计算的对象，而云计算的重点是计算能力，两者相辅相成。大数据强调信息流程、信息目的，而云计算强调途径、方式、位置。云计算是高速公路，大数据是超级跑车。云计算带来了IT基础架构的变革，大数据则有力地推动了企业业务的转型。简单来说，云计算是帮助大数据中信息存储、计算、完成流程并实现商业目的的重要手段。首先，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。大数据必须有云计算作为基础架构，才得以顺畅运营。没有云计算这条高速公路，大数据这辆超级跑车就跑不起来。当市场对大数据需求很高时，云计算就会往各个方向伸展，形成良性互动。其次，大数据和云计算的目标受众不同，云计算是针对企业首席信息官的技术和产品，是一个进阶的IT解决方案。而大数据是针对企业业务层的产品，大数据的决策者是业务层，由于他们能直接感受到来自市场竞争的压力，因此必须在业务上以更有竞争力的方式战胜对手。对大数据和云计算合理、优化的利用，产生的价值不可限量。

数据将改变数据管理状况

一是数据本身的改变。因为过去的数据大多是人为产生的，比较容易转化成关系型数据库形式，而现在产生数据的来源日渐增多，很多数据是由机器以流的形式产生的。对于这样的数据，关系型数据库已经不再是最优秀的技术了。二是云带来的副作用。在云时代，对于很多企业来说，数据往往是跟应用在一起的。当应用在企业的防火墙之外时，它的数据也在防火墙之外，企业的数据已经不完全由自己来掌控。在这样一个多地点、多来源的数据时代，怎样对这些不同的数据方式和数据材料进行统一的分析和处理，从数据里面得到智能是新的挑战。三是云的使用者在改变。云使用者的改变也是数据使用者的改变，以前中国很多大公司可能都会有比较好的数据库系统可以对数据进行分析，但现在对于数据的需求，任何一个公司、部门、小组都有需要。当然，数据库并不会消失，在很长的时间里，这两种技术将会共存。对传统数据库厂商而言，大数据绝对是机会多过挑战。因为大数据的应用场景虽然与传统数据库有一定程度的重合，但更大多数情况是各有各的适用领域，这两者应该是相互补充，共同应对用户对数据管理的需求。

数据将推动两大重要趋势

一是数据资产化，信息部门将从成本中心转向利润中心。在大数据时代，数据渗透各个行业，渐渐成为企业战略资产。拥有数据的规模、活性，以及收集、运用数据的能力，将决定企业的核心竞争力。二是决策智能化，企业战略将从业务驱动转向数据驱动。智能化决策是企业未来发展的方向。过去很多企业对自身经营发展的分析只停留在数据和信息的简单汇总层面，缺乏对客户、业务、营销、竞争等方面的深入分析。在大数据时代，企业通过挖掘大量内部和外部数据中所蕴含的信息，可以预测市场需求，进行智能化决策分析，从而制定更加行之有效的战略。

国IT企业需要制定应对策略

对大数据的利用将成为企业提高核心竞争力、抢占市场先机的关键，所以企业需要制定应对策略以充分利用大数据蕴含的巨大商业价值。在推进大数据应用的过程中，企业将面临以下三方面的困难：一是认识上的不足。很多人并不知道大数据是什么，因此也就无法知道如何正确地使用大数据工具。二是投入不足。大数据的应用需要相当大的投入，一般的企业很难承受。三是人才的匮乏制约大数据应用的发展。为此，需要企业加强对数据价值的认识，改善流程，重视对技术和人员的投入。

首先，应加强技术研发。大数据时代，大数据相关产业链上的企业将迎来快速发展的机会。IBM、Oracle、EMC等国外数据库厂商均看中大数据时代蕴含的商业价值，一方面通过并购整合增强竞争力，另一方面加快研发创新推出数据分析解决方案。如Oracle了Oracle大数据机，EMC推出了EMC Hadoop，IBM研发出基于云端Hadoop的分析软件InfoSphere BigInsights、针对iPad用户推出的全新移动分析应用软件Cognos Mobile等。国内企业尽管实力与这些国际企业存在较大差距，但也应该积极投身大数据时代，进一步加强技术研发、扩大应用，不断推出符合中国市场应用需求的产品，在大数据产业链中发挥自身优势，占据重要位置。

其次，应创建合理的信息管理框架。数据管理生命周期在大多数情况下要经历这样的过程：创建、访问、处理、保护、删除、创建。绝大多数符合数据增长的问题出现在“删除”环节，因为很少有企业出台数据删除的管理规定。数据因此不断积累，进而带来更多的管理问题。所以，创建有效的数据与信息管理框架非常重要。一是要了解自己访问老旧数据的需求，即是否愿意保留所有的数据，为什么？它会重复使用吗，多久一次？必须使用所有数据吗，或只是样本就足够了？希望如何利用它？是否有监管保留的考虑因素？是否会被更新？近期需要用到还是立即会用到？二是要考虑应该把它储存在哪里。①硬件与软件的获取成本；②管理数据所需的技术、人员和时间；③现场还是异地，主要和备份？多少份？④私有云还是公有云？⑤在线、近线，还是归档？

建立数据挖掘全流程。过去，企业虽然拥有了数据库，部分也建立了用于分析的数学模型，但是它们只是对数据进行了简单的处理、转换，没有将重点放在建立数据挖掘流程上。因此，有的虽然可以从数学模型中找到一些所需的数据，但是没有办法很快地将这些数据分析的结果运用到企业的决策、运营流程中。因此，企业应先调整信息流程。因为原有的信息流程是从企业内部发起需求的，而大数据时代需要企业从用户端收集数据来推动企业发展。整个信息流程相比之前有了倒转，并逐步建立从收集、转换、挖掘到应用的数据挖掘全流程，实现对大数据价值的深入分析与挖掘。

搭建数据共享平台。数据只有不断流动和充分共享，才有生命力。对于大型集团企业来说，各级子公司和分公司的ERP系统每天都在生成大量的交易数据和业务数据。分散在各个业务系统中的数据无法形成集中的资源池，不能互联互通，严重影响对大数据的统一管理与价值挖掘。而实现数据集中是大数据利用的第一步。因此，应当通过云平台实现数据大集中，在各级子公司和分公司专用ERP系统建设的基础上，通过数据集成，实现各级子公司和分公司信息系统的数据交换和数据共享，以形成整个企业数据资产。

第三，应当深度分析挖掘大数据的价值，推动企业实施智能决策。根据预测，大数据挖掘和应用可以创造出超万亿美元的价值，数据将成为企业的利润之源，掌握了数据也就掌握了竞争力。因此，行业用户必须真正重视对大数据价值的深入分析与挖掘，注重数据的收集、整理、提取与分析，以推动企业决策机制从业务驱动向数据驱动转变，提高企业核心竞争力。

最后，应加大对既懂得相关技术又谙熟企业业务的复合型人才引进和培训力度。据IDC的研究表明，2009—2020年，全球数字信息量将实现44倍的增长，其中需要管理的文件数将增加67倍，总存储容量将增长30倍。企业在PB级甚至EB级的数据中寻找相关信息无异于大海捞针，将为信息驱动决策带来与日俱增的成本和复杂性。此外，企业数据并不是非黑即白，多样化的数据源、数据种类以及信息共享机制正逐步替代传统的结构化和非结构化的数据二分法。企业一方面要与外部的客户、合作伙伴通过文本信息、社交网络、移动应用等方式进行互动；另一方面，企业内部也会频繁通过电子邮件、即时通信、博客等进行有效沟通。企业有责任和义务管理并且保护这些数据。虽然企业产生的数据仅占全球数据总量的20%，但企业实际上要对80%的内容承担起管理的责任。这就意味着企业必须承担起与业务有关的数据管理、挖掘和保护的职责。面对涌动的数据洪流以及数据多样化的挑战，企业现有的业务模型很难通过有效的方法和途径对这些数据进行管理，并充分展现其价值，而且不能对业务未来的发展做出正确预测。企业非常需要以下两种大数据人才：一是大数据系统和工具的研发、优化人才。要求对于Hadoop、数据仓库、OLAP工具等大数据工具具有较深的优化经验，最好能根据业务需求对于Hadoop等开源大数据工具进行定制开发。二是既懂得企业的业务和运营，又具备极强的数据分析能力，能够透过数据看到事件本质的数据分析师人才。当然，他们不能仅仅停留在简单收集、整理、分析数据和写报告层面，而是要对企业经营分析业务具有一定的经验，能够熟练使用大数据工具，了解数据主流统计分析、数据挖掘算法，能够结合企业自身的业务发展，根据业务特征进行建模分析，找出数字背后隐藏的挑战和机遇，并将这些洞察应用在具体的企业内部战略规划及日常运营中。

目前，虽然大数据很热，但是从技术发展阶段而言，它还是处于市场培育期，用到大数据的用户也是边摸索边实施。因此，企业必定要面临一些挑战和困难，这其中最为突出的就是人才缺乏，包括懂Hadoop相关技术的人才和数据分析与管理人才，尤其是后者。好在相关部门已开始重视，2008年4月，数据分析行业的全国性行业组织——中国商业联合会数据分析专业委员会正式成立。工业和信息化部教育与考试中心也早在2003年就从国外引进了数据分析师培训和认证课程，并于2008年开始在国内大规模推广。国内一些知名的IT培训机构也开设了大数据方面的培训课程，不过主要还是集中在数据库方面。企业也必须加大招聘和人才挽留力度，大力投入关键数据人员的教育和培训工作。