逐鹿大数据 彰显大智慧

时间:2022-10-27 01:50:32

逐鹿大数据 彰显大智慧

IDC提供的调查显示:2010~2020年全球数据量将增加50倍,大数据时代“兵临城下”。

戈登·摩尔的一份观察资料通过近50年的印证,被人们奉为摩尔定律。而当前的数据量增长正遵循着一个新的摩尔定律:数据量每18个月翻一番。IDC提供的调查显示:2010~2020年全球数据量将增加50倍。

对企业级用户来说,企业内部的信息系统积累了大量的运营数据,相当数量企业用于存储这些数据的设备由TB级上升到了PB级。

而更现实的原因是由于企业希望获得竞争优势的愿望,利用商业智能技术对大数据的有效管理和挖掘已变成了未来竞争和增长的基础。由此可见,通过大数据分析来获取竞争优势的大数据时代已经来临。

星“列”棋布大数据

数据量不断地膨胀,数据类型不断地细分,社交网络、物联网、电子商务等非结构化数据占总数据量的近80%。这就造成了过去以结构化数据分析为主的传统数据分析必须“升华”,数据分析也就上升到非结构化数据分析为主的大数据分析阶段。

Sybase软件(中国)有限公司(以下简称“Sybase”)售前总监宋一平表示,对于这种非结构化数据分析,Sybase IQ有自己独特的分析方法就是内置分析,Sybase IQ把所有有效数据以及请求全部放在后端一起分析,再产生最终结果。这种分析跟传统分析相比其处理方式上有一定的改变,也带来了更多的性能效益。另外,Sybase IQ的列式存储技术在行业内处于优势地位,因为列式存储技术是按列来进行存储和索引的,这种存储模式的好处在于:

第一,趋于完美的压缩比例。对数值型数据的压缩比例很高,其优势在于同类型的数据相互之间的对比、转换更加快速。而且这种对数值型数据的压缩能力,不仅仅局限于英文,甚至从中文分析的角度也可以。

第二,强大的索引功能。两个独立的相等的数据表格之间如果存在某种关联,那么Sybase IQ可以事前就做好索引工作,通过字符进行管理。

第三,列式索引覆盖行、列。在列式数据库里面,Sybase IQ肯定每一列都有索引,而且假如没有建立索引,Sybase IQ甚至会强行的加入一个指定索引,这就带来一个很重要的好处,那就是跨列之间的数据也可以进行分析。

最苛刻的环境下完美运行Sybase ESP

“最”这个字有时候具有绝对和相对性,但是当Sybase ESP推出之时,其本身就把这款产品推向了金字塔的顶端。而这种信心是建立在其强大的分析功能之上。

宋一平表示,为最苛刻的环境而生,Sybase ESP不是盲目喊出这个口号的。Sybase ESP的主要客户来自证券和金融行业。这两个行业的共同之处是必须在毫秒、毫微秒、亚毫秒甚至是微秒之间迅速做出正确的判断。这种条件下意味着没办法思考、然后再去回答命令、处理决定,必须都是在一瞬间自动完成的。而Sybase ESP限定的应用领域是超实时性的,而且是持续实时性的这种分析能力,这正好和以上两个行业的要求相符合。在瞬间准确地分析数据流是Sybase ESP的拿手好戏,在数据没有“落地”之前对它进行几百次、几千次甚至是上万次的分析,都是有可能的。Sybase对Sybase ESP的领域划分也绝不仅限于以上两个行业,因为Sybase ESP本身强大的实时性分析功能在很多领域都可以发挥巨大的作用。比如未来博客信息审阅,以及微博信息过滤,都可以实时性地进行阻挡,只要这些信息达到毫秒级,就可以拦截过滤,比如敏感词语检索和阻挡,只要你想做,通过Sybase ESP技术都可以实现这些目标。

话安全 谈标准

数据库安全、数据分析安全、数据存储安全等在大数据时代是不可避免的安全话题,也必将在长时间里存在。

因此,接下来,企业的CSO(负责挖掘问题、协调缓解问题和解决问题的高级管理人员)和CIO们将不得不面对一个棘手的问题:如何调和企业大数据业务需求与数据安全之间的矛盾。

宋一平说:“涉及‘数据’的任何方面,其安全性都是放在首位的。比如产品技术安全,对数据库来说,应该分两个部分,第一个部分是存储加密,第二部分是传输加密。而Sybase IQ和Sybase ASE这两个产品已经具备了SSO的单点进入功能,通过了CA的认证以及使用了国际最先进的Kerberos,同时在此基础上,Sybase严格遵守联邦信息处理标准(Federal Information Processing Standards简称FIPS)。所以Sybase所提供的数据库保证了其安全性,让用户可以放心在此基础上运行数据。还有数据的使用安全,从数据库、表、列加密等,Sybase ASE和Sybase IQ同时具备了运行使用安全标准和方法。而数据永远高效的可靠性和可用性也是其使用安全的重要一部分。”

坚持走中国特色道路

90年代初,Sybase提出“扶上马,送一程”的口号,其目的就是帮助中国用户全面了解Sybase产品,使之产品能够合理底地利用。那时候Sybase的运营理念就是软件的价值在于服务,不是软件本身的技术。

宋一平说:“Sybase的产品就好像一个能做出美味菜肴的器具,但是Sybase不仅仅把这个器具提供给用户,Sybase还会提供‘菜谱’,甚至Sybase会亲自带领用户使用这一器具做出最适合自身的‘大餐’,这就是我们为中国用户量身定做的服务,帮助中国用户了解Sybase,帮助中国用户用好Sybase产品。另外很重要的一点是Sybase支持中文检索,分词技术是Sybase为中国用户开发的。而且Sybase每个部门之间紧密程度高,这符合在中国发展的要求。Sybase始终如一的坚持,并且从来都没有背离这个标准,而Sybase在中国用户这里也得到了很好的反馈,这就是Sybase的中国特色道路。”

宋一平接着解释道说:“目前Sybase甚至SAP的研发中心都设在中国,而这样做一个重要好处就是可以在第一时间了解中国客户的需求,并且迅速跟幕后研发团队进行沟通,一个个性化的需求,能够以最快的速度了解并实施,这也是Sybase深思熟虑后所做出的决定。”

不可否认,Sybase确实是一家用心在中国发展,想在中国长期发展的国际化企业。

Sybase全力“破局”

颠覆传统四大数据库厂商格局,Sybase绝不仅仅是唯一想过此事的厂商。看看最近几年,NoSQL运动如火如荼,不断有业内的巨头加入阵营,和推广NoSQL的相关产品,开拓应用场景。

传统关系型数据库软件厂商也不甘寂寞,新产品、新版本、新特性不断,新官司、新收购也频频爆出,即使一向沉静的数据库市场,也被震出了几丝波澜。在刚刚过去的一年,Oracle继续保持其强劲势头,据Gartner的调查报告显示,在RDBMS市场,Oracle的市场份额已经占到48.1%,仍然位居第一位,其市场份额超过了之后5个竞争对手的总和。

这种格局看似毫无“破局”机会可言,但是Sybase却愿意尝试一下,在移动数据库领域,Sybase处于绝对领先的地位,其中ASA(SQL Anywhere)有数据显示:已经拥有半数以上的市场份额;而关系型数据库管理系统主打品牌ASE,其版本不断升级,也引领着客户的信心不断的上升;前文提到的企业级数据仓库分析软件Sybase IQ也在持续的影响着市场。

宋一平说:“SAP有一个宏大的目标,那就是2015年要做到数据库全球市场份额的第二位,这已经不是口号了,目前所有的条件都允许这么做,Sybase渴望‘破局’。因为SAP的信心不是凭空的,首先,2010年,SAP公司完成了对Sybase的收购,意在潜力巨大的移动信息化市场,现在正是移动信息化市场迅猛发展之时;其次,SAP背后数目庞大的客户群,以及Sybase的客户群,先抛开传统数据库市场份额不说,这两大客户群就足帮助SAP实现这个目标。”

新势力 新动态

SAP HANA这个被业界纷纷看好的一款面向数据源、灵活、多用途的内存应用设备,也开始发力。

2012年2月20日,SAP宣布推出两款致力于为中小企业提供SAP HANA平台价值的产品:基于SAP HANA的SAP Business One分析应用和SAP HANA Edge版本。

中小型企业也可以尝试利用其内存计算技术改变决策过程,实现现有工作流程的加速,以及大数据的实时访问。

HANA这个“杀手锏”终于开始浮出水面。

上一篇:电商寒冬论是谬误 下一篇:一卷在手即知天下事