数据仓库突破者

时间:2022-06-01 04:53:46

数据仓库突破者

Greenplum真正发挥了并行无处不在的优势。究其原因,在于它独特的MPP并行处理架构和传统的SMP模式不同。

数据仓库(DW)早已是业界非常成熟的技术,正因为如此,突破也变得尤其困难。 不过Gartner分析师Donald Feinberg对Greenplum的褒奖多少说明了它在技术上的成绩:“可能会成为数据仓库和数据库管理系统市场的突破力量。”

神奇来自哪里?

谈到Greenplum的神奇技术,该公司大中华区总裁周金辉问了记者一个问题:“你相信我们能够用普通的PC和Greenplum软件就能搭建出优于昂贵软件+昂贵的存储设备的高吞吐量的大型存储嘛?”记者摇了摇头。

周金辉解释道,“例如一家中国知名企业有巨大的在线交易平台,因此每天加载的数据量高达2TB,加了很多昂贵的存储设备以后,还是不能满足该公司日益增长的数据要求,而且加载时间越来越长,每天都需要花15至16个小时来加载当天的数据量。不过现在他们轻松多了,只需要不到四十分钟,用普通的Pc机,数据加载就完全能够搞定。Greenplum可以比业内领先的数据库供应商快20倍”。

“不会吧?原因何在?”记者很疑惑。

周金辉笑了笑,说道:“我们知道数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的特性,同时也决定了它对外部数据表现形式。要对数据仓库进行真正‘突破’,要解决两个问题。”

第一个难题:大量数据的存储和管理。这里所涉及的数据量比传统事务处理大得多,且随时间的推移而累积。从现有技术和产品来看,只有关系型数据库系统能够担当此任。

Greenplum是关系数据库中的佼佼者,以数据量大著称的eBay采用的就是Greenplum的技术,数据量达到6500TB。

第二个难题:并行处理。在数据仓库系统中,用户访问系统的特点是庞大而稀疏,每一个查询和统计都很复杂,但访问的频率并不是很高。此时系统需要有能力将所有的处理机调动起来为这一个复杂的查询请求服务,将该请求并行处理。因此,并行处理技术在数据仓库中比以往更加重要。

大多数数据库的性能随着所管理的数据量的增加,性能会呈几何曲线下降,总是存在一个优化平衡点。但是Greenplum的独特并行技术架构,成功地解决这个难题,无论扩充的数据有多少。补充一点,Greenlpum所管理的数据是无限扩充的。Greenplum的性能都是线性的,客户能够在同样的使用体验下使用Greenplum和合作伙伴的技术。

Greenplum真正发挥了并行无处不在的优势。究其原因,在于它独特的MPP并行处理架构和传统的SMP模式不同。这种模式只要通过简单的增加节点,就可以线性提高系统的存储容量和处理能力。完成后用户可以在一个主机上同时启动多个PgsQL数据库,这样硬件上的多核CPU就可以充分发挥优势。

简单来说,它在数据装载时,不是我们一般想象的存在一个中心的数据分发节点,而是所有节点同时读取数据,然后根据hash算法,将属于自己的数据留下,将其他节点的数据通过网络直接传送给它,所以数据装载的速度非常快。

为客户节约成本

随着科技的进步,用户对软件的标准也在提高。同类软件他们要求有更高的性价比,更好的易用性。

周金辉表示,与很多竞争友商不同,Greenplum数据库软件系统节点基于业界各种开放式的硬件平台,对SUN/HP/DELL等的PC Server都能够兼容,而Teradata在部署类似软件的时候,会建议客户更换硬件平台,达到更好的运行效果。“Greenplum在普通X86 Server机器上就可以达到类似的效果。”周金辉对此很自豪,“相比其他封闭式数据仓库专用系统,我们每TB的投资比他们相对低。”

Greenplum为客户节约成本是在“节流”上下功夫,在企业“开源”上,我们也有对策。

在大数据量的基础上,Greenplum可以对实时数据进行加载,实现DW的实时更新,进而实现动态数据仓库。基于动态数据仓库,业务用户能对当前业务数据进行BI实时分析,从而让企业敏锐感知市场变化,加快决策支持反应速度。

正是Greenplum的这一系列“神奇”技术,让公司在进入中国仅仅一年时间里,就有了众多客户。Greenplum也在今年一月正式在中国独立运营,至今已经签约了16家客户,平均每个月最少能够和一家客户签约。这样的签约速度在企业级软件市场是非常快的,因为客户从了解、熟悉到做决定一般都至少需要3个月的时间。Greenplum的签约时间快速,也说明客户对Greenplum的信心程度非常高。在IT行业从业25年以上的周金辉表示,未来三年内,他会带领他的团队,在中国和一百家企业建立合作伙伴关系,在OLAP领域成为领头羊。

上一篇:大连柯尼卡美能达攻克“管人”难题 下一篇:广联达的暴利之源