数据库大挪移

时间:2022-08-20 12:14:12

数据库大挪移

3月15日,国内面向数据库技术精英的顶级赛事――2011 IBM DB2迁移之星大赛颁奖典礼在北京七星酒店隆重举行。本次大赛由中国计算机用户协会、中国计算机行业协会、中国软件行业协会数据库与应用软件分会、中国计算机报社四家权威单位联合主办,IBM独家赞助。来自主办方和IBM的众多领导和大赛评委、决赛选手,以及软件技术精英等400余名代表到场,探讨了大数据时代下一代数据库的发展方向,分析了众多数据库无缝迁移的成功案例,并在现场共同见证了大赛冠亚季军的诞生。

作为大赛独家赞助商的领导,IBM大中华区副总裁兼大中华区软件集团总经理胡世忠表示:“在大数据的时代,DB2引领着下一代数据库技术的发展方向,已经成为客户的首要选择。越来越多的全球知名企业正在将他们的数据库迁移到IBM的DB2平台上来。IBM还在去年5月在中国成立了数据库迁移中心,帮助客户实现无缝迁移,实现从业务价值评估到后续技术的全方位支持。此外,IBM一如既往地密切关注广大技术开发者的需求,2011年IBM和全球200多所大学合作开展了业务分析方面的课程,同时举办了1200场现场和在线的大数据技能训练营。”此次DB2迁移之星大赛正是IBM对中国市场和广大软件技术开发者的承诺。未来,IBM将与中国广大的客户、合作伙伴、技术开发者继续携手合作,共创未来。

应对需求

呼唤杰出技术人才

IDC预计,2012年全球存储的信息数据总量将增长到2.7ZB,比2011年增长了48%,值得关注的是,这些数据中90%是非结构化数据。中国电子信息产业发展研究院副院长、中国计算机行业协会常务副会长、中国计算机报社社长卢山表示:“未来,大数据将会成为产业发展变化的关键点。”他结合大赛将DB2三个字母做了全新的解释:“D代表Data,在未来十年甚至在可以预见的未来,无论非结构化数据还是结构化数据,通过挖掘和再生产都将会变成信息社会一个重要的组成部分;B代表Business,只有完整的商业模式才能把数据变成价值,为整个信息社会反复利用;2代表中国软件和信息服务业人才在‘十一五’末期到‘十二五’末期的翻倍变化,预计从300万增长到超过600万。”

大数据时代,企业的数据量不仅在以前所未有的速度增长,数据的复杂度也突破了原有的关系数据范畴,给企业的信息管理增加了难度。中国计算机用户协会名誉理事长陈正清表示:“我们非常高兴地看到IBM已经看到企业在数据管理方面的困境,并提出了解决方案。IBM的系列产品很好地融合了数据库管理系统、中间件平台以及最新的云计算技术,帮助企业在海量信息中抓取商业价值。而本次大赛也涌现出了很多数据库领域的技术精英,他们能够针对众多企业面临的困难提供很好的解决方案,并在实践中得到验证。”

大数据变革呼唤着越来越多的软件工程师脱颖而出,也正是在这样的一个大的背景下,主办方在IBM的支持下组织了IBM DB2迁移之星大赛。中国软件行业协会数据库与应用软件分会理事长唐世渭表示:“让数据获得更大价值的关键在于人才,而这也正是此次大赛的目的之一――促进包括像DB2数据库工程师在内的高端信息人才的成长和发展,推动我国信息管理技术的持续创新。这次大赛对促进我国数据库应用事业的发展和相关人才的成长具有积极的意义和重要的作用。”

王者胜出

十强奖项各有归属

2011 IBM DB2迁移之星大赛为中国企业程序员和数据库管理员们一个展现自己、表现自我的舞台。通过举办本次赛事,能够推动数据库工程师和数据库管理员甚至数据库产业重新理解新的计算理念,推广新技术,推动各方共同进步。而本次大赛选拔出的一批大优秀的数据库工程师也将在未来逐步发展成为这个产业的技术带头人和产业带头人。

据悉,本次大赛历时半年,参赛选手达到2163名,覆盖金融、电信、政府、制造、医疗、零售等行业的数据库工程师和管理员以及独立软件开发商、系统集成商中的技术精英。经过严格的初赛、复赛,最终有十支队伍闯入决赛。这十支队伍分别来自有实际数据库迁移经验的行业用户,以及系统集成商、独立软件开发商。进入决赛的团队都将获得丰厚的奖金,冠亚季军团队还将获得去美国参观考察的机会。

经过3月14日一整天决赛的激烈角逐,在2011 IBM DB2迁移之星大赛颁奖典礼现场,各项奖项最终揭晓。大赛评委会主席、原中国软件行业协会理事长陈冲为冠军团队开奖,最终,冠军团队由来自北京普远天成、北京速通和杭州新世纪的四名技术精英共同组成的飞天队获得。亚军由招商银行五名技术精英组成的金葵花队获得,季军则由中信银行两名技术精英组成的中信数据库队获得。其余七支队伍获得了优秀团队奖。

迎接挑战

实现数据库平台迁移

据悉,DB2数据库工程师大赛已经举办三届,从第一届大赛以寻找杰出数据库工程师为主题,到本届大赛以数据库迁移为主题,体现了DB2在大数据时代的进取心:用DB2可以平滑地取代其他数据库引擎。

然而,迁移是一项系统工程,迁移风险的评估、迁移割接、迁移前的模拟演练、对不同数据库特性的熟悉程度,都影响到迁移实施的成功与否。这就需要迁移后的平台能够具有丰富的迁移支持功能和独特的商业价值。IBM副总裁兼DB2数据库和数据仓库开发总经理Judy Huber表示:“IBM的DB2产品有许多独特的价值优势,包括低运营成本、卓越的系统性能、无限延展性以及高可用性等。特别值得一提的是,选择DB2能够使用户非常便捷地从其他的数据库技术迁移到DB2平台,同时可以大大简化应用开发。DB2能够帮助全球的客户在迁移策略中以最小的风险利用DB2各种价值优势,有效支持客户的多元化战略,充分利用IBM全信息生命周期系列产品的优势,以及数据仓库和大数据的优势。”为了应对大数据的挑战,IBM推出针对大数据的全面解决方案,突破了传统数据仓库和单一的数据管理体系,实现更为经济高效的大数据管理,并为企业提供重要的业务分析和洞察。

IBM软件集团大中华区数据库和数据仓库销售总监陈文玉则分享了DB2应用的成功案例,她表示:“DB2的特性让用户可以轻松地从其他系统快速地迁移过来,而不需要改变太多系统的设置。这也是这次比赛的精神,它向大家证明从其他数据库到DB2的迁移工作是非常容易的。越来越多的全球知名客户已经从其他数据库迁移到DB2的平台上来。”比如可口可乐瓶装公司通过将数据库迁移到DB2,由于采用DB2深度压缩技术存储需求降低了30%,整体供应链效率提升65%。

可以说,IBM的大数据解决方案提供了大数据领域最全面的技术和产品组合,实现了针对大数据管理的企业级的可靠性和适应性实施分析。在大数据的时代DB2引领着下一代数据库技术的发展方向,在大容量数据、非结构化数据、数据压缩、兼容性、数据分析,在这些领域DB2已经成为拥有着明显的优势。

冠军团队:飞天队

赛后,来自北京普远天成的队长徐明伟认为这次决赛的题目非常具有实战性。“我们的团队在运营商方面的经验比较多,对数据库的维护、性能调优、扩容以及培训参与方面都有所涉及。”他表示,“团队成员分工密切,优势互补。基于不同的DB2版本,我们参与过很多数据库迁移项目,这是很有帮助的。”

徐明伟认为DB2目前的版本在功能方面实现了极大的扩展,大部分功能已经能够实现与Oracle的兼容,有一些功能实际上已经完全相同,只是在名称上有所区别。在关键业务方面,结合power的一体化策略使得DB2能够更好地发挥整体性能,针对全天候的业务环境和需求,DB2在稳定性方面确实做得很好。

在谈到希望DB2改进的方面时,来自杭州新世纪的队员麦志斌表示:“希望DB2在开发工具上能做的更好,注意到实际应用中包括锁、排序、参数优化等在内的一些细节性的问题。如果能加以改进,DB2的适用性会进一步扩展,基于DB2的开发应用也会更加方便、高效。”随着DB2版本的不断更新,功能越来越多,会有更多成功的应用和案例出现,飞天队看好DB2的发展前景。

最终飞天队获得了本次决赛的冠军。队长徐明伟表示,这是团队的力量。队员管伟来自北京速通、麦志斌、陈艳来自另外两家不同的公司,他们在数据库迁移方面都有丰富的经验。希望以后还能参加这样的比赛。

亚军团队:金葵花队

在比赛过程中,每次跟金葵花队沟通,都能感受到他们对本次大赛的认真态度和对数据库迁移技术的激情。队长杨盛告诉记者,他们团队的成员各有所长,配合默契,“团队成员杨盛、隆、林耘毅、莫淡先、王汉福分别负责开发、架构设计、数据库等不同方面。遇到了问题,就在一起讨论,展开头脑风暴。尽管没能获得冠军,有点小遗憾,但获得亚军也非常高兴。感谢IBM和主办方能给予我们这个展示自我的平台。”

队员莫淡先称,决赛时,评委的问题都一针见血,非常到位。专家们提出,银行数据库业务的维护和开发,招商银行的工作应该实现标准化,让他们非常受启发。因为此前,他们也在这方面进行尝试,但是进展不明显,原因是数据库迁移涉及运维、开发、厂商支持等各个方面,要做一项迁移的工程,所有的部门都要参与其中,所以比较复杂。而降低迁移的复杂性,推广迁移的方式方法和成功案例,也正是举办此次DB2迁移之星大赛的目的之一。

决赛期间,通过跟其他选手交流,了解到了国内顶尖水平的选手都在做些什么,“不再埋头苦干了”。队长杨盛建议主办方多举办一些类似活动,让更多选手参与进来,给更多DB2爱好者和数据库工程师提供切磋的机会。

季军团队:中信数据库队

中信数据库队队长唐志刚在参加决赛时自信满满。他表示,2011年中信银行刚完成一个迁移案例,是从Oracle到DB2的迁移。在实际的应用中,会使用不同平台和类型的数据库。目前中信银行的主流数据库应用是DB2。在银行的交易系统中,可能的高并发请求对于数据库的稳定性和可用性要求非常高。IBM在软硬件结合方面做得非常好,DB2数据库应用与小型机的结合很紧密,在性能方面能够提供契合银行应用实际的强大支持。

在谈到数据库开发应用时,唐志刚认为,DB2在核心性能方面很优秀,开发工具的管理和界面只是一个形式。如果能够提供更加友好和人性化的界面,在开发层面会有一定的好处,开发者的使用会更加方便,在开发速度方面也会有所提升。

唐志刚和队员王清锋表示:“DB2的设计理念是非常前端的,未来DB2 应在Purescale集群技术方面进一步完善,产品应该进一步扩展,提供更加开放的数据平台。在文档的共享方面希望开放一些底层的内容,也希望DB2能向更多的行业领域扩展。总体来讲,IBM的技术理念是非常先进的,已经在适应云计算、大数据等潮流的数据库发展模式方面开展了很多积极的探索,看好DB2以后的发展。”

SuperwinningTeam

SuperwinningTeam是第一支进行决赛的参赛队伍。赛后,来自北京人大金仓的队长华表示:“这次决赛,我们在题目的准备上还是比较充分的,遗憾的是在PPT的展示和讲解的方式上控制得不太好,在时间的控制方面也没有做好,关注的技术细节太多,一些核心的内容没有在规定的时间内展示出来。”

在谈到DB2的应用感受时,华认为,DB2目前在数据仓库整合方面已经做得很好,在数据库应用性方面与Oracle相比也已经差别不大,只是有一些功能在名称上有所不同,在一些应用特性上DB2已经超过了Oracle。对于未来DB2的发展,来自AVG的队员高睿峰表示希望在资料共享以及联机帮助方面有所改进,目前的资料和文档范围太广泛,如果能进行有针对性的整合,会更便于大家了解和使用。

信总软件DB2迁移队

决赛的几天里,信总软件DB2迁移队的队长柏征和来自济南市历城区农业局的队员王艳一直非常谦虚。决赛结束接受采访时,他语带感慨地告诉本报记者,此行收获非常大。从专家的点评中,他感受到“自己欠缺的知识还有很多”。“以前,我们都是为了完成项目查阅一些资料,获取资料的形式是‘快餐式’的,只要能解决问题即可。”柏征称,通过此次比赛,“我们感觉到了理论的重要性,实践必须要有理论作支撑,然后再到实践中去验证”。

信总软件DB2迁移队的迁移方案来自于单位实践。目前,信总软件DB2迁移队队长柏征所在的单位山东信总计算机软件开发有限公司的IT系统中,小型机、数据库和应用产品,都选择的是IBM。因此,柏征对DB2的应用开发比较了解。但由于单位非常忙,既要做开发,又要做数据库,甚至还得负责维护,柏征称他没有时间对这些产品进行深入研究。由于技术人员缺乏,平时遇到问题,很难像其他参赛团队那样,可以讨论问题,可以沟通解决方案,只能靠自己。所以,“我们很希望能够跟其他选手多多沟通,非常珍惜这次跟专家、选手面对面交流的机会”。

CPIC_DB队

CPIC_DB队的队长段家生看起来非常内向,沉默寡言,但是当谈到数据库技术,谈到比赛以及能够和这么多专家面对面,段家生的话匣子一下子打开了,讲起来滔滔不绝。他告诉记者,尽管单位数据的量并不是很大,但是DB2的每一个版本,他都应用过。决赛中,他和他的团队对迁移方案进行了详细的测试,并且希望IBM后续的DB2版本能帮助他们加快迁移的速度。

段家生还告诉记者,从加快数据库用户从Orcale到DB2的迁移速度的角度看,他们希望IBM能够共享出来更多资料供开发者和数据库爱好者下载,在不涉及信息泄露的情况下,希望能有针对用户的更多、更细节的问题说明。比如,一张迁移列表,数据类型是什么,会碰到什么问题,该如何解决等,通过这种分享,帮助用户建立一个知识库。

能够跟专家和其他选手进行交流,是队员刘朝此行最高兴的事情。他告诉记者:“我希望能够聊一些一线用户对数据库本身的要求,例如对大容量、可用性的需求等,希望能够听听专家的意见。”

SeniorVision队

SeniorVision队队长王翔表示,在实际的工作中涉及到数据库迁移的实例还是比较多的。这次比赛的感觉明显与前两届不一样,选择一个固定行业进行常用的数据库配置,对于选手的要求更高。“决赛案例设计得非常好。对于我们来说,可以将以前工作中的数据迁移经验做一个总结:如何以一种可重复的、模块化的方式进行数据迁移,不仅仅局限于表层的数据迁移,同时还能对不同类型数据库的特性有更好的理解,在这方面收获很大。” 基于开放式的环境,DB2的pure xml功能对于大规模的数据交换能够提供很好的支持。

在谈到对未来DB2大赛的期待时,王翔和队员皇甫鑫霖、赵玉霞表示,希望大赛能沿用现在的思路,不要从纯技术的角度考量,而是更多地与企业业务需求相结合,此外还希望在行业的领域方面能打破限制,更加扩宽一些。

启明3队

启明3队的成员都是共事多年的同事,配合非常默契。在比赛前,他们坚信这是他们获胜最有利的筹码,并且一定能够冲进三甲。但是,从决赛赛场出来,队长刘文斌很久都没能回过神来,始终沉浸在比赛中。他告诉本报记者,因为比较紧张,所以一些问题没有回答得很好,评委的反应不是很热烈,感觉有点遗憾,对于回答情况的好坏,他们心里也没底。

不过,刘文斌和队员杨立影、郑伟称,这次比赛的北京之行,“主要是非常希望能有机会跟其他选手交流。在整个比赛中,通过论坛关注其他技术开发人员的关注点,真是开阔了眼界”。另外,在工作中,启明3队队员都曾经应用过DB2,比赛中,更感受到了它在稳定性方面的表现非常突出,并具有资源配置的灵活性。通过这次比赛,他们重新学习了数据库相关知识,知识面得到了扩充。刘文斌称:“我们感受到这个行业发展的迅速,有许多先进的DB2技术将越来越多地应用到我们以后的实践中去。”

Zolinn队

赛后,队员张春林表示,题目在设计上非常贴合实际。从应用层面看,DB2在数据仓库平台上有很大的优势,其架构更适合于大规模的数据处理。在实际应用中,有一些用户使用的是混合的数据库环境,这可能是出于平衡的考虑,不希望将数据库应用限制在一个平台上,因此从实际操作的角度看,基于不同数据库的迁移案例也非常多。DB2在运维管理上有一些独到的特点,它的压缩功能能够减少磁盘空间的占用。在实际的测试过程中,DB2对CPU等资源的消耗相比于其他数据库也有优势。从管理角度看,DB2提供的工具比较多,用户在实际使用上有一点不太适应。工具的重合度比较高。如果能整合工具,修改界面风格,用户的体验会更好。在事务处理性能,包括可视化的监控等方面,希望DB2提供一些基于内核的改进,这些方面有改进和提高的余地。

队长李宁宁认为,DB2的purescale机制具有更高的可靠性,是一个比较高端的应用方向和思路,适合于大规模的数据处理。未来希望IBM能更加开放,为开源、大数据等趋势提供更多适应性的方案。

DataBaser队

DataBaser队的成员来自易宝支付,队长付乐庆表示,易宝支付目前使用的数据库平台主要是DB2。从性能上讲,DB2与Oracle不存在差距,其最大的优势就是稳定,bug少。不过对于开发应用层面,从快速开发和变通的角度看,DB2还是有所欠缺。从实际案例和方案设计的角度看,本次大赛题目的设计非常好,略显遗憾的是没有提供更加详细和真实的业务数据。

付乐庆和队员贾传青认为,DB2在功能上还有完善的空间,例如函数的索引。从功能和性能的角度看,DB2实际上是十分强大的,但是国内DB2的普及程度尚待提高,这可能与IBM定位于大企业大客户的策略有关。IBM 应该加强对DB2的市场宣传力度,包括培训、文档共享等。

上一篇:杨国勋:发挥后发优势 实现跨越发展 下一篇:个人信息保护吹响集结号