闪存激活商业中石油的高效时代

时间:2022-09-16 03:22:46

闪存激活商业中石油的高效时代

赖能和最近比较开心,因为他采用了IBM软件定义的闪存基础架构(Software Defined Flash infrastructure)以加速对海量地震数据的访问,从而提升大数据时代油气勘探的效率,也为他降低了不少成本。

赖能和是中国石油集团东方地球物理勘探有限责任公司(简称东方地球物理公司)研究院数据处理中心总工程师,他所在的公司主要从事国内外陆地、海上地震勘探及综合物化探采集、处理、解释,以及与地球物理(化学)勘探有关的技术及装备研发、产品研制、技术引进与产品销售等业务。目前,东方地球物理公司在陆上地震勘探市场份额位居全球第一。

东方地球物理公司还拥有亚洲最大的地震资料处理中心。在北京、新疆库尔勒、乌鲁木齐、甘肃敦煌、西安、唐山、任丘、大港设有处理分部,在伊朗、巴基斯坦、尼日利亚、苏丹、休斯顿建有处理分中心。

赖能和介绍说,当前石油勘探已进入高密度采集、大数据的时代,需要大规模的计算机处理海量数据。由于近年业务规模发展迅猛,赖能和每年均需要购置大量的存储空间以存放地震解释处理数据。目前,东方地球物理公司处理中心存量在线数据超过10PB。由于原始数据量大、计算密集,运算过程又产生更多“中间数据”,因此需要高吞吐、高可靠、高扩展能力的海量并行存储系统。

此外,之前东方地球物理公司处理中心部署了高性能计算HPC集群系统。为提高HPC计算集群系统的CPU利用率,应用部门加大了应用作业密度,因此在作业处理高峰时段,出现了数据读写较为缓慢、处理系统效率降低的现象。

赖能和告诉记者,东方地球物理公司采用了IBM软件定义的闪存基础架构解决方案,利用弹性存储,将3.5TB元数据直接存放到高性能的闪存IBM FlashSystem 810上,其余的数据存放到DS3700存储系统中。通过把元数据放到闪存中进行处理,明显提升了系统的交互性能,监测作业进度的应用响应时间甚至缩短了14000倍左右。显著的性能提升,使东方地球物理公司在以更高的吞吐处理海量数据的同时,还明显提高了对作业的查询及监控效率。

闪存技术在大数据时代焕发了新的生命力。闪存技术虽然早已经存在,但由于软件技术及性价比的原因,其应用一直存在争议。近年来,随着闪存价格的下降以及软件定义存储的出现,越来越多的企业开始考虑采用闪存代替磁盘,或部分取代。特别在是大数据处理的情况下,由于大量和频繁的数据调用,闪存比磁盘提供了更快的速度和更高的处理效率,甚至可以做到实时处理。

除了实时海量数据处理外,相对于磁盘存储,闪存还有许多先天的优势。闪存没有机械部件,可以成倍地传送数据。由于节约了机架磁盘,数据中心可心节省更多的空间用于CPU数据处理。由于闪存不像磁盘那样转动,不会产生摩擦,所以产生的热量也少了很多,更为节能。

其实,闪存技术除了在存储领域得到发展外,早已经在数据库领域也取得了广泛的认可。多家厂商推出内存数据库,摒弃硬盘而采用内存,打造实时数据处理平台,成倍提升了海量数据处理的效率。

全球70%石油石化行业的领导都认为,IT是非常重要的领域,大数据分析更是石油石化行业关注的热点。IDC报告分析提出,2012年油气上游行业生产领域IT投资量为376亿美金,而这一数字到2016年,将接近500亿美金。如何利用大数据分析提升生产力已经成为全球大型石油石化公司追逐的焦点。

当前,闪存存储和软件定义存储解决方案已经广泛应用于多个行业。IBM Flashsystem 810帮助东方地球物理公司有效地实现了元数据与生产数据的分离,不仅提升了元数据检索的效率,而且保证了数据的可靠性和安全性,可谓一举多得。

上一篇:对于森林营林生产技术问题的探索 下一篇:绿色交通的实现途径