为各行业大数据调度服务

有人将大数据比作金矿，然而，在金矿中淘出真金却并非易事。淘金需要过人的耐力，而在大数据海洋中获取有价值的数据则需要过硬的技术。

记者了解到，北京先进数通信息技术股份公司（简称先进数通）近期推出的新一代数据监控调度平台iMOIA.SMS成功应用于多个企业信息化项目中，取得了良好的实际应用效果。iMOIA.SMS是先进数通拥有完全自主知识产权的数据管理产品家族iMOIA中的创新产品，可以全面支持IBM Datastage、Informatica等ETL工具，为数据处理业务提供调度、管理、监控等全方位的支持，确保数据处理业务安全、稳定、高效地运行，旨在为用户提供在大数据海洋中淘出真金的能力。

构建数据交换平台

先进数通iMOIA产品专家曾俊杰表示，当前，已经有越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。如何通过数据整合分析为企业提供全方位的调度、监控、管理等功能，从而最大程度提供更加专业化和个性化的服务，已成为企业用户关注的焦点。很多企业也在数据管理和分析的过程中面临挑战。

曾俊杰举例说，长安汽车在数据交换平台建设的过程中就出现了技术难题：数据交换平台涉及集团各业务平台，系统接口繁杂，接口参数难于管理，需要及时传输数据，数据交换作业要循环执行，整个平台的任务并发量难以控制，处理服务器存在配置差异，任务的均衡分配受到挑战。为此，长安汽车与先进数通公司合作，引入调度产品iMOIA作为数据交换平台的调度核心，采用iMOIA.SMS调度监控管理系统方案。该系统实现了资料数据库、数据交换平台、业务系统数据库的融合，最大可能地满足数据交换平台的高速通信需要。

据了解，该系统通过Agent实现对DataStage作业和命令行等的执行调度，借助iMOIA.SMS的调度系统，形成了事件服务、调度决策服务、资源分配服务等机制，实现对数据交换任务的准实时循环调度，实现数据交换任务异常状态实时短信预警，通过业务流程展现数据交换流程，清晰把控业务流程。

“通过iMOIA.SMS产品应用实施，长安汽车的系统目前已经管理作业达到1200余个，实现了即时调度数据处理，实现了业务系统与财务系统间的订单信息传递，保证了业务的及时性和连续性，并清晰展现出数据传输作业间的关系，有效梳理出数据传输平台的数据链路。”曾俊杰说。

其实，成功应用先进数通iMOIA.SMS的案例不只长安汽车一个。友邦保险在使用DataStage作为ETL工具时，也曾经面临挑战。据介绍，友邦保险的数据交换主要集中在业务系统到数据中心的数据加工处理，以及业务系统与BI系统间的数据传输和交换。但随着ETL作业所涉及的业务种类的增加，ETL作业量开始迅速增长，系统间的数据交换关系也越来越复杂。首先，ETL作业较多，统一管理困难;其次，ETL服务器需要集中为统一的资源池，共同负载ETL作业，ETL作业需要动态均衡地分配到各ETL服务器上，服务器的资源管理存在一定难度，此外还需要专门针对DataStage作业进行调度，应用接口复杂。

为应对复杂的ETL作业调度场景，友邦保险采用了iMOIA.SMS。它采用事件驱动机制进行调度，即跟随当前时间点上出现的事件，调动可用资源，执行相关任务。在项目中，iMOIA.SMS系统帮助友邦保险建立了ETL作业的调度控制核心、数据中心平台的管理中心、资源控制中心、安全保障中心。“随着iMOIA.SMS的引入和多台ETL服务器资源的整合，iMOIA.SMS为友邦保险3000多个ETL作业统一分配ETL服务器的计算资源，实现了资源的动态负载均衡和高可用。”曾俊杰说。

应用遍布各个行业

事实上，先进数通多年来一直关注ODS/DW/BI等大数据管理和应用领域，它也是IBM在大数据领域的合作伙伴。据介绍，先进数通曾获得IBM颁发的IBM信息管理（IM）卓越解决方案全球大奖，并获得中国建设银行数据大集中工程主要软件服务提供商和网络系统集成服务商等资质。先进数通参与了国有商业银行等金融机构和大型企事业单位的信息化工程项目，在金融渠道应用、信息资产管理和分析、个人金融服务、网络集成服务等信息化领域颇具建树，并拥有众多的成功案例和自有知识产权的产品群。以iMOIA产品家族来说，其iMOIA.SMS调度监控管理系统在国内银行、证券、保险、制造等行业均有大量的用户，可以说遍地开花。

在零售行业，先进数通参与了李宁体育ODS ETL数据调度统一管理的建设工作，通过将先进数通iMOIA.SMS调度监控管理系统部署在李宁体育ODS ETL等系统之上，实现了对零售系统、库存系统的每日数据抽取控制，以及对ETL服务器进行资源整合，实现了资源的充分应用。

在证券行业，先进数通参与了华泰证券收购联合证券后数据中心系统和各业务系统间的信息整合建设工作。华泰证券使用iMOIA调度平台以实现其多台ETL服务器资源的整合，为其2000多个ETL作业统一分配ETL服务器的计算资源，实现资源的动态负载均衡和高可用。

在银行业，先进数通参与了平安银行企业级的ETL平台建设工作。平安银行的ETL平台，需要一个功能全面、高扩展性、高稳定性的企业级调度平台，从2008年至今，平安银行的iMOIA系统中已经部署了55000个作业，成为整个数据线建设最为重要的运行平台。通过iMOIA产品的实施，平安银行获得了稳定、扩展性高的复杂集群管理能力，快捷、简便的调度开发能力，统一的作业调度监控能力。

曾俊杰认为，随着中国各个行业信息化水平的不断提升，越来越多的用户开始面临着大量的、复杂的数据调度难题。而先进数通的行业大数据调度则抓住了这个切入点，为这些行业用户的大数据价值挖掘提供了产品和技术的支持。