主数据管理范文

时间:2023-03-04 17:21:00

主数据管理

主数据管理范文第1篇

【关键词】SAP;模块化;集成化;国际化;数据管理

一、前言

随着社会的不断发展进步,各行各业都面临着巨大的信息量,各种ERP(企业资源计划)管理系统应运而生。目前,SAP是ERP管理系统的领军者,世界500强中有80%的企业使用SAP,充分证实了其具有强大的优越性。

二、SAP简介

SAP全称:systems applications and products in data processing。

SAP R/3系统采用模块化管理,模块单独集成某部分业务,模块间存在接口实现系统整体的集成化,如图所示:

具体模块介绍如下:

FI财务会计——集中公司有关会计的所有资料,提供完整的文献和全面的资讯,同时作为企业实行控制和规划的最新基础。

CO管理会计——是公司管理系统中规划与控制工具的完整体系,具有统一的报表系统,协调公司内部处理业务的内容和过程。

PP生产计划——提供各种制造类型的全面处理:从重复性生产、订制生产、订装生产,加工制造、批量及订存生产直至过程生产,具有扩展MPRⅡ的功能。另外还可以选择连接PDC、制程控制系统,CAD和PDM。

MM物料管理——以工作流程为导向的处理功能对所有采购处理最佳化,可自动评估供应商,透过精确的库存和仓储管理降低采购和仓储成本,并与发票核查相整合。

WM仓库管理——对物料管理中的仓储功能的进一步细化管理,实现了根据物料特性定义位置、存储方式等功能。

PM工厂维护——提供对定期维护、检查、耗损维护与服务管理的规划、控制和处理,以确保各操作性系统的可用性。

QM品质管理——监控、输入和管理整个供应链与品质保证相关的各类处理、协调检查处理、启动校正措施、以及与实验室资讯系统整合。

PS项目管理——协调和控制专案的各个阶段,直接与采购及控制合作,从报价、设计到批准以及资源管理与结算。

CS客户服务管理——主要用于企业在销售产品后对客户售后服务的管理。

SD销售与分销——积极支援销售和分销活动,具有出色的定价、订单快速处理、按时交货,交互式多层次可变配置功能,并直接与盈利分析和生产计划模组连接。

HR人力资源管理——采用涵盖所有人员管理任务和帮助简化与加速处理的整合式应用程式,为公司提供人力资源规划和管理解决方案。

三、SAP R/3系统功能及特点

功能性:以模块化的形式提供了一整套业务措施,其中的模块囊括了全部所需要的业务功能并把用户与技术性应用软件相联而形成一个总括的系统,用于公司或企业战略上和运用上的管理。

模块化:采用模块结构,每个模块都是一个业务包,整合了某个专项业务方向上的所有业务流程。

集成化:把逻辑上联的部分连接在一起。重复工作和多余数据被完全取消,规程被优化,集成化的业务处理取代了传统的人工操作。

灵活性:该系统中方便的裁剪方法使之具有灵活的适应性,从而能满足各种用户的需要和特定行业的要求。

开放性:该系统的体系结构符合国际公认的标准,使客户得以突破专用硬件平台及专用系统技术的局限。同时,SAP提供的开放性接口,可以方便地将第三方软件产品有效地集成到R/3系统中来。

国际适用:该系统支持多种语言,而且是为跨国界操作而设计的,并可以灵活地适应各国的货币及税物要求。

四、SAP系统数据分类

SAP系统数据数据可分为主数据和业务数据两类。

主数据——是企业运作过程中必须或经常使用的基本数据,是SAP系统中各业务的共享数据,长期存储在数据库中,它们集中存储并且可以在各级组织结构上维护和使用。例如:物料主数据、供应商主数据、客户主数据、银行主数据、资产主数据、工作中心主数据等。

业务数据——操作者在做实际业务时,在系统中留下的数据痕迹,该部分数据的特点是数量大,完整的记载业务操作历史,不存在重复使用。例如:采购订单、销售合同、生产订单、项目搭建等等。

五、SAP系统数据管理的理念及重要性

数据管理是所有管理系统的基础,数据管理质量的高低直接影响到整个系统运维的成败。

数据管理分成两部分内容——主数据管理和业务数据管理,其中主数据管理是重中之重。

主数据作为系统的基础数据要求具有高度的准确性、完整性、共享性,尤其要杜绝统一资源多次定义的情况。其中物料主数据是影响面最大的,涉及到企业整个生产运营。常出现的问题如下:

1、一物多码

2、一码多物

3、物码不相符

产生以上问题的主要原因如下:

1、数据规范不明确或有缺失;

2、原有数据定义不完全或不准确,导致再使用者无法判断,必须重新定义;

3、数据定义时,未对现有数据进行检索核对。

解决方法——加强物料主数据维护流程管理和完善,培养企业员工对系统的良好使用习惯和严谨的应用态度,并不断完善物料主数据相应规范。

其他主数据虽然影响面晓宇物料主数据。但作为系统基础主数据,必须以严谨的态度进行对待,确定主数据的严肃性,以减少对后续业务的不良影响,减少甚至避免垃圾数据的存在。

业务数据会直接反映出企业的运行状况,加强业务数据管理的实质就是加强业务流程管控。顺畅可控的业务执行流程,是清晰、明确的业务数据的保障。

六、总结

主数据管理范文第2篇

关键词信息技术;主数据;管理系统;应用实践

随着企业信息技术的飞速发展,迎来了互联网+和大数据时代。在享受信息技术为企业带来好处的同时,企业的数据量也在急剧膨胀,数据是企业管理的基础信息,而实施企业资源计划(EnterpriseResourcePlanning,简称ERP)、产品数据管理(ProductDataManagement,简称PDM)、制造执行系统(ManufacturingExecutionSystem,简称MES)等信息系统,主要的问题就是数据管理。主数据管理的核心是数据的标准化,而其主体则是主数据[1]。数据可分为基础数据和业务数据,基础数据包括物料、客户、供应商、价格、采购信息记录、物料清单(BillofMaterials,简称BOM)、货源清单、工艺路线、配额、检验计划等主数据。而业务数据是企业运行当中所发生的动态数据,如采购订单、生产订单、销售订单、派工单等,是由业务人员根据业务的需要建立的数据,是实时的数据。基础数据是静态数据,它为业务数据的建立提供基础信息,是各种信息系统运行的保障。在基础数据中,物料主数据是采购、生产、销售、财务等多个部门的数据基础,它与价格、采购信息记录、BOM、货源清单、工艺路线、检验计划等主数据相关联(见图1),是各种主数据的检索依据,物料主数据数据量大,单独管理起来困难。因此,建立统一主数据管理体系对企业基础数据的管理具有非常重要的意义。主数据管理系统的开发可以有效地对主数据编码进行统一管理,迅速提高产品数据的维护效率,保障并推动主数据管理的顺利实施。以中国石油集团济柴动力总厂(简称济柴)主数据管理系统为例,详细介绍编码原则、功能范围、功能实现等方面内容,讨论主数据管理系统在企业中实施与应用。

1制定主数据编码管理的原则

主数据编码是唯一标识主数据的代码,通常用字符串(定长或不定长)或数字表示。主数据编码也是计算机系统对物料的唯一识别代码,类似每个公民的身份证号[2]。它用一组代码来代表一种主数据。主数据编码必须是唯一的,以物料编码为例,一种物料不能有多个物料编码,一个物料编码不能有多种物料,如不能保证物料的一致性,随着数据的不断增加,“一物多码”现象日趋严重,造成PDM、ERP、MES等系统信息的重复和堆积,将影响各信息系统之间作用的发挥,甚至导致信息系统实施的失败。企业不断地在发展,随着规模的扩大,产品的增加,其物料也会随之迅猛的增加,物料编码规则一旦制定就必须具有相对的稳定性,一般需要保证系统运行十年以上,所以主数据编码系统管理要坚持的原则为:1)唯一性:物料编码的唯一性,就是一物一码。同一物料在系统中只有一个名称,不能不同部门对同一物料有不同的名称。在主数据编码系统中,针对产品的图号、物料描述等进行排重(排除重复),如同一产品分不同的采购类型,又可以分成采购件、自制件,分别给码,确保了物料编码在系统中的唯一性。2)稳定性:企业不断发展,规模扩大,产品的增加,其物料也会随之迅猛的增加,物料编码规则一旦制定就必须具有相对的稳定性,一般需要保证系统运行十年以上,因为在各信息系统运行过程中,重新进行编码规则的调整存在极大的系统风险。3)实用性:主数据编码的制定以实用为宗旨,采用计算机自动生成的流水码,以“7”开头的9位编码,如“700000001”,简单、易用可扩展性强。4)准确性:提高物料数据的准确性,物料的领用、发放、请购、跟催、盘点、储存、保管、记账等一切物料管理事务性的工作均通过物料代码查核,物料管理较容易,准确率高,不会发生物料名称混乱的情况。

2主数据管理的功能范围

主数据编码管理涉及企业的技术、采购、生产、销售、财务等多个部门。主要功能为:1)任务提醒和共享数据管理:使运维人员及时了解最新的应该完成的任务,并实现共享信息的及时等管理。2)任务流程管理:运维人员的各种任务查询及执行,包括任务流程的建立、待办任务、经办任务、急需完成任务的查询及执行、未执行任务的关闭等。3)主数据运维管理:主数据运维系统主要管理五大类主数据,即物资编码(简称Z050)、主产品编码(简称Z051)、企业零配件级自有物料(简称5703)、客户、供应商。这五大类主数据要实现编码申请、编码反馈、视图收集、视图反馈等各任务流程的创建、查询。4)系统设置:实现任务流程的维护及对各运维人员的权限的设置。

3主数据管理的实现

主数据管理系统的各类主数据维护包括编码申请、反馈及各种视图的收集、接收、导入系统等业务流程的管理,见图2。

3.1编码申请管理

编码申请管理主要是处理Z050、Z051、5703、客户、供应商这五大类主数据的编码申请业务,主要包括编码申请编辑、编码申请管理等功能。编码申请人员在系统中的编码申请编辑里按照申请模版填写申请文件,并发送到主数据管理系统负责人,负责人在中国石油天然气集团公司(简称集团公司)MDM平台(MasterDataManagement主数据管理平台)申请到编码,反馈后发送给申请人,其中Z050、Z051、客户、供应商主数据编码由运维人员通过主数据管理平台提交到集团公司MDM平台,由集团公司下发编码,5703由主数据管理系统自动生成编码。在编码申请管理功能中,通过指定时间段、年度、季度、月度内查询编码申请文件,查看编码申请的状态。编码申请管理还提供编辑修改,指定的单据发起、审批、退回任务,并逐级进行审批等功能。

3.2视图收集管理

视图收集主要是为了各业务部门能够使用各种主数据,把主数据维护到相应的视图下,主要包括采购视图、会计视图、物料需求计划(MaterialRequirementPlanning,简称MRP)视图、销售视图、质量视图,客户和供应商主数据视图还需要收集济柴下属个公司视图等,视图收集管理分两种情况,一种是通过编码申请文件自动下达形成视图收集文件,另一种是通过编辑手工增加的视图收集文件。视图收集管理也提供了发起、审批、打回视图收集文件,查看视图收集流程审批任务等功能。

编码器管理主要是针对5703类型的编码处理,在5703编码器内按照指定的编码规则形成5703类型的编码,形成编码后在5703编码器处看不到5703申请文件的记录,而在5703编码器管理功能可以看到并进行管理。可以查看、编辑5703编码器内形成的编码,同步5703申请文件内的编码,形成5703的编码反馈文件。形成编码反馈文件后可以在编码反馈管理进行管理5703编码器形成的反馈文件。5703是针对企业产品零部件的主数据,它指企业主产品上的零部件,如曲轴、连杆等。5703编码的申请流程是由各相关单位5703物料编码申请人按申请模版填写申请文件,发送到主数据管理系统5703负责人,主数据管理系统5703负责人接到申请,在系统中产生编码,反馈后发送给申请人,同时要将该反馈文件整理成视图收集文件。其中,外购件发送给采购、会计、生产、销售、质量部门视图负责人,收集采购视图、会计视图、物料需求计划视图、销售视图、质量视图。自制件发送给会计、生产、销售、质量部门视图负责人,收集会计视图、MRP视图、销售视图、质量视图。视图信息到位后,运维人员整理成导入文件,导入到信息系统中,该物料的使用部门就可以开始这些物料的各业务操作。

4主数据编码与各信息系统的集成

主数据管理系统可以为PDM、ERP、MES等各种信息系统数据集成提供前提条件。一般它们的数据的传递方式分为两种,一种是从PDM系统到ERP系统再到MES系统,即在数据由上而下的流转过程中,上游为下游提供数据,逐级传递,保证数据的统一性;另一种方式是以ERP系统为主要数据源,其他信息系统从ERP中读取物料编码,通过主数据管理系统,生成各种主数据视图,再把各种视图导入到ERP系统中去,使其他系统获取编码。济柴采取的是第二种方式,在主数据管理系统中生成新的物料编码,然后把编码通过系统自动分发到各个业务部门收集基础数据的视图,如会计、生产、销售、采购等视图,视图收集上来通过系统形成视图导入模板再导入到ERP系统中,形成各种可用数据,PDM、MES等信息系统通过与ERP系统集成的接口获取所需数据。通过系统集成实现了主数据的统一管理。

5济柴主数据管理系统的应用效果

济柴主数据管理系统是自行开发辅的编码系统,采用PowerBuilder9.0(快速可视化面向对象的开发工具)作为开发平台,Oracle10(关系数据库管理系统)作为数据库管理系统,它具有良好的兼容性、真正的可编译性和较强的安全性,开发灵活,效率高,界面友好。主数据管理系统具有易用性的特点,它定位为辅工具软件,界面精简、方便操作,可以减少手工重复操作,提高工作效率。经过一段时间的运行,产生的效果为:1)缩短编码申请周期:原来的编码申请是由MDM负责人统一分配编码,申请周期长,不能满足企业的生产要求;济柴自行开发的主数据编码申请平台可由核心运维组自行控制,申请周期大大缩短。2)降低编码重复率:原来负责分配编码的MDM负责人对企业产品不十分了解,编码的排重工作做得不够到位;济柴自行开发的主数据编码申请平台特别增加编码的排重程序,该程序从济柴的实际出发,使编码的重复率大大降低。3)提高新编码数据维护效率:原来新编码反馈后,完全由人工通过复制、粘贴对各相关视图数据进行收集、转换和导入;济柴自行开发的主数据编码申请平台特别增加各视图数据的自动生成程序,对当天的新编码自动处理,大大提高了数据维护的效率。

6结束语

通过对主数据进行系统化的规范和管理,济柴建立起了一套完整的企业数据管理体系,为业务的运作提供强有力的支撑。主数据管理系统的正式运行克服了以前编码管理的各项弊端,大大提高了产品数据管理的效率,降低物料编码的重复,缩短物料编码申请的周期,提高新编码的相关数据维护的效率,将企业内各种数据资源进行整合,实现了数据的集中化管理,提高了企业数据维护的效率,保障了企业生产的正常运行,为企业节省了大量的人力及物力去管理物料,使企业的管理水平迈上新的台阶。

参考文献:

[1]和轶东,张怡,曹乃刚.SAPMDM主数据管理[M].北京:清华大学出版社,2013:1-3.

[2]罗鸿.ERP原理•设计•实施[M].北京:电子工业出版社,2002:29-30.

主数据管理范文第3篇

中国行业信息化最佳解决方案奖

主数据管理项目可以帮助企业梳理企业信息资源,发现企业核心数据在管理和应用上存在的问题,并建立符合企业业务发展需求的主数据规范管理体系。联信永益推出的以主数据管理平台为技术支撑的企业信息资源综合治理框架,提出了符合行业特性、适应企业现状的“模型驱动的三元一标一体”主数据管理思想。

主数据管理方案(Master Data Management)描述了一组规程、技术和解决方案,这些规程、技术和解决方案用于为所有利益相关方(如用户、应用程序、数据仓库、流程以及贸易伙伴)创建并维护业务数据的一致性、完整性、相关性和精确性。

主数据管理不会创建新的数据或新的数据纵向结构,而是提供了一种方法,使企业能够有效地管理存储在分布系统中的数据。主数据管理解决方案从现有系统中获取信息,并提供先进的技术、流程和管理模式,用于自动、准确、及时地管理整个企业的核心主数据,并对数据进行验证和分发。

在信息化建设初期,大部分企业是采用从下至上、业务竖井的数据管理系统构建模式,重点偏向指定的业务域,使得在企业日常业务中共享的数据被分散到各个业务系统中,分别独自管理和使用,造成了系统间的主数据不统一、不完整、不共享等问题。

主数据管理项目可以帮助企业梳理企业信息资源,发现企业核心数据在管理和应用上存在的问题,并建立符合企业业务发展需求的主数据规范管理体系。统一企业内数据的标准编码,提供企业集中统一的主数据及编码视图;建立主数据同步分发机制,实现主数据的一处维护、多处共享,有效降低数据的管理成本;减少系统间业务单据交互的繁琐度,帮助业务操作层人员统一沟通语言。

主数据管理范文第4篇

主数据管理(Master Data Management ,MDM)是一个正在快速成长的领域。由于非常看好这个市场,Oracle、IBM、SAP都推出了此类产品,同时,很多系统集成商也纷纷给自己的产品贴上MDM的标签,提供各种解决方案。然而,对最终用户来说,要用好这项技术,选择合适的软件产品并成功地部署它仅仅是第一步。

MDM是一门综合性的技术,它提供一系列方法和流程来保证整个企业最重要的那部分数据准确、完整和一致,而不论它位于企业的哪个部门、哪个系统、哪个数据库、哪个流程中或者哪个渠道中。然而,一个大型企业的经营活动要涉及众多部门,就必然涉及方方面面的关系。经验表明,要想让MDM项目成功,必须考虑这些问题,而且必须理顺这些关系。

正如一个成功的项目背后必然有一位有经验的项目经理一样,一个成功的MDM项目也需要有一位能处理好组织内各种关系的负责人,他要推动项目进行,要获得组织的高级管理人员的支持,他还要让业务人员把项目当成自己的事情。他要解决组织面临的文化问题,要平衡好项目眼前的成功与组织的长期目标以及组织的IT架构之间的一致性,避免MDM成为组织的一个新的数据孤岛。

在MDM项目中一个常犯的错误是,没有对项目背后的非技术因素给予足够的重视。换句话说,在MDM项目中,你会看到与很多要涉及业务和IT部门的大型项目一样的各种明争暗斗,包括争夺“位子”、争夺人事控制权等等。事实上,MDM项目结果很有可能一塌糊涂,因为通常这样的项目要涉及市场、销售、财务、客户服务以及其他一些公司内很有权利的部门。从某种程度上,MDM很可能是组织内最需要讲究理顺各种关系的项目之一。

理顺各种关系

MDM项目的第一步是要理解项目的目标,并制订项目计划。既然已经认识到解决MDM项目中各种非技术问题的重要性,那就要好好对此进行规划。比如,要找出对项目有着重要影响的人,如销售人员、财务人员甚至操作人员。如果公司非常大,一定要把所有与项目有关的人考虑进来。

找来组织的架构图(如果没有现存的就需要自己动手画一个),找出每个业务的负责人和他们的直接上级,然后在图上标注他们之间的相互关系,包括个人的以及业务上的。这里并不要求非常详细,其目标就是做到心中有数,免得遇到问题时措手不及。

从政治或者说关系这个角度来考虑MDM项目时,必须牢记,你的项目分成两个阶段,一个是项目进行阶段(包括项目前期规划和实现),另一个是项目的持续维护。有一些项目失败就失败在,他们认为项目一旦部署完成就大功告成了。而实际上,这才是刚刚开始。

在MDM项目中还需要考虑数据治理的问题,这需要一些时间和精力。具体工作包括找出数据的所有者、解决争端和各种问题,以及在组织内制订信息管理的规章制度、安全规定和数据质量的规定等。

不管是项目的开始还是项目的进行阶段都会用到的两个重要方法是培训和沟通。这方面的最佳实践包括:建立新闻组和内部门户、召开午餐会以及出席公司内部的部门会议等。大型的CRM和ERP项目采用的很多方法都可以借鉴,这些方法通常会很有效。一个精心组织的变更管理可以避免组织内部陷入无谓争斗。

负责人要在组织内部承担起MDM布道者的角色。要准备各种时段的演讲,既有60分钟、30分钟、也有15分钟、5分钟的演讲稿,以利用各种机会来培训组织内部的员工,告诉他们MDM是什么、本组织关于MDM有什么样的战略计划,同时还要使用各种沟通和通信工具保证各种人员了解你的MDM项目。

对大多数人来说,MDM听起来很陌生,因此,项目负责人还要走出去,找出MDM带来的业务价值,如提高经营收入、更好地与战略进行融合、降低成本、改善客户满意度、更容易地满足法规的要求等,可以是文档,也可以是数据,找到后公布出来,以让更多人了解。

尽管“做同时宣传”要比仅仅只是“做”要困难得多,但是,这样做是值得的。因为,一般而言,如果一个项目很明显能够帮助解决企业面临的问题、增加收入,那么就不应该遭受批评也不会被消减预算。因为有了效益,项目就有了继续进行的充分理由。

重视数据治理

上面比较多地考虑了各种关系,接下来还要考虑数据治理的方法。很多成功地完成了MDM项目的公司都非常重视数据治理,它们认为好的数据治理方法是MDM项目成功的前提和保证。

尽管具体的名字可能有所不同,但大多数公司都建立了一个三层的数据治理架构:高管级的数据治理指导委员会、中层数据治理委员会和具体的管理数据的业务人员及IT人员。具体负责数据管理的人员会出席数据治理委员会,数据治理委员的成员也会出席更高级别的数据指导委员会。

也许上述组织架构适合你的公司,也有可能不适合你的公司,但无论如何,你都应该设法让公司高层进入数据治理指导委员会,他们将是保证数据治理委员会正常工作的关键,同时也有助于制订相应的策略,帮助找到合适的业务人员和IT人员来执行这些策略和日常的数据治理工作。

数据治理指导委员会负责解决数据治理委员会解决不了的问题。指导委员会不定期召开会议(每月或者每季度),初期,会议可能会频繁一些。数据治理指导委员会通常解决的是些根本性的问题,如“谁是数据的第一负责人”、“谁是某些数据的最终决策人”等。

数据治理委员会通常要有一位能把业务部门和IT部门召集到一起的高层领导。这个负责人领导数据治理人员和数据的所有者一起执行数据治理的有关策略。负责数据治理具体工作的人员可以是来自于公司总部,也可以来自于各个业务部门或者IT部门。

这里有一个挑战是,项目负责人很少有权利从外面雇佣新人。因此,只能从现有的人中挑选。因此,那些参与过数据治理项目的人,哪怕只是有限地参与或者在某个应用或者某些功能方面参与过的员工都应该列入你的候选名单,最后从中挑选你认为合适的人选,并根据每个人的情况安排合适的任务。

与公司战略保持一致

MDM和数据治理项目的另一个非常关键的成功要素是你能在多大程度上让项目与公司未来的战略目标一致。和公司管理者进行沟通,花点时间了解公司前5个战略目标。思考你的MDM项目如何能直接支持企业实现战略目标,包括提升市场份额、提高生产效率、符合SOX法案、改善营收或者支持购并等。如果你能这么做,你将会为你的项目赢得公司高层的更多支持。否则,你的项目一定会异常艰难。

主数据管理范文第5篇

关键词:数据中心;主数据;J2EE

一、绪论

(一)研究内容

1.全面深入梳理福建烟草公司各业务系统主数据资源,设计符合行业特性和企业现状的权威主数据模型,数据模型设计充分考虑完整性和预见性。

2.根据主数据资源的梳理结果制定相关的标准编码规范,明确不同主数据的编码规则,建立企业统一的标准编码体系。

3.构建集中的主数据管理平台,实现主数据统一管理。通过平台来支撑主数据日常维护、主数据版本管理、主数据完整视图展现、主数据质量把控和主数据分发同步等操作功能。

4.制定标准化规范化的主数据管理制度,明确主数据维护的相关责任对象及审批流程。指导和约束整个主数据管理交换体系中参与者执行数据维护和实现数据共享的动作和行为。

二、系统总体设计

描述项目设计的系统架构、技术路线、技术难点,网络拓扑图、数据处理流程。针对主数据管理系统的管理需求、业务需求、接口需求、功能需求以及技术需求,在总体体系架构中,我们采用J2EE技术架构,使用广泛接受的标准(如XML和SOAP)和松耦合的设计模式。同时,基于J2EE的技术架构和开放标准将有利于构建一个易于扩展和可伸缩的系统。如图1所示:

(一)业务架构设计

管理平台针对主数据以“统一维护、集中存储、统一分发、实时监控”的管理思想指导主数据管理的实施。根据福建烟草当前的业务现状和具体需求采用合适的适配器完成企业内订阅系统的主数据分发,通过WEB服务接口向上级机关或者其他行业用户提供主数据查询服务。

(二)技术架构设计

主数据管理平台的技术架构使用基于 J2EE 平台的SOA风格的架构。系统使用标准的 J2EE 服务器,使用标准的技术,并实现与企业内部门户系统的集成和通过接口适配器与外界进行服务的和信息的交互。

系统使用基于J2EE平台上的多层结构。系统从技术实现角度分成三个层次。

展现层:前端展现使用struts2展现框架加 jquery 的前端JS工具,实现标准的ajax 的富交互应用,以实现良好的用户体验,同时不使用 ActiveX,Java Applet 等技术以避免客户机安装配置的麻烦。

业务服务层:业务服务使用Java bean 实现相应的业务逻辑,并把Java bean 由 Spring 框架托管实现依赖性的自动注入。业务 bean组织业务逻辑,并可以方便的把相应的业务操作暴露成系统服务供其它系统调用。

OR映射层:使用hibernate加spring jdbc映射工具实现对象到关系数据库的映射[10]。

三、系统详细设计

主数据管理系统主要包含主数据交换、主数据查询、主数据管理、标准管理、统计分析五大主要功能,本章将针对整个系统的各个功能模块给出详细设计。

(一)主数据标准管理

主数据标准管理模块包含内容如下所示:

1.资源目录管理:

实现对资源目录的新增、删除、修改功能,目录支持三级以上的分类层次。

2.标准文档管理:

信息分类编码标准、数据元标准、主数据管理制度、数据集成规范。这部分实现对标准文档的目录维护、查询以及导出。

3.编码规则管理:

包括组织机构、人员信息、产品信息、零售户信息、供应商信息五大主题的逻辑规则和物理规则的新增、修改、删除等。

4.基础代码管理:

包括公共类、卷烟经营类、烟叶经营类、专卖类、财务类、劳动人事类、统计类、固定资产类、物流类、科技类等各种基础代码的查询、新增、修改,代码属性包括:名称、编码、国际码、启用状态、备注等。

(二)主数据对象管理

主数据对象管理模块包含内容如下:

1.主数据模型管理:

主数据模型目录包括:组织机构、人员、产品、零售户、供应商五大类。每个模型包括模型名称、模型编码、模型状态、审批角色、模型描述、附属主表、编码、名称、类型、长度、精度等属性。

2.主数据维护:

主要内容包括主数据的序号、申请类型、申请时间、申请标题、审批人、审批时间、审批状态、审批意见等。

3.主数据审批:

主要包括组织机构、人员、产品、零售户、供应商五大主数据的审批管理。包含批量审批和逐个审批两个模块。

4.主数据查询:

可以查询任意审批后的主数据,查询操作约束在用户的权限范围内,查询结果通过二维表表形式展现,支持分页浏览。查看具体某条数据时不光显示当前版本的数据。

(三)主数据交换管理

主数据交换主要用于管理本系统整编数据库资源,包括适配器管理、交换标准查询、主数据订阅、数据订阅审批、主数据分发同步等。具体功能如下所示

1.适配器管理

主数据新增、变更的消息最终将通过适配器发送给目标系统,传递消息时需建立对方系统的适配器连接,适配器管理主要是对传递消息的目标系统和源系统适配器连接属性进行维护,以及对适配器状态的监控,实时了解当前适配器的运行状态。

2.交换标准查询

系统对组织机构、人员、产品、零售户、供应商等五大主数据采用了消息通知的机制来响应数据变更后各系统的数据同步处理,消息载体为业界最成熟最标准的XML语言。管理平台对数据交换格式进行统一定制,促使数据在整个交换同步过程中的消息包装和消息解析的方式和方法达成一致协议。包括基础标准和中软海晟(MQ)两部分

3.数据同步订阅

管理平台负责保留所有业务系统的订阅信息,数据新增、变更消息在下发之前需要读取该订阅信息,针对指定的数据对象只有业务系统对其进行了订阅才会对其发送数据变更消息。管理人员统一对下游所需订阅的字段进行统一配置。

4.数据订阅审批

为了更好的管理数据权限,确保正确的数据按照正确的格式下发到正确的系统,对下游系统申请的需要订阅的数据信息进行审核,确认是否授权相关字段,以保证数据下发的针对性和可

控性。

5.主数据分发同步

管理平台支持订阅群发和指定下发两种发送方式。

(四)主数据监控管理

主数据监控管理模块包含内容如下所示:

1.接收记录查询

包括消息名称、接收时间、处理结果、消息编码、消息记录数,处理时间、处理结果等。

2.主数据流监控

包括数据管理流程查询、同步流程下发等。

3.WS数据服务监控

包括查询记录和下发数据两个模块。

(五)主数据统计分析

1.模型统计

模型统计是针对所有的目录对应的模型统计出来的数量用图形方式显示出来,让用户一目了然各个目录对应的模型数据的比重。

2.订阅统计

订阅统计分析是对源系统订阅信息的集中展现,分析目前有哪些业务系统跟主数据对接,每个业务系统分别有多少支数据交换接口,方便用户对系统的订阅信息有个整体直观的了解。

3.下发记录统计

通过柱状图、圆饼图、报表等展示下发记录统计。

(六)系统安全性设计

对于WEB应用的安全设计必须考虑输入验证、身份验证、授权、配置管理、敏感数据保护、会话管理、密码系统、参数处理、异常管理和审核与日志记录等。

由于本系统是建立在WEB应用基础上,对于其安全性的考虑是多方面的,安全管理涉及的技术是多方面的,但是最关键是要解决用户的认证和授权。因此需要部署一个方便管理用户的认证和授权的安全管理框架。在本系统中我们采用了Acegi作为我们的WEB应用安全管理框架。这是因为Acegi是Spring框架下最成熟的安全系统,能够和目前流行的Web容器无缝集成。它使用了Spring的方式提供了安全和认证安全服务,包括使用Bean Context,拦截器和面向接口的编程方式。因此,Acegi安全系统能够轻松地适用于复杂的安全需求[12]。它有以下特点:

四、系统实现

(一)系统部署

系统的逻辑部署架构如下图2所示:

如上图所示,系统的逻辑部署架构体现了主数据系统和业务系统的在部署层面的关系,系统通过专线网络与传统的其他厂商建设的系统进行对接,并完成数据的交换处理,而主数据管理系统与数据中心中的系统部署在同一网络环境中。

(二)主要功能

主数据管理平台的实现满足了数据完整性、数据准确性、数据一致性、数据逻辑合理性等方面的要求,实现与国家局代码系统的对接,并提供可供业务人员理解和使用的用户访问界面,建立企业内唯一的主数据管理中心。下面将系统主要功能界面做一展示。

五、总结与展望

(一)总结

本文研究了数据中心中的主数据管理的方法,按照总体规划,分步实施的原则,探讨了建设功能完善、高效实用、高度集成,体现自身特色的主数据中心系统的设计与实现的方法。本系统的建设主要实现了以下目标:1、实现全省五大主数据及相关基础代码编码的统一管理;2、实现了省局与地市间主数据的订阅同步交互;3、实现了全省主数据的统一视图;4、解决了跨部门、跨系统、跨业务线间主数据的同步管理;5、改变了以往各系统间基础代码各自维护的管理现状;6、建立了基于统一的ESB服务总线,建成主数据的交互渠道;7、建立了全省统一的编码标准规范。

总之通过信息资源集成整合、共享、充分利用、发挥和挖掘信息资源价值、提供统一集成的主数据支撑,主数据管理系统必将为提高福建烟草商业的经营管理水平、宏观决策水平,提升公司经济效益和整体核心竞争力提供有利的支撑。

(二)展望

主数据管理范文第6篇

【关键词】主数据;管理平台;数据整合

引言

随着煤矿自动化、信息化的不断完善与建设,企业的信息量、数据量呈几何式增长,决策者逐渐意识到数据共享的重要度,清除企业“数据孤岛”的现象,为企业安全生产过程自动化集中监视与决策提供基础数据源。但是在数据集成与综合应用平台,如矿井综合自动化、数字化矿山、煤炭企业集团公司安全生产调度指挥系统平台、统一门户平台等[1]。由于设计的业务范围广,层级多,各类产品服务提供商多,因此需要建立一套主数据管理系统,实现各个业务系统的编码维护、数据关系、编码申请、编码、缓存管理、编码同步与编码权限等管理,实现日常编码流程与主数据管理,为各个业务系统的紧密协作,无缝集成,减少数据集成与共享难度,避免信息孤岛的出现,提高数据利用率,增强系统整体的可用性奠定基础。

1.主数据

主数据是指在整个企业范围内各个系统(操作/事务型应用系统以及分析型系统)间要共享的、高价值的数据。也称企业基准数据。例如,物资、供应商、客户、财务、账户、员工、合作伙伴、组织单位等都是主数据。主数据通常需要在整个企业范围内保持一致性、完整性、可控性[2]。

需要注意的是:主数据不是企业内所有的业务数据,只是有必要在各个系统间共享的数据才是主数据。是指企业内各个系统间需要共享的数据,它能描述核心业务实体,例如,客户、供应商、帐户、组织单位、员工、合作伙伴、位置信息等都是主数据。企业内大部分的交易数据、帐单数据等都不是主数据。

主数据与记录业务活动,波动较大的交易数据、帐单数据相比变化缓慢。主数据是企业内能够跨业务重复使用(即共享的)、高价值的数据。这些主数据在进行主数据管理之前经常存在于多个异构或同构的系统中。 它按一定的规则被量化为可以记录一类信息的集合,成为可以被计算机系统处理、存储和交换的数据。主数据必须存在并加以正确维护,在正规的关系数据模型中,才能保证被交易系统参照的完整性。

2.系统设计

主数据管理平台软件,主要针对对主数据的编码维护、数据关系、编码申请、编码、缓存管理、编码同步与编码权限等管理,实现日常编码流程与主数据管理。为体现主数据管理平台在煤矿行业的应用,本平台的设计主要针对于实现煤矿安全、自动化类的主数据管理[3]。

2.1 设计原理

建立统一的数据字典类别管理,每个类别具有唯一性,能够提供对数据字典类别的新增、修改、删除等功能;为每个数据字典类别提供一个可以扩展的多级编码管理,系统管理员可以根据实际需要增加相应的编码,每个编码在该类别应具有唯一性,自动设置每个编码的拼音简码等;提供一个统一的编码数据库表,各个应用系统可以根据数据库结构进行直接提取数据;对于各类元数据进行属性关联,包括如工作面参数,煤层、工作面名称、储量、总长度、煤层厚度、斜长、容总、采高、启用日期、停用日期、工作面宽度、开始面长、结束面长、倾角、采煤面积、预计采完日期、工作面状态等信息,同时提供对外功能。

2.2 平台整体架构

主数据管理平台架构主要包括:

开发主数据业务模型:MDM管理的主数据系统主数据对象的数据模型、审批流接口。在上述业务模型基础上,实现基础字典维护、搜索、主数据[4]。

主数据业务管理:预制标准的基础数据、定义基础字典编码规则。

MDM控制台:在控制台中设置数据源、基础字典管理范围。

主数据管理:将不同系统内的同一基础字典的数据进行整合、清洗、映射,实现主数据的统一管理。

工作流程:根据预定义的基础字典申请、变更、下发的审批流程,实现数据的在不同环节的批准及下发到业务实例过程[5]。

业务操作:在MDM系统及业务实例中,实现基础字典的申请、变更、审批、MDM主数据下发到业务实例的处理

2.3 主数据编码定义

本主数据管理平台为保证本规范与山西省地方标准统一,便于集团公司与山西省地方煤炭行业接轨[6],基层单位编码参照山西省地方标准DB14/T671.1-2012。采用九位四层码,具体编码如下:

第一层(代码的1至3位)为办矿主体代码,山西省煤炭运销集团编码为006。

第二层(代码的4至5位)为办矿主体下的子、分公司代码,本层用于区分晋能有限责任公司集团下设13个分、子公司。

第三层(代码的6至7位)为子、分公司的下级公司代码,本层在晋能有限责任公司集团暂不使用,默认为00。

第四层(代码的8至9位)为矿井代码,本层标识晋能有限责任公司集团各分、子公司的下设矿井。

3.总结

针对晋能有限公司的现状,本文设计了主数据管理平台,实现了煤矿安全、自动化类的主数据管理,为企业管理信息系统(MIS)、企业资源规划系统(ERP)等提供了煤矿安全生产自动化系统数据来源。

通过专家评审,一致认定该平台达到了煤炭行业领先水平,在各大煤炭集团公司具有良好的应用前景。

参考文献

[1]张永刚.基于MDM技术的企业单一客户视图研究[D].华东理工大学,2012.

[2]臧静.企业信息系统集成技术与应用研究[D].北京交通大学,2011.

[3]林泳琴.面向企业应用集成的主数据管理系统[J].电脑知识与技术,2011(19).

[4]清水.主数据存储的六个级别[N].计算机世界,2010-12-20(038).

[5]赵嘉盛.企业级数据仓库中主数据管理的研究与应用[D].华东师范大学,2009.

[6]田瑞兰.试谈主数据管理信息系统的建设[J].电脑编程技巧与维护,2011(18).

基金项目:煤矿顶板动态监测系统研究(基金编号:13GY001-02)。

主数据管理范文第7篇

关键词:主数据;行业企业;管理体系;数据服务

近年来,随着企业信息化建设工作的不断推进,各行各业已意识到信息资源作为生产要素、无形资产和社会财富,与能源、材料资源同等重要,是重要的现代战略资源。建筑行业企业普遍实现了企业内外WEB站点,MIS系统已形成初步规模,有些建筑行业企业为适应数字化转型,还特别新上线了SAP,实现了进销存管理一体化,企业的产品开发创造能力、企业经营管理能力和国际竞争综合实力进一步提升。然而随着信息资源的不断利用与开发,信息系统日臻完善,信息资源也日渐庞大,出现了信息资源的综合利用程度低,系统内部、系统外部数据不一致,信息难以共享和交换等情况,甚至“信息孤岛”。因此,各行各业迫切需要对数据进行有序管理,提高数据服务质量,进而促进企业效益的不断提高。

一、主数据内涵和重要性

主数据(MasterData)是用于定义企业核心业务实体的数据,具有高业务价值,是可在企业内跨越各个业务部门被重复使用的数据,并且往往存在于多个异构的应用系统中,如客户、员工、合作伙伴、产品、物料等。主数据管理(MasterDataManagement)的目的是协调和管理与企业核心业务实体相关的系统记录以及系统登录中的数据和元数据。有规划、统一的主数据能够促进企业数据源头管理、业务流程的规范化,进而支撑企业的业务分析、管理创新、模式创新和业务决策等。

二、建筑行业企业主数据管理需求分析

(一)建筑行业企业主数据分类分析

建筑行业企业包含人员、组织机构、供应商、客户、成本中心、利润中心、会计科目、项目8类主数据,后续根据不同企业需求进行拓展延伸。为不失一般性,笔者在此以这8类主数据构建管理模型及其逻辑,各类主数据描述如下。1.人员人员数据在企业各个应用系统都会用到,通常情况下由企业人力资源部或办公室在人力资源系统进行源头管理维护,但是从目前大多企业情况来看,企业内部存在编码不唯一的现象,如在财务系统人员编号A001为张三,张三在设备管理系统中人员编号又为1003,这就导致人员数据无法共享。2.组织机构组织机构主数据也是应用广泛的一类主数据,在大多数应用系统中使用,通常也由人力资源系统进行源头管理,但是缺乏分享共享机制,很多企业在应用过程中也存在数据不一致的情况。3.供应商和客户供应商和客户这两类主数据通常在进销存类、客户关系类、财务类系统、物流类系统等应用系统中使用,维护好这两类数据才能实现产供销一体化。4.成本中心和利润中心成本中心和利润中心主数据通常在财务类系统、HR系统考核等系统中使用,维护好这两类主数据才能开展部门绩效考核。5.会计科目会计科目通常包括两类:一类是财政部设定的科目,另一类是企业内部为了更高效率结算进行企业和内部设定的更细的科目(也称之为非银行科目),主要在财务类系统中使用。6.项目项目主数据大部分没有实现统一管理,有些在设计系统、项目管理系统、合同管理系统、财务系统,大多没有统一编码,没有统一对应起来,因此企业无法实施从设计、建设到销售全链条的信息化建设。

(二)各类主数据管理功能需求分析

为不失一般性,下文以某一建筑行业企业的“供应商”住宿管理功能需求为例进行分析,具体如下。1.数据源和责任部门分析该企业的供应商主数据的数据源在OA系统和SAP系统均有,供应商主数据的编码是来自于SAP系统,供应商主数据的其他数据则来源于OA系统。该类主数据的责任部门是市场部。2.业务流程分析整个数据处理流程为:供应商主数据信息的产生由申请人通过OA系统提交申请、市场部会审、ERP处数据组审核、SAP用户返回供应商主数据编码以及SRM系统用户名和密码、信息中心部门授予VPN账户和密码等步骤组成,最后反馈给申请人。3.涉及的表单和数据项供应商主数据涉及的表单和数据项至少有:申请人姓名和联系电话,公司名称、公司简称、注册资本、法人代表、税务登记证代码、电话号码、传真号码、地址,审批后的相关信息如供应商代码、VPN账户和密码、SRM用户名和密码等。其中申请人姓名和联系电话、公司名称、公司简称、注册资本、法人代表、税务登记证代码、电话号码、传真号码、地址等数据项是必填项。4.与其他系统的关系其他业务系统需要供应商主数据信息,以SAP系统中的为准,当前SAP系统没有为其他应用系统提供供应商主数据的标准接口。5.存在的问题供应商主数据当前存在的主要问题有:没有提供标准接口,无法供其他应用系统读取数据;在申请主数据过程中,有些数据项没有进行格式化、规范化,如邮箱作为申请过程中的数据项,用户即使输入格式有误也没有提示;没有集中化管理核心数据,容易出现信息更新滞后、数据不统一、不完整等情况;在当前管理模式下,不便于进行供应商主数据的维护、清洗、数据共享与交换等工作。将供应商主数据纳入住宿管理系统统一管理,上述问题将会得到解决。

三、建筑行业企业主数据管理体系设计

(一)建筑行业企业主数据管理模型设计

为了能够统一主数据管理,需要建设主数据管理平台,实现各类主数据的统一全生命周期管理,如申请、审核、分发、冻结、停用,规范各类主数据管理,保证管理质量,并提供智能报表、数据导出、应用监控等。对于建筑行业企业来说,其管理模型构建如图1所示。建筑行业企业管理平台的数据管理服务需要实现至少8种主数据的申请、审批、冻结、停用等功能;数据治理服务要实现8种主数据的清洗、合并、相似度检测等功能;数据应用服务要实现8种主数据的标准接口服务、实施推送、智能报表等功能;数据质量保证要实现8种主数据的规范化管理(规则定义和管理)。

(二)建筑行业企业主数据管理与应用体系框架设计

建筑行业企业主数据管理与应用体系主要包含基础标准、管理标准、应用标准以及详细分解,其中的管理标准结合现代建筑行业企业特点,将建筑行业企业主数据分为两大类:用于管理的主数据和用于经营的主数据,如图2所示。各类主数据按照现代建筑行业企业职能进行进一步划分,将其细分为ABC三类进行精细化管理,旨在进一步对现代建筑行业企业职能进行精细化管理,减少因主数据交换而额外消耗的资源,最终实现建筑行业企业的主数据高质量管理与应用。在应用过程中,设计高层领导账户、普通账户、申请人账户、审核账户、超级管理员账户等,实现对整个主数据管理生命周期的过程管理,确保主数据管理的有效性、科学性。

四、小结

随着信息技术的应用,建筑行业企业加强信息技术的应用,提高企业现代化管理水平显得越来越重要。本文从建筑行业企业主数据管理现状、管理需求分析,探索设计了一套建筑行业企业主数据管理与应用体系构建方案,以期为推进建筑行业企业高质量发展奠定智慧支撑的基础,下一步将在此基础上研究现代建筑行业企业主数据管理、现代建筑行业企业大数据平台的构建。

参考文献:

[1]廖恺.建筑工程项目管理信息化研究与分析[J].城市建筑理论研究,2018(10).

[2]赵铁红.信息化视角下现代建筑工程管理优化措施研究[J].四川建材,2021(8).

主数据管理范文第8篇

那么,你如何保持或者改善服务水平,同时继续有效地经营业务呢?IT决策者们正在这个领域寻求帮助。要在能够加快降低成本的同时理顺商务流程的投资。

主数据管理软件和服务专门用于这个目的。主数据管理旨在帮助企业调整其多个系统和部门之间的主数据资产,如文件、互联网和内部网站、电子邮件、表单、图表和图片、音频和视频等。主数据管理还能提供系统每周7天、每天24小时的状况,以及对数据的全面报告和分析。主数据管理还提供每周7天、每天24小时的维护。

一个主数据管理平台能够提供一个企业的数据资产的统一看法,提供搜集和这个数据的一致的方法。这些方法已经证明能够通过各种渠道加快实现流程、项目和产品。

主数据管理面临的主要障碍是前期的资本开支。应用一个主数据管理项目需要投资100万美元或者很多的钱。这笔投资超出了全球财富1000强企业以外的大多数公司的承受能力。

然而,由于市场竞争,这个状况正在发生变化。直到最近,主数据管理市场一直是由IBM、SAP和甲骨文占统治地位。最畅销的软件和服务产品一直是IBW WebSphere客户中心、甲骨文Siebel客户数据中心和通用客户管理软件Universal Customer Master以及SAP的NetWeaver主数据管理软件。

其它企业正在进入这个领域,从而把这些产品推向了更广泛的市场。2007年从NCR公司剥离出来的Teradata公司在这个市场上也有自己的产品。这类公司还有DataFlux、12、Initiate Systems、Kalido、Purisma和Siperian。

“灵活的”主数据管理平台提供商Siperian公司产品营销高级经理Ravi Shankar提供了减少主数据管理IT成本的7个好处。

主数据管理削减成本的第一个好处:降低接口成本

一个肯定能够减少IT成本的方法是减少多个应用程序之间的点对点的集成的数量。诸如从订单到付款等商务流程涉及到包括订单管理和应收账款等若干不同的应用程序。这些商务流程需要单个应用程序之间的复杂的点对点的集成。

由所有的商业应用程序和你所有的应用程序处理的许多业务流程多样性是在整个企业中的一个非常复杂的集成网络。

这些点对点的集成的开发和维护是昂贵的。但是,主数据管理能够简化这些集成,其方法是集中统一的信息(主数据),在业务流程中不同的点提供这个可靠的信息。

主数据管理削减成本的第二个好处:消除冗余的第三方数据成本

消除获取外部数据提供商的重复数据能够显著节省成本。对于许多公司来说。集成Dunn & Bradstreet、Acxiom、IMS和路透社等研究机构的第三方数据是它们业务经营的一项关键需求。

然而,同一家公司的不同部门都为自己的需求获取数据,它们不知道本公司的其它部门已经购买了同样的数据。这些购买重复的数据成本有一种乘数效应。

采用主数据管理,第三方数据直接集成到主数据管理系统,然后分配给所有的下游的应用程序。这就把重复的数据采购减少到只有一个数据。

主数据管理削减成本的第三个好处:减少数据清除成本

在主数据管理系统中集中地清除数据能够显著节省成本。大多数企业都投资购买数据质量工具以便为了直接营销等商业目的清除一个应用程序中的数据。后来,随着用于其它商业目的之数据质量要求的提高,企业要继续清除其它商业应用程序中的数据。

这引起了两个问题。第一,能够增加重复使用的成本,从而显著影响IT预算。第二,由于清除数据是由应用程序单独完成的,没有注意到多个程序之间的重复问题。

通过把单独的应用程序中的数据集成到主数据管理系统中,就可以在一个单个的系统中清除整个企业中的所有的数据。这种方法不仅能够解决许多数据源应用程序之间的冲突,而且还有助于创建和存储对数据进行任何修改的历史和谱系。

因此,通过集中清除数据,企业能够节省数据质量工具额外应用实例的许可证和技术支持费用。

主数据管理削减成本的第四个好处:减少外包的“数据整理”成本

主数据管理系统能够通过消除昂贵的外包的人工数据整理提供明显的节省成本的好处。一些企业把数据复制外包给数据整理服务提供商。这样做的目的通常是为了营销或者遵守法规。

一个营销部门也许会把直销列表的数据复制直接外包出去。同时,在满足管理部门遵守法规的期限的要求的压力之下,法律部门可能把人工整理遵守法规的数据的工作外包出去。

然而,在这两种情况下,整理的数据重来都不是存储在一个中心位置,以便以后访问这些数据。这需要重复地进行整理。过一段时间,整个机构的这些成本是非常高的。而且。过一段时间,这些数据修改的历史将不再存储。而这种数据是遵守审计规定的主要要求。

主数据管理系统消除了外包的人工整理数据的工作,其方法是动态地自动整理、丰富和复制数据,集中存储这些数据以便以后应用。跟踪这个数据的变化,然后向营销和遵守法规的应用程序提供这种经过整理的、丰富的数据。

主数据管理削减成本的第五个好处:减少冗余系统的许可证、技术支持和硬件成本

通过为企业把数据集中起来,主数据管理可能减少甚至消除冗余的数据存储和系统。存储重复的数据的情况可以被消除,从而显著节省成本。

考虑一些这种情况:一家在100多个国家经营的跨国公司在70个不同的人力资源应用程序实例中存储员工的记录。由于这种分散的方法,公司的人力资源官员没有办法说出准确的员工数量。统计这些数据需要两个星期的时间。而在这个时间里,会有许多新的员工加入这个公司,离开这个公司或者被解雇。

通过把这些员工的数据集中在主数据管理系统和淘汰冗余的人力资源实例,这家公司现在不仅能够在任何时间都能够得到员工数量的准确数字,而且还节省了维护额外的实例的成本,从而实现了以各种方式节省成本的目标。

主数据管理削减成本的第六个好处:减少客户解决方案开发和维护成本

通过取代旧的客户主数据,企业能够减少开发和维护这些数据的成本。一些企业已经通过把各种工具结合在一起的方法开发了自己专有的客户主数据。如客户信息文件或者运营数据存储。

这些主数据原来是为了解决一个具体的业务问题开发的。但是,过一段时间,这些数据就失去了灵活性,不能满足这个部门日益增长的需求,也不能解决这个机构的其它不同的部门的其它业务需求。

通过使用可设置的现成的主数据管理平台替换这些陈旧的客户主数据。机构不仅能够节省与修复这个客户解决方案有关的大量的开发和维护成本,而且还能够帮助IT部门重新把重点放在以及时的数据支持业务运营方面。

主数据管理削减成本的第七个好处:减少信息传递的成本

IT部门能够通过在正确的时间提供正确的信息来减少成本。遵守法规和管理报告是IT部门支持的两项主要的功能。向管理部门提供的报告中的错误可以导致罚款,提供给管理层的报告中的错误能够导致情况不明的和糟糕的战略决策。

当审计部门和管理层对于报告中数据的权威性提出怀疑的时候,他们经常会打电话让IT部门证实这个数据的真实性。这将会破坏管理层对IT部门的信任。这还可能导致投入重要的IT资源挖掘这个数据的历史变化。这个工作是非常昂贵的。

主数据管理能够帮助消除这种局面,因为,第一,主数据管理仅管理包含所有变化历史的一个版本的真实数据;第二。主数据管理向任何报告、商务智能或者数据仓库提供这个信息。因此,这些系统产生的遵守法规的报告和提供给管理层的报告都是最可靠的信息。

主数据管理范文第9篇

关键词:企业主数据;实现模式;数据推送

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2015)18-0011-02

1.企业主数据的背景

随着电子化办公的深入和计算机技术的发展,企业信息化建设越来越为重要。对于大型企业来说,通常需要使用多个系统,如人力资源系统、业务采购系统、财务系统等,且系统间不乏相关性。然而,这些系统往往是在不同时期逐步建设完成的,在系统架构及平台上,相互之间没有太多的关联,数据规范自成体系且独立存储,不仅形成数据孤岛,且往往存在大量的数据冗余。由于系统间业务实体存在交叉,在进行企业级数据统计分析时,需要综合调用各系统的数据,这时企业主数据系统的建立尤为重要。

企业主数据是指在整个企业范围内所有系统(操作/事务型应用系统以及统计/分析型系统)间要共享的数据,它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。如客户、员工信息以及企业经营主体相关的数据。主数据需要在整个企业范围内保持一致性、完整性、可控性,为了达成这一目标,就需要进行主数据管理。本文将以航运企业常见的三个基础系统(财务管理系统、经营管理系统、船舶管理系统,以下称业务系统)为例,对主数据管理的概念和基础解决方案进行介绍。

2.主数据的选定与清洗

主数据并不是企业所有的数据,而是稳定高、各系统使用频率高的高价值数据,其特点是基于业务、生命周期长、跨系统使用。比如大部分的交易数据、帐单数据等都不是主数据,而像描述核心业务实体的数据,如客户、供应商、帐户等是主数据。根据这一原则我们将三大业务系统中的主数据梳理如下:

1)财务管理系统,负责船舶相关的各种费用的收付款等。主数据为:收款人、付款人、船舶、港口。

2)经营管理系统,负责船舶租赁经营,调度指挥等。主数据为:船舶、港口、租家、船东、。

3)船舶管理系统,负责船舶硬件维护,动态监控等。主数据为:船舶,港口,供应商,。

对上述三个系统中主数据进一步清洗,可以分为三类:船舶、港口、客户(收款人、付款人、租家、船东、、供应商)。

主数据的主体确定后,我们还需要对主数据进行标准化。在财务系统中,必须严格按照银行流水单进行录入,但实际业务中经常出现同一客户不同名称的情况,这些名称区别可能仅为一个空格或一个字母。如经营管理系统中租家为“XXXXCo.,Ltd.”,在财务系统中付款人为“XXXX Co.,Ltd”,二者区别为一个“.”,它们实际上为同一个客户。为了实现二者的统一,我们在主数据中建立两个客户,然后通过“组”的概念,对其进行标准化归类,将同一实体的多个客户归为同一组,这样我们在查询、统计时通过组代码将多个客户进行关联。

3.主数据的管理和分工

主数据的管理不是单纯的技术问题,在企业内部贯彻实施统一的标准,需要愿景、制度、IT等全方位的配合,也就是说,主数据管理实质上是一个企业管理问题。所以,为主数据管理而建立的独立信息平台,最好由业务方面的高层来负责,而不是IT部门负责人。单靠一个系统,一种技术无法有效的实现主数据的管理,企业内各部门之间的合理分工与高效协调才是主数据管理的根本前提。鉴于主数据的重要性,在系统外应遵循如下原则:

1)主数据应保证在企业内部具有唯一性和准确性,因此主数据的新建和变更应由专职的岗位负责,维护人员应对相关的主数据非常熟悉并且具有权威性,如船舶主数据由船舶管理部门维护,港口主数据由运营调度部门维护,客户主数据由市场调研部门维护。

2)主数据维护应有严格的流程。当某个业务系统触发对企业主数据的改动时,首先将申请提交至主数据维护人员,由其对已有主数据库进行检索,确认不存在时方可进行增加,添加前要进行清洗和提炼,以保证主数据的准确性。

3)主数据维护应保证及时性和稳定性。在主数据维护后应在企业内部将整合之后完整、准确的主数据以通知或公告等形式及时分发给所有有关的应用系统使用人员。各业务系统参照主数据规则严格执行,必要时应对自己系统的数据结构进行适当调整。

4.主数据管理的系统实现

4.1搭建模式选择

在需求及分工确定后,主数据管理最终需要通过计算机系统实现,也就是搭建企业主数据管理系统。建设主数据管理系统时,应根据企业内部现有业务系统的实际情况选择适合的搭建模式。目前常见的模式有四种:注册模式、合并模式、共存模式、集中模式。在系统实施过程中这四种模式并不是独立存在的,往往是多种模式的一个组合,通过SOA服务方式,将主数据管理信息服务化,供不同业务系统使用。这里重点介绍一下最常用的共存模式和集中模式。

共存模式是指业务系统中都存储各自所需的主数据,各业务系统使用时,直接使用本地的主数据。主数据发生变更后,主数据系统需要及时更新业务系统中的数据。共存模式主要特点为:1)对现有系统影响较小,直接使用原业务系统的数据维护功能,界面开发成本低;2)主数据存储在业务系统本地,调用速度快,系统性能高。需要注意的是必须做好主数据来源系统之间的界面分工,防止多个系统对同一类型的数据进行修改,引发数据不一致问题。

一般来讲,在业务系统比较成熟且系统数量不多的情况下,建设主数据系统时比较适合共享模式。

集中模式是指主数据统一在主数据管理系统中维护,各业务系统不保留本地备份,当使用主数据时,直接到主数据系统查询并获取所需信息。从管理上来讲,如果所有主数据都是在一个系统中产生和管理、且数据变更后能实时同步到其它系统的,都可认为是集中模式。集中模式的主要特为:1)主数据的产生和更新在同一系统中,减少了维护成本;2)当主数据更新时,能实时更新各系统中的相应数据。其主要劣势是对于现有业务系统改造工作量较大,实施成本高,而且业务系统间实时访问主数据库,系统性能可能受到影响。

一般来讲,在企业信息化建设初期,适合搭建集中模式主数据管理系统,业务系统围绕主数据系统以星型结构进行扩展,可从源头上保证企业主数据的一致性和准确性。

4.2实现实例

鉴于某航运公司的三个业务系统都比较成熟,且操作用户没有交叉,我们选择共享模式实现主数据管理。主数据存储在单独的数据库,在主数据库与三个业务系统数据库之间分别开发独立的接口,用于实现数据同步。

在数据同步方式上,根据业务系统对及时陛的要求,分别采取主动推送、自动抓取、推送和抓取相结合三种方式。以客户主数据为例,生产管理系统负责主数据维护,财务系统使用且及时性要求高,船舶管理系统使用但及时性要求低。因此,市场部用户在生产管理系统中维护客户主数据后,通过接口立即将数据主动推送到主数据库。主数据库收到数据变更后,首先在本地进行存储,然后通过触发器将客户数据推送到财务系统,以便其可立即使用。在主数据系统中建立定时任务,在船舶管理系统使用负荷低的时间段(每天中午12:00和晚上23:00)执行数据推送任务,同时船舶管理系统中设置抓取接口,用户触发时可立即从主数据系统中抽取一次最新数据。

数据库备份和容灾是主数据管理系统建设非常重要的部分,为此我们采用了实时备份和定期备份相结合的方式,通过CDC技术进行实时备份,同时在每晚22:00执行定时任务进行一次完整备份,并将备份文件进行保存。

5.结束语

主数据管理使企业能够集中化管理数据,实现各业务系统间基础数据的统一,改进数据规范性,减少了跨系统的数据变换、转移所需的成本和时间,降低了数据冗余度,使各系统有机地联接在一起,提高了企业信息化水平。

主数据管理范文第10篇

关键词:主数据管理;数据质量;条件函数依赖;条件包含依赖

中图分类号:TP274文献标识码:A文章编号:1009-3044(2011)19-4521-03

Master Data Management for EAI

LIN Yong-qin

(Network Center, Guangzhou University, Guangzhou 510006, China)

Abstract: Aiming at the data quality problems in data integration, the paper proposes a master data management system to solve the inconsistency problem in data integration, which is based on CFD, CIND for consistency checking and based on subscription rules for maser data promulgation. The system is built on SOA architecture, through the components of master data extraction, quality control of master data, master data publishing to provide the single view of master data and to achieve the automatic management of master data change process. The application results show that the use of master data management can effectively solve the inconsistency problem of the sharing data from various systems, thus improving the quality of integrated data.

Key words: Master Data Management(MDM); data quality; conditional functional dependencies (CFD); conditional inclusion dependencies(CIND)

文献[1]指出,数据质量问题导致大部分中国企业数据集成项目难以达到预期,数据完整性、一致性、准确性难以得到保障,并指出中国企业在实施数据集成时遇到的主要困扰有:企业数据描述不完整、不准确;几乎无法在多个项目中复用资产或技术;高额的维护和管理成本;基础架构不堪一击,实施更改极其困难等。它并建议从准确性、合规性、一致性、重复性、及时性、完备性六个方面来评估集成数据的质量。目前,在数据集成的具体实现中,工作重点通常放在解决数据模式冲突和数据类型转换上,而忽略了数据实例层次上存在的数据质量问题。

主数据(Master Data,MD)定义为已清洗,合理化的并参与企业各系统核心业务活动的数据[3]。主数据管理(Master Data Management,MDM)是过程和技术框架,它旨在创建和维护一个权威、可靠、可持续、准确和安全的数据环境,从而提供数据的“单一视图”[3]。文献[2]指出集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理实现的是从企业的多个业务系统中整合核心的、最需要共享的数据,集中进行数据的清洗和丰富,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用,包括各个业务系统、业务流程和决策支持系统等。

文献[4]指出,“Your SOA Could Be DOA Without MDM”,近期对主数据管理的研究有文献[5-8]等,文献[5]从管理的层面,通过标准化主数据,以本体注册的方式实现主数据的管理;文献[6]从主数据分析建模、主数据表达建模两个方面来陈述主数据管理总体框架;文献[7]提出了基于XML的数据集成方案,方案内嵌了基于UML规范的主数据管理功能;文献[8-9]通过IBM的MDM Hub,主要是针对客户数据,从客户数据分类和表关系发现方面提出基于语义的数据管理;文献[10]从概念层给出了MDM、SOA和复杂事件处理等相互接连的总体框架,也给出了主数据集成和管理方案的流程设计方案。

主数据是各应用系统共享的数据,是相对于各应用系统的业务数据而言的,目前,IBM、Oracle等也提供了主数据管理解决方案,提供了主数据的“单一视图”,但它们在处理主数据变更的实现中对主数据变更可能引发应用系统业务数据一系列变更的影响欠缺考虑,本文针对企业数据集成中存在的数据质量问题,通过创建基于CFD、CIND进行数据质量控制和基于订阅规则进行数据的主数据管理系统,为解决企业数据集成中存在的数据质量问题提供一种可行的解决方案。

1 条件函数依赖和包含函数依赖及其在数据一致性检测中的应用

1.1 条件函数依赖

文献[11]给出了条件函数依赖(Conditional Functional Dependency,CFD)的定义和推理。

定义1:关系R上的一个CFD可以表达为φ:(R:XY,Tp),其中(1)R是关系模式,X,Y∈attr(R),attr(R)为R的属性集合;(2)XY为R上传统的函数依赖;(3)Tp是型表,属性由X∪Y组成,Tp的元组由常量或变量“-”构成。

例子:关系R上的实例customers如下表所示:

其中,country编号为44的用户,存在着Zipstreet的函数依赖,明显Zipstreet的函数依赖作用范围不在整个customers实例表上,而仅在条件为country=44的元组集合上,这种条件函数依赖表示为:φ0=Customers([country=44,Zip][street],Tp),其中Tp为

推理1:一个关系R的实例r满足一个CFD(R:XY,Tp),并设t1、t2是r中的任意元组,tp为型表Tp中的任意元组,如果t1[X]=t2[X]≈tp[X],则有t1[Y]=t2[Y]≈tp[Y]。

关系R上的实例r满足某个CFDφ,记为r│ =φ,设定义在R上的所有φ的集合为∑,若r满足∑中的每一个φ,则记为r│ =Σ。从上表中可以看出,元组1和元组2都满足φ0,若存在另一条记录(5,Jack,44,07974,Oak Ave),则通过φ0检测,可以找到元组5跟元组1和元组2不满足Zipstreet的约束规则,违背了φ0的约定,成为了问题数据。

与传统的函数依赖(Function Dependency,FD)相比,传统的FD主要应用于数据库的范式设计、模式匹配、查询优化等方面,而CFD侧主要用于数据的输入控制、数据维护及数据清洗等方面,并通过特定的数据约束表达式提供了计算机自动检测的功能;另外,传统的FD只涉及关系模式层次的信息,面对数据实例层次的数据质量问题往往无能为力,而CFD能检测实例层次的数据质量问题,它通过绑定关系属性及其语义相关的数据,定义数据子集上成立的约束,用于细粒度的数据不一致性检测。文献[11][12][13]在理论和实践上已对基于条件函数依赖进行数据的自动清洗作了理论和实践上的深入研究。

1.2 包含函数依赖

文献[14]给出了条件包含依赖(Conditional Inclusion Dependencies, CIND)的定义。

定义2:定义在关系R1和R2上的条件包含依赖φ为(R1[X;Xp] ?哿 R2[Y;Yp],Tp),其中(1)R1[X] ?哿 R2[Y],是传统的包含依赖;(2)Tp为型表,其属性为X∪Xp∪Y∪Yp,它的元组取值要么是常量,要么为未命名的变量“-”。

举例:教职工信息表(职工编号,职工名称,…)

学生信息表(学号,学生名称,…)

用户表(用户ID,用户名称,口令,权限标志,用户类别)

其中假定用户类别0代表学生,1代表教职工,明显当用户类别为1时,它的数据来源于教职工信息表,即是包含依赖于教职工信息表;当用户类别为0时,它包含依赖于学生信息表,这种条件函数依赖表示为:

用户表[用户ID,用户名称,用户类别='1']?哿教职工信息表[职工编号,职工名称]

同理,传统的IND也是CIND的一个特例,它可以表示为(R1[X;nil]?哿R2[Y;nil],Tp)。

1.3 CFD和CIND在数据质量控制组件中的应用

为了检测数据实例层次的不一致性,条件函数依赖理论绑定关系模式中属性及其语义相关的数据,条件包含依赖理论绑定了关系模式之间的相关语义数据,通过它们能定义满足约束的正确数据的模式。实例中存在的错误或不一致数据通过破坏约束的形式被检测出来,从而应用CFD和CIND指导数据清洗,控制集成数据的质量问题。

文献[12]给出了检测数据实例是否破坏条件函数依赖D的检测方法。在本系统中,CFD和CIND主要用于数据不一致性检测和模式匹配上,它们表达成业务规则,保存在业务规则库。它们在本系统应用中的改进点有:(1)分别整合了CFD和传统的FD,以及CIND和传统的IND,将部分的业务规则绑定到CFD和CIND中,让其参与问题数据的检测(2)在主数据订阅规则中通过CIND来描述数据的依赖关系,通过依赖关系再访来生成相应的主数据消息,以实现各应用系统所有相关业务数据都能反映主数据的变更。

2 主数据管理系统

主数据管理系统的主要框架图示如图1,其中长方体框代表的功能模块为系统的关键组件。

目前MDM的实现方式可分为Registry技术、Hub技术和EMDM技术三种,Hub实现方式扩展了实体注册的实现方式,在实现实体注册的基础上增加了主数据集成服务,这些服务用于创建和维护主数据并在应用系统之间主数据,而EMDM的实现功能比前两者更强,除了前两者能实现的功能外,还提供了主数据建模和主数据管理的功能,并跟踪主数据和元数据的变更。本系统在实现上采用的是第三种方式。

MDM系统中的元数据存储包括了主数据业务模型、主数据规则和定义,其中主数据业务模型定义了主数据实体、属性、关系和他们的业务含义。当主数据记录详细资料被修改后,其相应的元数据都将被更新。

本系统中主数据的变更分为两种情况:一种是源头在应用系统上的,如教务系统中的学生主数据、人事系统中的教职工信息等,通过主数据抽取组件捕捉应用系统上主数据的变化来更新和同步主数据管理系统上的主数据;另一种是通过主数据管理系统客户端进行主数据更新的,如学院、各处室等部门信息,由于没有应用系统生成部门信息并可作为其权威数据源的,这种情况下,通过MDM客户端进行主数据的统一更新,这种更新也同样要经过一致性等检测才能进入主数据数据库。

在主数据功能上,变化的主数据流通过主数据组件,根据主数据订阅规则,将变更后的主数据信息分发到各个应用系统并更新相应的实例表。例如,对部门信息(部门信息在结构上设计为学院系别科室的三级或多级可扩展结构),其中教务系统只需要订阅一级的学院信息,人事系统则需要订阅前两级的部门信息,资产管理系统则订阅三级的部门信息,且资产管理系统中存在着多张业务数据表跟部门数据主表是有依赖关系的,更新资产管理系统的部门数据主表时,必须同时更新跟其相关的其他业务数据表。不同应用系统所订阅的主数据信息通过配置订阅规则文件(XML文件)来实现,在订阅规则中指定变化的主数据所推向的目标服务器、目标数据库及类别、目标表、目标表跟主数据对应的字段列表、订阅筛选条件、跟目标表存在依赖关系的其他数据库表以及所执行的更新(Insert、delete、update)操作等。按照订阅规则生成的消息格式为:(主数据类别,SQL集,目标服务器,目标数据库)。

举例,资产管理系统对部门信息的订阅:

上图显示的为对部门主数据的其中一条订阅规则,MD_Fields和Target_Fields定义的字段一一对应,必要时还可进行类型等的转换设置,Rule_Condition指出资产管理系统订阅三级的部门信息(部门信息表中长度两位的为学院级,四位的为系别级,六位为科室级),RelTable为跟目标表相关的业务数据表,跟部门主数据相关的业务表有设备信息表deviceinfo和用户表users,上面的写法实质上表达了deviceinfo[takedeptid,nil] ?哿 departments[deptid],users[deptid,nil] ?哿 departments[deptid]这样的条件包含依赖。

当主数据库中修改了一条部门信息,例如,将部门编号为020101改为020105,按照资产管理系统的订阅信息,发向资产管理系统的消息内容为:(2,"update deptments set deptid=' 020105'where deptid='020101';update deviceinfo set takedeptid='020105' where takedeptid='020101';update userinfo set deptid='020105' where deptid='020101' ",172.22.21.200,ZCGL)。其他应用系统的主数据订阅原理相同,其他更新操作也类同,都是通过捆绑SQL到消息服务来实现。

3 运行结果和系统评价

文献[12]证实了基于CFD的一致性检测的有效性,其测试结果表明,使用CFD的性能接近传统FD的性能,在关系元组的数据量较大时,CFD的性能甚至超过了传统FD的性能。本系统内嵌于ESB上的数字化校园数据集成平台,负责主数据的同步和变更管理,目前集成了14个应用系统的600多条数据交换流程,基于表依赖关系和业务规则创建的CFD和CIND近1k条,校园网内主数据实时同步响应时间在1秒内。

4 结论

本文基于条件函数依赖CFD和条件包含依赖CIND,将其作为形式化的规则实现了对主数据的一致性检测,并通过基于订阅规则的主数据实现了主数据变更引发应用系统一系列业务数据的变更。搭建的主数据平台,为各应用系统提供透明的“单一”主数据视图,从而保证主数据在各应用系统之间流通的正确性,为解决企业集成中存在的数据冗余、数据不一致等数据质量问题提供一种解决方案。

参考文献:

[1] 刘飞.中国企业数据集成与数据质量市场白皮书[EB/OL].cn.2008.

[2] 蒋志明.理想的数据架构的研究和实现[J].中国科技信息,2009(4):84-87.

[3] PAlex Berson,Larry Dubov.Master Data Management and Customer Data Integration for Global Enterprise[M].New York:McGraw-Hill,Inc.2007.

[4] Forrester Research.Your SOA Could Be DOA Without MDM.2006

[5] 王波,陈德规,史亚贝.通过标准化主数据实现高校数据交换[J].组合机床与自动化加工技术,2008(12):100-103.

[6] 张德进,王磊,尤静,等.企业主数据分析与表达技术研究[J].机械设计与研究,2008(2):67-71.

[7] Ludovic Menet,Myriam Lamolle,Amar Zerdazi.Managing Master Data with XML Schema and UML[J].International Workshop on Advanced Information Systems for Enterprises,2008:52-58.

[8] Li Ma,Xingzhi Sun,Feng Cao,et al.Semantic Enhancement for Enterprise Data Management[J].2009 Proceedings of the 8th International Semantic Web Conference,2009:863-878.

[9] Xiaoyuan Wang,Xingzhi Sun,Feng Cao,et al.SMDM:Enhancing Enterprise Wide Master Data Management Using Semantic Web Technologies[J].2009 Proceedings of the VLDB Endowment,2009,2(2):1594-1597.

[10] Anca Andreescu,Marinela bining Actual Trends in Software Systems for Business Management[J].2008 Proceedings of the 9th International Conference on Computer Systems and Technologies and Workshop for PhD Students in Computing,2008,V9-1-V9-6.

[11] Bohannon P,Fan W,Geerts F,et al.Conditional functional dependencies for data cleaning[J].ICDE,2007.

[12] W ENFEI FAN,FLORIS GEERTS,XIBEI JIA,et al.Conditional Functional Dependencies for Capturing Data Inconsistencies[J].ACM Transactions on Database Systems,2008:1-44.

[13] Fan W.Dependencies Revisited for Improving Data Quality.ACM Symposium on Principles of Database Systems(PODS(invited),2008.

[14] Loreto Bravo,Wenfei Fan,Shuai Ma.Extending dependencies with condition[M].VLDB,2007.

上一篇:病例教学法范文 下一篇:业务模式范文