数据建设论文：数据建设监管的思索透析

作者：龚建华 吴照林 单位：国防信息学院

数据建设与管理中的常见问题

上世纪以“金”字号工程为牵引，我国在信息系统建设上投入了大量的人力物力，信息系统受到广泛应用，同时也积累了大量的数据资源，数据量进入快速增长时期，与数据相关的问题也随之暴露出来，主要表现在三个方面。1、数据需求不准简单地说，数据需求就是用户对数据需要和要求。数据需求调研是数据建设的初始环节，后续的数据建设与管理都是建立在数据需求调研分析基础之上，如果数据需求不能准确反映用户的需要和要求，那么后续的数据建设与管理做得再好，所得到的数据不是用户所需要的，数据也就失去了它存在的价值。信息系统中存在的数据需求不准确问题，主要原因可以归结为三个方面。一是用户在数据需求分析中的作用没有充分发挥出来。我们的信息系统通常是由某部门立项，委托开发单位研制，最后配发给使用单位，在研制单位与使用单位用户之间隔着一个管理部门，虽然研制单位也会到使用单位调研，但是调研的广度和深度有限，使用单位用户没有充分参与到需求分析中来，需求调研的结果难以准确反映用户的需要和要求。二是缺乏有效的数据需求沟通工具。研制单位经过需求调研后，需要将调研结果表达出来，以便与用户再次沟通和确认，大多数数据需求工具过于专业化，其输出结果普通用户很难理解，研制单位与用户之间缺乏有效的需求沟通桥梁，数据需求的准确性难以保证。三是对相关领域已有的信息系统和数据标准调研不彻底。研制单位在需求调研中往往对已有的信息系统的数据结构研究甚少，也没有查阅相关领域已的数据标准和默认准则，导致数据需求的结果既与现行的数据需求重叠又不兼容，为将来进行数据共享埋下隐患。2、数据质量不高数据质量反映了数据与客观事物的符合程度，高质量的数据是信息系统完成预定功能的基础，内容缺项或内容错误的数据不仅没有帮助，而且还会带来十分危险的后果。数据采集是数据建设的重要手段，也是控制数据质量的关键环节，数据采集中出现数据质量不高的问题，主要原因可以归结为五个方面。一是数据采集工具不够完善。虽然有一些自动化数据采集工具，但是大量的数据主要还是依靠人工录入来完成，而手工录入最大的问题就是无法避免无意识的人为错误，目前从技术上还不可能完全发现和修正这些人为错误，致使数据质量得不到保证。二是错漏数据本身具有隐蔽性。在海量的数据集中，出现错漏的数据毕竟是少数，许多错漏数据本身也符合业务规则，现有的工具很难把这些错漏数据找出来，要把这些隐蔽的错漏数据全部找出来，通常只能通过人工一条一条地复核数据，如同大海捞针，的确十分困难。三是对数据质量的重要性认识不够。要保证数据质量，不仅要细心、熟悉业务，有时还要查阅不少资料，与各部门沟通，上下协调，当中自然会出现一些阻碍，有些人认识不到数据质量的重要性，觉得差不多就行，也不去认真核对，有时还捏造数据，数据质量难以保证。3、数据共享不充分数据区别于水、空气、能源等的重要特征在于数据可以共享使用，数据提供者将自己的数据贡献给他人使用时，自己并不会因此而失去数据，他自己的信息系统仍然能正常运行，对于数据接收者，则因得到了数据而获得更多的应用。数据不仅在数据提供者发挥了作用，而且在数据接收者那里也发挥了价值，因此数据共享越充分，数据的应用价值就体现得越大。目前，数据共享还不够充分，主要原因可以归结为四个方面。一是部分数据敏感性太强。在数据敏感性太强的情况下进行数据共享存在一定的隐私风险和商业利益风险，在多方协调下实现数据共享后，数据提供方一般也得不到相应的利益，在没有利益只有风险的情况下，一般都不愿意把自己的数据共享出去，导致数据共享应用不够充分。二是数据共享需求还不是很迫切。目前各业务部门的信息系统大多数可以独立运行，不需要其它系统的数据，对数据共享的需求不是很急迫，往往只是突发事件需要协调时才会有数据共享需求，数据共享变成了一种短期临时行为，也不利于数据共享应用的推广。三是数据结构的差异为数据共享应用带来了一定的障碍。前面已经提到，由于数据需求分析不够深入，没有调查相关信息系统的数据结构和数据标准，导致相关信息系统之间的数据结构存在重叠和差异，即使数据提供者共享出数据来，也难以直接加载到数据接收者的数据库中。四是数据共享工具还不够完善。在异构环境下进行数据共享，必须借助专门的工具来进行数据抽取、转换和加载，尽管出现不少这方面的工具和方案，但是这些工具和方案的还存在客观应用限制条件，使用起来也比较复杂，从技术角度上讲，广泛深入的数据共享仍然存在一定的困难。

加强数据建设与管理的举措

1、加强数据审核（1）加强数据需求审核加强数据审核有利于系统研制单位在数据需求调研与分析中投入更多的人力物力，有利于准确反映用户对数据的需要和要求，有利于后期的数据建设和数据共享。数据需求一方面要与单位用户贴近，另一方面又存在一定专业性，因此，需要建立数据需求审核机构，该机构由项目立项部门牵头，由技术专家和单位熟悉业务的人员组成，技术专家对相关信息系统比较熟悉，对已的相关数据标准比较了解，专业知识丰富，能够很好理解研制方提交的数据需求，单位用户熟悉业务工作，专家和单位用户一起共同详细审核数据需求，判断需求的合理性，严把数据需求关。（2）加强数据质量审核加强数据质量审核有利于提高数据的准确性和完整性，但是数据质量审核本身具有一定的难度，完全依靠人工来审核不太现实，完全依靠工具来审核也不能完全解决问题，应当将人工审核和工具审核结合起来，取长补短，尽最大努力提高数据质量。数据质量问题如同海绵里的水，想一次就把所有的错漏数据都找出来是很难的，应当采用分任务、多批次的方法对数据进行审核。（3）加强数据安全审核由于目前大多数企业信息系统在一个比较封闭的硬件环境中运行，通过物理隔离和数据管理员的觉悟来确保数据的安全，除此之外所做的数据安全措施较少，有些数据库的管理员密码甚至都是默认的，有些数据库的用户名和密码相同，这是很不安全的。要在做好物理隔离的同时，充分发挥和利用数据库的安全机制，防止非法访问、非法复制、非法篡改数据，提高数据的安全性。在数据安全审核过程中，应该采取多次回归审核，直至审核通过为止。2、加强数据共享平台建设（1）加强元数据建设元数据是关于数据的数据。元数据是对数据的描述，描述内容包括数据存放位置、数据库管理系统、数据结构、数据范围、发行方、发行时间等等。元数据是数据共享交换的基础，有利于数据共享需求者能够访问数据、充分理解数据。加强元数据建设包括两个方面，一是要加强元数据标准建设，即规定元数据应当描述哪些内容、应该如何表达等，二是要加强元数据内容建设，即在提交共享数据时，要一同提交该数据的元数据。（2）加强数据集成平台建设数据集成是将驻留在不同数据源中的数据进行整合，向用户提供统一的数据视图，使得用户能以透明的方式访问数据。为了实现数据共享，强行将现有系统的数据统一到一种DBMS上、统一到一种数据结构上是不现实的，数据集成就是在考虑各数据源自治性和异构性的前提下，充分利用元数据提供的信息进行数据整合，用户可以在数据集成系统中访问所有异构数据源的数据。数据集成技术主要有基于模式的数据集成和基于复制的数据集成两种。基于复制的数据集成技术因为其技术成熟、实现难度小、容易部署等优点，商用化的产品较多，宜作为首选。（3）加强数据同步平台建设数据同步就是将源数据库中的数据复制到一个或多个目标数据库中，使目标数据库的数据与源数据库的数据保持一致。数据同步平台可分两种情况来建设。一是同级数据中心之间的双向数据同步平台建设，在此平台之上，各同级数据中心之间的数据是相同的，这样，全网的用户可以就近访问离自己最近的数据中心，而不必集中于某个数据中心，可以缓解单个数据中心的带宽压力。二是上下级数据中心之间的单向数据同步平台建设，在此平台上，由上对下方向，上级数据中心可以随时将事关全局的基础数据到下级各个数据中心；由下对上方向，下级数据中心可以将本级业务数据的更新情况及时提交到上级数据中心。（4）加强数据服务平台建设面向服务架构是目前信息系统开发中比较热门的话题，WebServices是面向服务架构的一种典型实现形式，它采用标准化方式实现不同服务系统之间相互访问。服务方将自己的服务在公开网络上，阐明它能提供什么样的服务、服务的地址和该服务需要的参数，服务使用者了解这些信息后，就可以轻松得到该服务。在数据领域采用面向服务架构技术的好处是，在对外提供数据访问的同时，可以屏蔽数据库细节，提高数据库的安全性，与数据集成和数据同步相比，数据服务是一种应用层的数据共享。3、加强人才培养加强数据建设管理，人才是关键，要分岗位多方面培养人才。（1）加强数据管理人才培养数据管理人才对数据建设与管理承担领导职责，一是要具备良好的沟通协调能力，二是能够正确认识数据建设、管理和运用的客观规律，三是要熟悉数据建设与管理的规章制度和具备制定相关规章制度的能力。（2）加强数据处理人才培养数据处理人才担负数据采集、处理和职责，一是要掌握各种数据处理的基本方法，二是掌握各类数据库管理系统的基本操作，三是掌握各类数据处理工具的操作使用，四是要掌握数据服务开发技术。（3）加强数据分析人才培养数据分析人才担负数据深层次分析的职责，能够分析数据背后隐含的客观规律，为决策服务。一是要掌握数据分析的基本方法和算法，二是要掌握常用数据分析工具的操作使用，三是要具备数据分析系统开发能力。