迁移数据审核软件的设计与实现

[摘 要] 迁移数据审核软件是为采油厂提供的对录井源头数据迁移至开发中间数据库后进行数据质量审核的软件系统。本文结合作者的实践，以迁移数据审核软件开发为例，讨论数据审核软件的设计思路及功能实现，包括系统安全管理、数据源动态连接、应用环境动态管理及审核功能的实现方法。

[关键词] 数据迁移 数据审核 数据源

引言

根据各采油厂对录井业务数据的使用需求，由地质录井公司开发并安装了数据迁移系统软件，将录井业务数据从地质录井公司的录井数据总库迁移至各采油厂的数据库中。这些业务数据虽然已经迁移到各采油厂中，但是数据的准确性、完整性等数据质量问题无法得到保证，因此，需要开发一套能够对这些数据进行审核并将审核通过的数据导入正式库的应用程序。只有审核通过的数据才能够在相应的查询应用系统中正式使用。而这一重要的审核功能软件亟待开发。

开发井源头数据迁移在部分采油厂已进行，录井源头数据迁移至开发井中间数据库。对于录井提供的数据，采油厂业务人员需要进行审核后再进入开发数据库。要应用中间数据库信息必须找专业数据库管理人员协助导出。采油厂已多次提出希望录井提供该数据审核软件。

现在数据迁移虽在8个采油厂进行应用，缺少审核软件也是制约该程序推广应用的重要因素。

数据迁移审核系统，专为从地质录井公司的录井数据库总库向各相关采油厂等单位迁移录井数据而设计开发。该系统以Web方式进行开发，具有用户管理、数据源管理、录井业务数据审核、数据审核结果交流平台、报表统计等功能。

该软件系统的设计、开发，将帮助甲方实现迁移数据的真正入库，发挥迁移数据在甲方的作用；扩大数据迁移系统的进一步推广，以保证公司数据迁移、应用工作的顺利进行。

1.软件总体设计

1.1设计思路

采用集中管理、数据源点审核的思路来设计整个系统，将录井公司数据中心总库与各采油厂迁移数据库有机的结合起来，实现录井数据从迁移、审核、报表统计、信息交流等的一体化管理。

录井各表业务数据从地质录井公司的数据库，根据各采油厂不同的单位编码条件，通过迁移软件首先迁移到采油厂的数据迁移临时数据库中，经审核通过后，再导入采油厂的正式数据库中。

1.2软件目标

实现单位信息、系统用户信息、数据源信息的网上动态管理，增强软件灵活性。

实现Web版迁移数据的审核、入库管理，提高数据的准确性、及时性。

实现数据审核信息、管理信息的网上交流，提高数据审核人员的工作效率。

1.3开发环境选定

系统采用.NET平台，C#语言进行开发，系统功能模块采用B/S方式实现。并采用Sybase公司的企业级建模工具PowerDesigner来设计数据库。

1.4系统架构设计

采用.Net先进的体系架构，将业务实体、业务逻辑、控制逻辑以及用户界面分开设计，每一部分功能模块相对独立，任何一部分的更改都不会影响到其它部分，通过接口来实现相互之间的调用。

1.5软件功能设计

软件功能模块分为五大部分，系统管理、数据审核、报表统计、信息交流、系统帮助。系统管理实现与系统操作有关的数据源、数据字典、单位、用户、用户组、功能模块授权等功能；数据审核部分是此系统的核心功能模块，根据用户需求，将数据审核分为人工审核、逻辑审核以及数据补录三部分；具体的子功能模块设计如下图所示：

1.5.1系统管理

系统管理模块下分数据源管理、数据字典管理、用户管理、以及系统功能模块管理。

1.5.1.1数据源管理

本软件除了需要访问录井公司的Oracle数据中心总库以外，还需要同时连接要审核的临时数据库和正式库。因此，对于数据源的管理要求功能上做到灵活，能够随时切换到不同的数据库进行审核操作。

这一点是本系统软件开发的难点所在，也是系统的一个核心功能。此功能做好了，就能够灵活的在系统数据库、录井公司数据总库以及各采油厂的临时库和正式库之间灵活地进行切换。

1.5.1.2用户管理

系统的操作用户可分为管理、审核、浏览几类。

对用户权限的分配、控制，是本功能模块的重点，用户操作权限控制好了，就能够实现不同用户只能在权限范围内进行相关的操作，同时，也能够保证自己只能操作自己的资源，而不会给别的用户带来麻烦。对用户的权限控制，可通过将用户划归为不同的用户组来实现。

用户组将按照不同级别用户的操作权限组进行设置，同一个用户组可拥有多个用户，一个用户也可隶属于多个用户组。用户组将直接与系统的功能模块操作权限进行关联。

1.5.2数据审核

1.5.2.1逻辑审核

系统自动提取要审核表的所有字段，由用户根据需要选择任意字段项，选择比较符，并输入比较值后，系统将符合条件的单元格数值用醒目的背景色进行标注，以方便用户进行数据的录入、修改。

1.5.2.2单记录审核

用户可在指定的临时库数据源范围内选择任意表，在设置一些必要的筛选条件后，系统会将符合条件的记录提取到单元格中，供用户逐条进行审核。审核时用户可任意修改单元格中的数据。待审核通过后，可有选择的将这些审核通过的数据导入到正式库中。导入时，可选择是否覆盖导入，若选择覆盖导入，遇到主键相同的记录时，系统将会首先把已有数据删除，然后执行插入操作。若选择不覆盖导入，那么遇到主键相同的记录时，系统将不会进行任何操作。

1.5.3审核结果交流

建立地质录井公司以及各二级单位迁移审核信息员相互交流的平台，以便于地质录井公司及时录井业务表数据的更新情况。同时，各采油厂信息审核人员也可以对人工审核以及逻辑审核的经验进行交流，也可对系统运行状况、存在问题、改进建议等信息进行反馈。

1.5.4工作量统计

在系统中设计用户审核信息记录字段项，用户每审核一个数据，系统都将会自动记录用户的审核信息，包括审核人员、审核时间、是否已审等信息。通过这些信息，在指定的月度、季度或者年度时间，可统计出用户审核的井数、数据表个数、记录数、及时率等信息。

2.技术特色和创新点

2.1技术特色

系统主要具有以下几大技术特点：

（1）充分考虑系统用户群体的广泛性以及提高系统的可维护性和适应性，系统采用B/S开发方式。

（2）采用.Net开发环境、源代码管理、相关的编程规范等手段提高系统的高效性、可维护性。

（3）多层次的用户权限管理体系，提高系统的安全性。

（4）充分考虑了用户的使用习惯，界面友好、简单易用。

2.2创新点

（1）采用模块化设计，以利于系统的扩展和维护。

（2）可连接外部数据库，可以建立与其它应用系统的接口，能够直接连接WEB站点、打开其他应用程序等。

（3）完整的安全及权限设计，用户分为系统管理员和普通用户两级，通过系统功能模块、用户组对其授予不同的权限，提高系统操作的安全性。

3.结束语

迁移数据审核软件的使用，为采油厂提供了迁移数据审核界面，实现了录井业务数据准确、及时地迁移至采油厂数据库的目的，将进一步推动数据迁移系统的推广应用，促进录井数据直接对外服务业务，提高公司在系统范围的影响力。随着服务范围的扩大，也将为公司带来一定的经济收益。

迁移数据审核软件以网站的形式存在，既保证了迁移数据的正确性，也是录井业务与开发业务信息应用的交流平台，必将促进录井业务信息的多方向、深层次应用，为录井生产带来新的活力。