Oracle超大型数据库数据迁移方法论

2019-08-28 版权声明 举报文章

Oracle超大型数据库数据迁移方法论

摘要:在实践中,一般将容量超过1T的数据库,称之为超大型数据库。在运营过程中,经常会遇到不同的需求,需要对这类数据库的数据进行迁移,该文根据日常运营实践,总结了对Oracle超大型数据库数据采用逻辑迁移的解决方案。

关键词:数据库;逻辑;迁移;数据泵

中图分类号:TP391 文献标识码:A 文章编号:1009-3044(2016)30-0007-02

通信企业为了支撑业务发展和企业日常管理的需要,建设了规模庞大的IT系统。为了保障IT系统的长期稳定高效的运转,在日常运营过程中,常常会遇到服务器硬件升级扩容、系统软件升级等需求。为了完成这些需求,通常会对数据进行迁移,需要迁移的数据规模从几百G到超过10T。在长期的运营实践中,作者总结了一套完善、成熟的数据迁移方法论,通过该方法论,成功完成了大量系统的数据迁移,累计实现数据迁移规模超过100T,有效的支瘟讼低澄榷ǜ咝У脑俗。

1 不同迁移方法的对比

数据迁移通常可以采用物理和逻辑两种不同的方法,两种方法的对比见表1。

随着x86硬件平台的性能提高和成熟、Linux系统的稳定、以及基于x86平台虚拟化技术的发展,将会越来越多地出现将数据从小型机平台迁移到x86平台的需求,在这种情况下,逻辑迁移是最常用的一种迁移方法。本文重点讨论逻辑迁移的方法。

2 数据迁移准备工作

迁移前期需要完成的准备工作主要包括以下内容:目标主机数据库软件的安装、创建数据库、创建表空间以及下面的检查工作(注意目标数据库在迁移完成之前需要置为非归档模式)。

3 详细迁移步骤

为了减少逻辑迁移过程中的系统停机时间,需要对数据先进行分类,部分历史或者静态数据在正式迁移前先行导入到目标数据库中,尽量缩小正式迁移过程中的数据量。

10g以前的版本由于无数据泵技术,所以分两种情况讨论。

3.1 Oracle 9i(包括9i)之前版本数据迁移

Oracle 9i(包括9i)之前版本数据迁移采用Export/Import+DB Link方式,主要步骤为先利用Export/Import导出、导入用户元数据,再采用DB Link方式插入数据。不直接采用Import导入数据,主要原因是Import是串行执行,且如果中途报错,导入过程要整体回退,不容易掌控导入的进度;而采用数据库链接插入数据的方式则可以避免这些问题。

1) 在目标库上设置参数job_queue_processes为0,暂停目标数据库job的执行。

2) 比照源数据库,在目标数据库上创建用户、角色和profile,并将相关权限授予角色和用户。

3) 在源库上批量生成需要迁移的用户元数据导出脚本。

4) 在源库上批量生成目标库导入用户元数据的脚本。导入后,注意需要更新JOB$表来更正JOB导入的问题。

5) 检查对象总数、无效对象。首先在目标库上执行无效对象编译的脚本:@?/rdbms/admin/utlrp.sql然后对比目标库和源库的迁移用户的对象总数、无效对象数,是否有遗漏和不一致,在进行针对性的补充。

6) 通过数据库链接插入数据。关闭应用,在源库上设置job_processes=0停止所有JOB运行,在源库上创建一个端口号为1526的监听,停掉原来的端口号为1521的监听,避免有应用连接;插入数据前,再次确认表上是否有触发器,如果有,做好记录后将其删除。

7) 利用第三方工具,产生序列创建脚本,并传输到目标库上直接执行。

8) 利用第三方工具,产生索引创建脚本,并对脚本进行修改,增加nologging、parallel选项,加快索引创建速度,并传输到目标库上直接执行,执行完毕后,再取消并行,恢复logging模式。

9) 利用第三方工具,产生约束创建脚本,并传输到目标库上直接执行,注意主键和外键分开执行,先创建主键约束,再创建外键约束,两者不能同时执行。

10) 利用第三方工具,产生触发器创建脚本,并传输到目标库上直接执行。

11) 收集相关统计信息。

3.2 Oracle 10g之后版本数据迁移

在Oracle 10g以后的版本,由于数据泵技术的出现,可以直接在数据泵中使用并行,可以简化迁移的步骤。

1) 设置参数job_queue_processes为0,暂停新旧数据库job的执行。

2) 使用IMPDP直接按照用户迁移数据。

使用数据泵,采用DB Link的方式,开启并行迁移数据,如果一个用户数据量特别大,尤其是有特别大的表,可以将该表排除,或者将一个用户的表分割成多个IMPDP脚本执行:

impdp system/**** network_link=dl_old_db schemas=testuser directory=dir1 parallel=4 logfile=testuser.log

3) 按用户迁移数据完毕后检查用户的对象权限、角色权限是否有缺失,并进行补充。

4) 检查表和索引是否开启了并行,如果有进行关闭。

5) 编译失效对象。

6) 检查是否有失效的组件。

7) 恢复job参数。

8) 收集统计信息。

3.3 数据迁移的后续操作

应用启动后,标志着整个迁移工作已经完成绝大部分。但是仍然有以下几个重要步骤需要完成。

1) 调整JOB定时任务。

根据业务需要,某些定时任务只能在特定时间启动,可能需要调整定时任务的启动时间。

2) 复制脚本以及创建cron任务。

将源库上的以cron方式调用的定时任务以及相应的脚本复制到目标库主机上。

3) 对数据库进行备份。

将目标库设置为归档模式,在目标库安装备份软件,对数据库进行备份。

4) 如果数据库使用了GoldenGate等第三方复制软件,需要在目标库上重新配置。

4 迁移测试及回退

由于迁移操作步骤较多,操作较复杂,必须进行测试和演练,确保方案可行,保证能够在既定的停机时间内完成迁移。

由于迁移过程不影响源生产库。因此,可以按本方案,将所有的操作进行一次演练。 除了应用切换之外,其他步骤均可进行测试和演练。

如果在正式迁移时,发生不能修复的并且严重影响迁移的问题,需要切换回原生产库,根据不同的情况进行相应的操作:

l 如果应用没有启动,因为没有对原生产库做任何改动,那么不需要做任何其他的步骤,直接启动应用,保持现状即可。

l 如果应用已经启动,则需要将应用切换回原生产库。并将在目标库上发生的新的业务数据改动应用到原生产库中。为了避免数据改动过大,建议应用启动和测试时分步进行,首先进行查询型的业务操作测试,避免事务型的业务操作。

5 迁移方法总结

对超大型数据库的数据迁移采用逻辑方式,不论是采用Export/Import、数据库链接还是采用数据泵,都需要重点考虑以下几个问题:

l 要迁移的数据量有多少?

l 是否能够按照历史/静态数据、动态数据对数据进行分类?是否能对部分垃圾或者历史数据进行清理?

l 迁移过程中使用的网络带宽是100M还是1000M?这个因素直接影响迁移的速度。

l 迁移的数据表上索引、约束、触发器的数量?

l 业务最长停机时间是多少?

对迁移方案和过程的选择,要充分考虑以上因素,尽量缩短数据迁移的时间,对创建索引和约束要留够充足的时间,并对准备好的迁移方案在测试环境进行充分的测试和验证,如果涉及版本的升级,还需要对应用进行兼容性的测试,在确保稳妥可靠以后,再进行正式的数据迁移。

注:本文为网友上传,不代表本站观点,与本站立场无关。举报文章

0

好文章需要你的鼓励

上一篇:微网多目标优化运行及控制策略 下一篇:数据仓库在开发电子元器件进销存管理系统中的...

你需要文秘服务吗?

提供一对一文秘服务,获得独家原创范文

了解详情
期刊发表服务,轻松见刊

提供论文发表指导服务,1~3月即可见刊

了解详情

被举报文档标题:Oracle超大型数据库数据迁移方法论

被举报文档地址:

https://wenmi.com/article/pwxppt04705p.html
我确定以上信息无误

举报类型:

非法(文档涉及政治、宗教、色情或其他违反国家法律法规的内容)

侵权

其他

验证码:

点击换图

举报理由:
   (必填)

发表评论  快捷匿名评论,或 登录 后评论
评论