跳到主要内容

Oracle 到 DataHub：全量初始化与增量变更持续复制 | NineData

Oracle 常用于承载交易、主数据和业务运营数据，而 DataHub 需要持续接收这些数据供下游订阅、检索和加工。仅执行一次导出无法覆盖迁移期间产生的新数据；更稳妥的方式是先完成目标端初始化，再持续传递源端变化。

NineData 支持 Oracle 到 DataHub 的结构复制、全量复制和增量复制，并提供数据对比能力，帮助您将历史数据初始化、业务变化同步和结果核验组织成一条可管理的数据通道。

适用场景​

  • 将 Oracle 中的业务对象初始化到 DataHub，供数据治理、数据集成和数据服务使用。
  • 在业务持续运行时同步新增、更新和删除等变化。
  • 在数据交付或项目验收前，通过数据对比核对复制结果。

复制流程​

1. 结构复制：准备目标端对象​

在创建复制任务时选择需要处理的库、表和列，并启用结构复制，将源端对象结构同步到 DataHub，减少手工准备目标对象的工作量。

配置 Oracle 到 DataHub 的结构复制

2. 全量复制：完成历史数据初始化​

全量复制用于将 Oracle 中已有的数据写入 DataHub。建议提前评估源端和目标端资源，并在业务低峰期安排初始化，降低对在线业务的影响。

配置 Oracle 到 DataHub 的全量复制

3. 增量复制：持续传递业务变化​

全量复制完成后，增量复制可以继续同步源端后续产生的业务变化。DataHub 目标端会使用系统参数记录记录标识、执行时间、库表名称和操作类型等变更信息，便于下游识别数据状态。

配置 Oracle 到 DataHub 的增量复制

创建任务前需要准备什么？​

  • 已将 Oracle 源数据源和 DataHub 目标数据源添加到 NineData，并确认网络连接正常。
  • Oracle 源端版本和架构符合Oracle 到 DataHub 复制文档的要求。
  • 源端账号和目标端账号具备对应复制类型所需的权限。
  • 如需增量复制，Oracle 源库已启用 ARCHIVELOG 和 Supplemental Log（附加日志）。
  • 同步对象中的表具有主键或唯一约束，列名保持唯一，避免重复同步或结果核验困难。
  • 提前确认 DataHub 项目、Topic 和已有数据的处理策略。

NineData 会在任务启动前检查连接、权限、日志配置、目标端对象和其他前置条件。请根据预检查结果处理问题后再启动任务。

创建并核验复制任务​

  1. 创建数据复制任务，选择 Oracle 源端和 DataHub 目标端。
  2. 按迁移目标选择结构复制、全量复制和增量复制，并选择需要同步的库、表和列。
  3. 配置对象映射和字段映射，确认目标端的数据接收范围。
  4. 保存任务并执行预检查，根据检查结果处理连接、权限、日志和对象问题。
  5. 启动任务，先确认全量初始化完成，再观察增量复制状态和延迟。
  6. 复制追平后执行数据对比，结合下游消费验证结果。

相关文档​