OceanBase Oracle 迁移同步到 StarRocks
NineData 数据复制支持 OceanBase Oracle 到 StarRocks 数据源之间的数据同步。支持结构、全量和增量同步。
前提条件
- 已将源数据源和目标数据源添加至 NineData。如何添加，请参见添加数据源。
- 源的数据库类型为 OceanBase Oracle。
- 目标的数据源类型为 StarRocks。
使用限制
- 执行数据同步前需评估源数据源和目标数据源的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源数据源和目标数据源一定的读写资源，导致数据库负载上升。
- 需要确保同步对象中的每张表都有主键或唯一约束、列名具有唯一性，否则可能会重复同步相同数据。
操作步骤
商业化通知
NineData 数据复制产品已商业化，您仍然可以保有 10 条复制任务免费使用，注意事项如下：
- 10 条复制任务中可以包含 1 条任务，规格为 Micro。
- 状态为的任务不算在 10 条任务的限制内，如果您已经创建了 10 条复制任务，还想要继续创建，可以先终止之前的复制任务，然后再创建新任务。
- 创建复制任务时，仅可选择您已购买的，未购买的规格将以灰度显示，无法选择。如需购买，请通过页面右下角的客服图标联系我们。
登录 NineData 控制台。
在左侧导航栏单击。
在页面，单击右上角的。
在页签，按照下表进行配置，并单击。
参数 说明 输入数据同步任务的名称，为了方便后续查找和管理，请尽量使用有意义的名称。最多支持 64 个字符。 同步对象所在的数据源。 接收同步对象的数据源。 选择对象名称从源端迁移到目标端后的大小写转换规则。 - ：无论源端的命名规则如何，目标端的命名规则全部为小写。
- ：沿用源端的命名规则。
- ：无论源端的命名规则如何，目标端的命名规则全部为大写。
选择需要复制到目标数据源的内容。 - ：只同步源数据源的库表结构，不同步数据。
- ：同步源数据源的所有对象和数据，即全量数据复制。右侧的开关为周期性全量复制的开关，更多信息，请参见周期性全量复制。
- ：在全量同步完成后，基于源数据源的日志进行增量同步。
图标为增量操作类型配置，可以根据需求取消勾选某一些操作类型，取消勾选后，这些操作会在增量同步中被忽略。
（选中时需要选择） - ：预检查阶段检测到同名表时，停止任务。
- ：预检查阶段检测到同名表时，发送提示并继续任务。 结构复制时，忽略该同名表。如果您同时进行了数据复制，则数据会在同名表中追加，而不会覆盖原有数据。
- ：预检查阶段检测到同名表时，发送提示并继续任务。结构复制时，删除目标库同名表，并基于源库重新复制表结构。如果您同时进行了数据复制，则数据会在表结构复制完成后写入。
- （同时进行结构和数据复制时可选）：预检查阶段检测到同名表时，发送提示并继续任务。结构复制时在目标库保留该表结构，并在数据复制开始时清空同名表中的数据，然后重新从原表中复制。
（未选中时需要选择） - ：预检查阶段检测到目标表中存在数据时，停止任务。
- ：预检查阶段检测到目标表中存在数据时，忽略该部分数据，追加写入其他数据。
- ：预检查阶段检测到目标表中存在数据时，删除该部分数据，重新写入。
在页签，配置下列参数，然后单击。
参数 说明 选择需要复制的内容，您可以选择复制源库所有内容，也可以选择，在列表中选中需要复制的内容，单击>添加到右侧列表。 如果您需要创建多条相同复制对象的复制链路，可以创建一个配置文件，在新建任务的时候导入即可。单击右上角的，再单击下载模板，将配置文件模版下载到本地，编辑完成后单击上传该配置文件即可实现批量导入。配置文件说明：
参数 说明 source_table_name需同步的对象所在的源表名。 destination_table_name接收同步对象的目标表名。 source_schema_name需同步的对象所在的源 Schema 名。 destination_schema_name接收同步对象的目标 Schema 名。 source_database_name需同步的对象所在的源库名。 target_database_name接收同步对象的目标库名。 column_list需要同步的字段列表。 extra_configuration额外的配置信息，您可以在这里配置如下信息： - 字段映射：
column_name、destination_column_name - 字段取值：
column_value - 数据过滤：
filter_condition
tipextra_configuration的示例内容如下：{
"column_name": "created_time", //指定需要执行列名映射的原列名
"destination_column_name": "migrated_time", //目标列名映射为 "migrated_time"
"column_value": "current_timestamp()", //将列的字段取值更改为当前时间戳
"filter_condition": "id != 0" //ID 不为 0 的行才会同步。
}配置文件的整体示例内容请参见下载的模版。
- 字段映射：
在页签，根据所选的复制类型选择不同操作，然后单击。如果在配置映射阶段，源和目标数据源中有更新，可以单击页面右上角的按钮，重新获取源和目标数据源的信息。
包含：配置目标表同步到目标数据源之后的表名。
不包含：系统默认选择目标数据源中的同名数据库，如果不存在，则需要手动选择目标库。目标库中的表名、列名需要和同步对象一致。如果不一致，您也可以手动进行表名和列名的映射。
您可以单击页面右侧的，自定义列名同步到目标数据源之后的名称。除此之外，您还可以设置，通过比较表达式配置过滤条件，仅符合过滤条件的数据会同步到目标数据源。例如，将过滤条件设置为
emp_no>=10005，则 emp_no 列中小于 10005 的数据均不会同步到目标数据源。在页签，等待系统完成预检查，预检查通过后，单击。
tip- 您可以勾选。在同步任务完成后，自动开启基于源数据源的数据一致性对比，保证两端数据一致。根据您选择的，的启动时机如下：
- ：结构复制完成后启动。
- +、：全量复制完成后启动。
- ++、：当增量数据首次和源数据源一致且为 0 秒时启动。您可以单击，在页面中查看同步延迟。
- 如果预检查未通过，需要单击目标检查项右侧列的，排查失败的原因，手动修复后单击重新执行预检查，直到通过。
- 为的检查项，可视具体情况修复或忽略。
- 您可以勾选。在同步任务完成后，自动开启基于源数据源的数据一致性对比，保证两端数据一致。根据您选择的，的启动时机如下：
在页面，提示，同步任务开始运行。此时您可以进行如下操作：
- 单击查看同步任务各个阶段的执行情况。
- 单击可以返回任务列表页面。
查看同步结果
登录 NineData 控制台。
在左侧导航栏单击 > 。
在页面单击目标同步任务的，页面说明如下。
序号 功能 说明 1 同步延迟 源数据源和目标数据源之间的数据同步延迟，0 秒表示两端之间没有延迟，此时您可以选择将业务切换到目标数据源，实现平滑迁移。 2 配置告警 配置告警后，系统会在任务失败时通过您选择的方式通知您。更多信息，请参见运维监控简介。 3 更多 - ：暂停任务，仅状态为运行中的任务可选。
- ：创建一个和当前任务配置相同的新复制任务。
- ：结束未完成或监听中（即增量同步中）的任务，终止任务后无法重启任务，请谨慎操作。如果同步对象中包含触发器，会弹出触发器复制选项，请按需选择。
- ：删除任务，任务删除后无法恢复，请谨慎操作。
4 结构复制（包含结构复制的场景下显示） 展示结构复制的进度和详细信息。 - 单击页面右侧的：查看结构复制的执行日志。
- 单击页面右侧的
：查看最新的信息。 - 单击列表中目标对象右侧列的：可以查看 SQL 回放。
5 全量复制（包含全量复制的场景下显示） 展示全量复制的进度和详细信息。 - 单击页面右侧的：查看全量复制过程中的各监控指标。全量复制过程中，还可以单击监控指标页面右侧的，限制每秒写入到目标数据源的速率。单位为行/秒。
- 单击页面右侧的：查看全量复制的执行日志。
- 单击页面右侧的：查看最新的信息。
6 增量复制（包含增量复制的场景下显示） 展示增量复制的各项监控指标。 - 单击页面右侧的：查看当前复制任务正在执行中的操作，包含：
- ：复制任务分多个线程执行复制操作，展示当前进行中的线程号。
- ：当前线程正在执行中的 SQL 语句详情。
- ：当前线程的响应时间，如果该数值变大，则代表当前线程可能由于某些原因卡住。
- ：当前线程开启的时间戳。
- ：当前线程的状态。
- 单击页面右侧的：限制每秒写入到目标数据源的速率。单位为行/秒。
- 单击页面右侧的：查看增量复制的执行日志。
- 单击页面右侧的：查看最新的信息。
7 修改对象 展示同步对象的修改记录。 - 单击页面右侧的，可对同步对象进行配置。
- 单击页面右侧的：查看最新的信息。
8 数据对比 展示源数据源和目标数据源之间对比的结果。如果您未开启数据对比，请单击页面中的。 - 单击页面右侧的：对当前源和目标两端数据重新发起对比。
- 单击页面右侧的：对比任务开始后，可单击该按钮立即停止对比任务。
- 单击页面右侧的：查看一致性对比的执行日志。
- 单击页面右侧的（仅数据对比显示）：查看对比 RPS（每秒对比的记录数）的走势图。单击可以查看更早之前的记录。
- 在对比列表右侧列单击
（页签下只在不一致情况下显示）：查看源端和目标端的对比详情。 - 在对比列表右侧列单击
（不一致情况下显示)：生成变更 SQL，您可以直接复制该 SQL 到目标数据源执行，修改不一致的内容。
9 展开 展示当前复制任务的详细信息。常用选项： - ：导出当前任务的库表配置，可在新建复制任务时快速导入，以快速创建多条相同复制对象的复制链路。
- ：配置当前任务的告警策略。
附录：预检查项一览表
| 检查项 | 检查内容 |
|---|---|
| 源数据源连接检查 | 检查源数据源网关状态、实例是否可达、用户名及密码准确性 |
| 目标数据源连接检查 | 检查目标数据源网关状态、实例是否可达、用户名及密码准确性 |
| 源库权限检查 | 检查源数据库的账号权限是否满足要求 |
附录 2：数据类型映射表
| 类别 | OceanBase Oracle 数据类型 | StarRocks 数据类型 |
|---|---|---|
| Build-in data type | CHAR [(size [BYTE | CHAR])] | VARCHAR[(3*size)] |
| NCHAR[(size)] | VARCHAR[(3*size)] | |
| VARCHAR2(size [BYTE | CHAR]) | VARCHAR[(3*size)] | |
| NVARCHAR2(size) | VARCHAR[(3*size)] | |
| CLOB | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| NUMBER [ (p [, s]) ] |
| |
| FLOAT [(p)] | FLOAT | |
| DATE | DATETIME | |
| BINARY_FLOAT | FLOAT | |
| BINARY_DOUBLE | DOUBLE | |
| TIMESTAMP [(fractional_seconds_precision)] | DATETIME | |
| TIMESTAMP [(fractional_seconds_precision)] WITH TIME ZONE | DATETIME | |
| TIMESTAMP [(fractional_seconds_precision)] WITH LOCAL TIME ZONE | DATETIME | |
| INTERVAL YEAR [(year_precision)] TO MONTH | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| INTERVAL DAY [(day_precision)] TO SECOND [(fractional_seconds_precision)] | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| RAW(size) | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| BLOB | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| REF | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| VARRAY | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| NESTED TABLE | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
| |
| Oralce supplied Data Type | AnyData | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
|
| Spatial Data Type | SDO_GEOMETRY | VARCHAR[(maxSize)] maxSize 为 VARCHAR 类型最大长度，根据版本不同，最大长度如下：
|