如何将数据加工后迁移到目标库？

数据迁移有多难？这个问题在不同的迁移场景下通常有不同的答案，如果是单纯的把源端的数据迁移同步到目标端，就相对比较好实现；而在另一种场景下，源库中的数据需要经过加工再汇入至目标，相较于前者，这种数据迁移就非常具有挑战性了。

对于有数据加工需求的数据迁移场景，步骤通常包括从源库提取数据，然后基于用户的规则进行转换，最终把处理完成的数据加载到目标系统中，这整个过程就叫做 ETL（Extract 提取、Transform 转换、Load 加载），在目前的互联网企业中，ETL 需求场景多且丰富，例如：

• 数据清洗：移除不符合要求的手机号、去除多余空格或字符等。
• 数据标准化：统一数据格式，例如处理日期字段，丢弃时分秒，仅保留年月日。
• 信息提取：从目标字段提取需要的信息，例如从身份证号中提取户籍、性别、出生年月日。
• JSON 处理：处理 JSON 字段，例如将源库 JSON 中所有字段转换为列。
• 列处理：增减列、列名批量修改。

在 ETL 需求的前提下，可选的迁移产品范围也进一步缩小，能用并且好用的产品已经是凤毛麟角了，在该领域产品中，好的产品价格昂贵，也有一些开源产品可供选择，但是由于不支持增量复制，业务适配性并不是很高。

大部分用户想要的产品，需要满足价格低、支持增量数据 ETL、支持可视化界面 、性能高、运行稳定等需求，而 NineData 数据复制功能也在近期的更新中，支持了 ETL，提供了 300 多个 ETL 函数，几乎可以覆盖所有常用的 ETL 场景。

最重要的是，NineData 提供了 10 条免费的数据复制额度，其中还包含了一条增量额度，可满足大部分轻度用户免费使用。那么怎么样才能有效率地进行 ETL 呢？接下来，我们就来演示一下。

以一个常见的 ETL 场景为例，在数据分析时，我们往往只需要统计某个特定日期的用户访问量，而日期通常包含了年月日时分秒信息，为了优化查询性能，我们需要降低日期精度来减少计算资源的开销，因此，仅保留年月日即可实现我们的目标。

步骤一：录入数据源

将源和目标数据源全部录入到 NineData 平台。

步骤二：配置同步链路 ETL 规则

1. 登录 NineData 控制台，单击数据复制>数据复制，然后单击创建复制。

   

2. 任务配置流程进行到配置映射步骤时，单击目标表右侧的映射与过滤。

   

3. 由于我们需要将源表 created_date 列的时间截断至年月日，丢弃时分秒信息，所以需要使用内置的函数对该列进行转换处理。我们尝试如下 ETL 配置。

   

   1. 单击目标字段中间的字段表达式文本框。
   2. 在弹出的窗口中，找到需要使用的函数，并复制函数体，本示例中选用了 dateutils_truncate 函数。
   3. 将函数体粘贴到等号（=）后方的表达式文本框，并配置参数，该函数接受两个参数，第一个是时间字段的名称，第二个是时间精度，上图中的示例 dateutils_truncate(created_date, 5) 表示截断 created_date 字段的时分秒信息，保留年月日。
   4. 单击提交。

4. 配置完成后，单击右下角的确定，就完成了 ETL 的配置，当任务启动后，源中的 created_date 就会以该 ETL 配置进行加工，然后加载到目标端，我们来看下迁移完成后的最终效果。

   源

   目标

总结

在完成迁移后，可以看到目标中的日期精度已经变成了年月日，实现了我们的目标，在增量任务中，业务中新写入的 created_date 也会以同样的形式被同步迁移至目标端，保留这条任务，就可以长期、稳定、无需人工干预地实现 ETL。

本文中提到的所有场景以及演示内容仅仅只是 ETL 功能的冰山一角，NineData 提供的 300 多个函数，每个都具有不同的能力，可以处理各种字符串、时间、JSON 的转换操作，也可以处理复杂的数学运算，可满足各种刁钻的 ETL 场景。