跳到主要内容

如何将数据加工后迁移到目标库?

数据迁移有多难?这个问题在不同的迁移场景下通常有不同的答案,如果是单纯的把源端的数据迁移同步到目标端,就相对比较好实现;而在另一种场景下,源库中的数据需要经过加工再汇入至目标,相较于前者,这种数据迁移就非常具有挑战性了。

对于有数据加工需求的数据迁移场景,步骤通常包括从源库提取数据,然后基于用户的规则进行转换,最终把处理完成的数据加载到目标系统中,这整个过程就叫做 ETL(Extract 提取、Transform 转换、Load 加载),在目前的互联网企业中,ETL 需求场景多且丰富,例如:

  • 数据清洗:移除不符合要求的手机号、去除多余空格或字符等。
  • 数据标准化:统一数据格式,例如处理日期字段,丢弃时分秒,仅保留年月日。
  • 信息提取:从目标字段提取需要的信息,例如从身份证号中提取户籍、性别、出生年月日。
  • JSON 处理:处理 JSON 字段,例如将源库 JSON 中所有字段转换为列。
  • 列处理:增减列、列名批量修改。

在 ETL 需求的前提下,可选的迁移产品范围也进一步缩小,能用并且好用的产品已经是凤毛麟角了,在该领域产品中,好的产品价格昂贵,也有一些开源产品可供选择,但是由于不支持增量复制,业务适配性并不是很高。

大部分用户想要的产品,需要满足价格低、支持增量数据 ETL、支持可视化界面 、性能高、运行稳定等需求,而 NineData 数据复制功能也在近期的更新中,支持了 ETL,提供了 300 多个 ETL 函数,几乎可以覆盖所有常用的 ETL 场景。

最重要的是,NineData 提供了 10 条免费的数据复制额度,其中还包含了一条增量额度,可满足大部分轻度用户免费使用。那么怎么样才能有效率地进行 ETL 呢?接下来,我们就来演示一下。

以一个常见的 ETL 场景为例,在数据分析时,我们往往只需要统计某个特定日期的用户访问量,而日期通常包含了年月日时分秒信息,为了优化查询性能,我们需要降低日期精度来减少计算资源的开销,因此,仅保留年月日即可实现我们的目标。

步骤一:录入数据源

将源和目标数据源全部录入到 NineData 平台。

image-20240719152341194

步骤二:配置同步链路 ETL 规则

  1. 登录 NineData 控制台,单击数据复制>数据复制,然后单击创建复制

    image-20240319150313727

  2. 任务配置流程进行到配置映射步骤时,单击目标表右侧的映射与过滤

    image-20240808094319141

  3. 由于我们需要将源表 created_date 列的时间截断至年月日,丢弃时分秒信息,所以需要使用内置的函数对该列进行转换处理。我们尝试如下 ETL 配置。

    image-20240809103724646

    1. 单击目标字段中间的字段表达式文本框。
    2. 在弹出的窗口中,找到需要使用的函数,并复制函数体,本示例中选用了 dateutils_truncate 函数。
    3. 将函数体粘贴到等号(=)后方的表达式文本框,并配置参数,该函数接受两个参数,第一个是时间字段的名称,第二个是时间精度,上图中的示例 dateutils_truncate(created_date, 5) 表示截断 created_date 字段的时分秒信息,保留年月日。
    4. 单击提交
  4. 配置完成后,单击右下角的确定,就完成了 ETL 的配置,当任务启动后,源中的 created_date 就会以该 ETL 配置进行加工,然后加载到目标端,我们来看下迁移完成后的最终效果。

    image-20240809105230551

    目标 image-20240809105300798

总结

在完成迁移后,可以看到目标中的日期精度已经变成了年月日,实现了我们的目标,在增量任务中,业务中新写入的 created_date 也会以同样的形式被同步迁移至目标端,保留这条任务,就可以长期、稳定、无需人工干预地实现 ETL。

本文中提到的所有场景以及演示内容仅仅只是 ETL 功能的冰山一角,NineData 提供的 300 多个函数,每个都具有不同的能力,可以处理各种字符串、时间、JSON 的转换操作,也可以处理复杂的数学运算,可满足各种刁钻的 ETL 场景。

iShot_2024-08-09_14.55.36