面向数据库团队的流式 SQL 和流式 ETL
当团队需要持续处理事件时,通常会评估流式 SQL 和流式 ETL。如果主要需求是流处理,应直接评估流处理引擎;如果难点是将数据库变更传入该架构,也需要关注数据库工作流。
当数据库团队需要准备数据源、复制变更、监控任务并在数据到达下游流处理或分析系统之前进行校验时,可以考虑使用 NineData。
本页将两个决策区分开来:哪个流处理系统负责处理事件,以及数据库变更如何进入该系统。NineData 关注工作流中的数据库部分,包括源端连接、复制任务可见性和数据传输后的校验。
常见需求
- 捕获数据库变更,供下游处理。
- 让源端和目标端的数据传输过程可观测。
- 在不丢失运维上下文的情况下从任务错误中恢复。
- 在下游使用方依赖数据之前校验数据链路。
预期结果
团队可以在下游流处理任务依赖数据库输入之前,将数据库变更传输作为受治理的工作流进行管理。这有助于降低流处理从未经校验或监控不足的数据库输入开始的可能性。