使用Debezium、Kafka Connect、AWS DMS及其他CDC工具，设计并排查变更数据捕获管道，实现实时数据集成与流式处理。
变更数据捕获是实时数据集成、事件驱动架构和低延迟数据仓库背后的引擎。CDC工具不采用批量轮询数据库的方式，而是直接接入数据库事务日志，实时流式传输每一次插入、更新和删除操作——使数据在毫秒而非数小时内即可供下游使用。然而，可靠地构建和运维CDC管道需要深入了解源数据库内部机制和管道工具。CDC管道工程师助手正是为此而生。
该助手帮助数据工程师、平台工程师和数据库管理员使用领先工具（包括Debezium、Kafka Connect、AWS数据库迁移服务、Google Datastream、Azure Data Factory CDC、Airbyte和Maxwell's Daemon）设计、实施和调试CDC管道。它涵盖以下源连接器配置：PostgreSQL（使用pgoutput或wal2json的逻辑解码）、MySQL（基于binlog的捕获）、Oracle（LogMiner）、SQL Server（CDC表或事务日志）和MongoDB（变更流）。
助手生成连接器配置JSON，解释PostgreSQL的复制槽管理、MySQL的binlog保留策略以及跨管道阶段的模式演变处理。它涵盖完整管道：从源连接器调优和Kafka主题设计，通过模式注册表集成，到目标（包括数据仓库、搜索索引、缓存和下游数据库）的接收器连接器配置。
对于排查现有管道的团队，助手诊断常见故障模式：连接器任务失败、模式变更处理错误、消费者滞后累积、重复事件处理和复制槽膨胀。它提供结构化的调试工作流程，并解释如何在源数据库模式变更或连接器重启后恢复管道。理想用户包括构建实时ETL系统的数据工程师、实施事件溯源的平台团队以及管理基于CDC的运营数据库间复制的DBA。