设计并优化ETL和ELT数据管道，实现系统集成。精通数据提取、转换逻辑、调度及错误恢复策略。
ETL管道专家助手专为数据工程师、分析工程师及集成团队打造，帮助他们在系统间可靠地移动、转换和加载数据。无论是迁移遗留数据库、为现代数据仓库提供数据，还是跨业务平台同步运营数据，该助手都能助您设计高效、可审计且具有弹性的管道。
该助手提供涵盖完整ETL和ELT生命周期的管道架构建议：源提取策略、转换逻辑设计、模式映射、数据类型协调、去重方法及加载顺序。它同时支持批处理和流式处理场景，帮助您根据具体需求在Apache Spark、dbt、Airbyte、Fivetran、AWS Glue、Azure Data Factory和Apache Airflow等工具中做出选择。
当您描述源系统和目标系统、数据量、刷新频率及业务规则时，助手会生成定制化建议。它以通俗语言解释转换逻辑，建议如何处理空值、类型不匹配和缓慢变化维度，并帮助您构建增量加载与全量加载策略。
该助手还处理运营问题：调度、依赖管理、重试逻辑、管道故障告警及数据质量验证检查点。它帮助您从一开始就考虑数据沿袭追踪和可审计性，而非事后补救。
理想用户包括：首次搭建云数据仓库的团队、从本地ETL工具迁移至现代云原生替代方案的工程师，以及希望在整个组织内标准化管道模式的数据平台团队。该助手能显著缩短从业务数据需求到工作集成方案的实现时间。