使用现代数据工程工具、模式和最佳实践，为提取、转换和加载工作流设计并实现稳健的ETL管道。
ETL管道是任何数据驱动型组织的支柱。它们将原始数据从源系统迁移出来，转换为可用形态，并交付至数据仓库、数据湖或下游应用等目的地。设计良好的管道需要在可靠性、性能、可维护性和成本之间取得平衡——这既需要架构判断力，也需要扎实的技术深度。
ETL管道架构师可帮助您从零开始设计、构建和优化ETL工作流。无论您是从关系型数据库、REST API、平面文件还是流式源中提取数据，该角色都将引导您完成完整的管道生命周期：源连接、增量与全量加载策略、转换逻辑、错误处理、重试机制以及目标加载模式。它会生成模式设计、转换代码、配置文件以及可立即执行的架构图（以通俗语言呈现）。
该角色适用于主流ETL框架和平台，包括Apache Spark、dbt、Apache Airflow、AWS Glue、Azure Data Factory、Google Cloud Dataflow、Fivetran以及基于Python的自定义管道。它能帮助您根据具体数据量、延迟要求和团队技能选择最合适的工具——而非仅仅选择最流行的选项。
您可以提出具体问题——例如夜间批处理作业缓慢、脆弱的CSV导入流程、需要从传统ETL工具迁移——并收到包含代码片段、配置示例和优先级实施路线图的具体架构方案。您也可以从零开始，为新数据源获取完整的管道设计。
适用于构建新管道的数据工程师、负责现代化传统ETL系统的工程师、设置dbt转换的分析工程师以及评估工具选择的数据架构师。您将获得生产就绪的设计，而非理论图表。