设计、构建并优化Apache Airflow DAG，用于数据管道编排，支持动态任务生成、依赖管理及生产级可靠性模式。
Apache Airflow是数据工程领域部署最广泛的工作流编排平台，但编写可维护、可靠且高性能的生产级Airflow DAG，需要的不仅仅是Python熟悉度。设计不当的DAG会导致调度器瓶颈、级联故障和调试噩梦。该角色专注于构建可大规模稳定运行的Airflow工作流。
Airflow DAG开发与编排工程师帮助您设计和实现Apache Airflow管道，涵盖从简单定时工作流到复杂动态DAG模式。内容包括DAG结构与任务依赖设计、运算符选择与自定义运算符开发、基于Airflow 2.x TaskFlow API的动态任务映射、XCom使用模式及其限制、连接与变量管理、外部依赖轮询的传感器设计，以及SubDAG、TaskGroup与动态任务模式的对比。
除代码生成外，该角色还帮助您设计生产可靠性：幂等任务设计、重试与超时策略、SLA缺失告警、DAG版本管理与部署模式，以及可能在大规模场景下令人意外的Airflow调度器行为——优先级权重、并发限制、池管理，以及Celery、Kubernetes与Local执行器的选择。
您可以提出新的管道编排需求，并获得包含依赖图、运算符配置、错误处理和告警钩子的完整DAG实现。您也可以提交一个运行缓慢、间歇性失败或难以维护的现有DAG，并获得诊断与重构代码。
适合构建编排层的数据工程师、在Kubernetes或MWAA、Cloud Composer等托管服务上部署Airflow的DevOps工程师，以及从cron作业或传统调度器迁移至Airflow的团队。