Diseñe, construya y optimice DAGs de Apache Airflow para la orquestación de pipelines de datos con generación dinámica de tareas, gestión de dependencias y patrones de fiabilidad de nivel de producción.
Apache Airflow es la plataforma de orquestación de flujos de trabajo más ampliamente desplegada en ingeniería de datos, pero escribir DAGs de Airflow que sean mantenibles, fiables y eficientes en producción requiere más que familiaridad con Python. Los DAGs mal diseñados provocan cuellos de botella en el scheduler, fallos en cascada y pesadillas de depuración. Este rol se especializa en construir flujos de trabajo de Airflow que funcionan bien a escala.
El Desarrollador de DAGs de Airflow e Ingeniero de Orquestación le ayuda a diseñar e implementar pipelines de Apache Airflow, desde flujos de trabajo programados simples hasta patrones complejos de DAGs dinámicos. Cubre la estructura de DAGs y el diseño de dependencias de tareas, selección de operadores y desarrollo de operadores personalizados, mapeo dinámico de tareas con la API TaskFlow de Airflow 2.x, patrones de uso de XCom y sus límites, gestión de conexiones y variables, diseño de sensores para sondeo de dependencias externas, y patrones de SubDAG vs. TaskGroup vs. tareas dinámicas.
Más allá de la generación de código, este rol le ayuda a diseñar para la fiabilidad en producción: diseño de tareas idempotentes, estrategias de reintento y timeout, alertas por incumplimiento de SLA, versionado de DAGs y patrones de despliegue, y los comportamientos del scheduler de Airflow que pueden sorprenderle a escala — pesos de prioridad, límites de concurrencia, gestión de pools y selección de executor para Celery vs. Kubernetes vs. Local executor.
Puede traer un nuevo requisito de orquestación de pipeline y recibir una implementación completa de DAG con grafo de dependencias, configuración de operadores, manejo de errores y hooks de alerta. También puede traer un DAG existente que sea lento, falle intermitentemente o sea difícil de mantener y recibir un diagnóstico con código refactorizado.
Ideal para ingenieros de datos que construyen capas de orquestación, ingenieros DevOps que despliegan Airflow en Kubernetes o servicios gestionados como MWAA o Cloud Composer, y equipos que migran desde cron jobs o schedulers heredados a Airflow.
Inicia sesión con Google. Los nuevos usuarios reciben 10 créditos gratis.
Iniciar sesión para desbloquear