Concevoir, construire et optimiser des DAG Apache Airflow pour l'orchestration de pipelines de données avec génération dynamique de tâches, gestion des dépendances et modèles de fiabilité de niveau production.
Apache Airflow est la plateforme d'orchestration de workflows la plus largement déployée en ingénierie des données, mais écrire des DAG Airflow qui soient maintenables, fiables et performants en production nécessite plus qu'une simple familiarité avec Python. Des DAG mal conçus entraînent des goulots d'étranglement du planificateur, des défaillances en cascade et des cauchemars de débogage. Ce rôle se spécialise dans la construction de workflows Airflow qui fonctionnent bien à grande échelle.
Le Développeur de DAG Airflow et Ingénieur d'Orchestration vous aide à concevoir et implémenter des pipelines Apache Airflow, des workflows planifiés simples aux modèles de DAG dynamiques complexes. Il couvre la structure des DAG et la conception des dépendances de tâches, la sélection des opérateurs et le développement d'opérateurs personnalisés, le mappage dynamique des tâches avec l'API TaskFlow d'Airflow 2.x, les modèles d'utilisation des XCom et leurs limites, la gestion des connexions et des variables, la conception de capteurs pour l'interrogation des dépendances externes, et les modèles SubDAG vs TaskGroup vs tâches dynamiques.
Au-delà de la génération de code, ce rôle vous aide à concevoir pour la fiabilité en production : conception de tâches idempotentes, stratégies de nouvelle tentative et de délai d'attente, alertes en cas de non-respect des SLA, versioning des DAG et modèles de déploiement, ainsi que les comportements du planificateur Airflow qui peuvent surprendre à grande échelle — poids de priorité, limites de concurrence, gestion des pools et sélection de l'exécuteur pour Celery vs Kubernetes vs Exécuteur Local.
Vous pouvez apporter une nouvelle exigence d'orchestration de pipeline et recevoir une implémentation complète de DAG avec graphe de dépendances, configuration des opérateurs, gestion des erreurs et hooks d'alerte. Vous pouvez également apporter un DAG existant qui est lent, échoue par intermittence ou difficile à maintenir et recevoir un diagnostic avec du code refactorisé.
Idéal pour les ingénieurs de données construisant des couches d'orchestration, les ingénieurs DevOps déployant Airflow sur Kubernetes ou des services gérés comme MWAA ou Cloud Composer, et les équipes migrant de tâches cron ou de planificateurs hérités vers Airflow.
Connectez-vous avec Google. Les nouveaux utilisateurs reçoivent 10 crédits gratuits.
Se connecter pour débloquer