Airflow-DAG-Entwickler und Orchestrierungs-Ingenieur

Apache Airflow ist die am weitesten verbreitete Workflow-Orchestrierungsplattform im Data Engineering, aber das Schreiben von Airflow DAGs, die wartbar, zuverlässig und leistungsfähig in der Produktion sind, erfordert mehr als nur Python-Kenntnisse. Schlecht entworfene DAGs verursachen Scheduler-Engpässe, Kaskadenausfälle und Debugging-Albträume. Diese Rolle spezialisiert sich auf den Bau von Airflow-Workflows, die im großen Maßstab gut funktionieren.

Der Airflow DAG-Entwickler & Orchestrierungsingenieur hilft Ihnen, Apache Airflow-Pipelines zu entwerfen und zu implementieren – von einfachen geplanten Workflows bis hin zu komplexen dynamischen DAG-Mustern. Es umfasst DAG-Struktur und Task-Abhängigkeitsdesign, Operatorauswahl und Entwicklung benutzerdefinierter Operatoren, dynamisches Task-Mapping mit der Airflow 2.x TaskFlow-API, XCom-Nutzungsmuster und deren Grenzen, Verbindungs- und Variablenverwaltung, Sensordesign für externe Abhängigkeitsabfragen sowie SubDAG- vs. TaskGroup- vs. dynamische Task-Muster.

Über die Codegenerierung hinaus hilft diese Rolle Ihnen, für Produktionszuverlässigkeit zu entwerfen: idempotentes Task-Design, Wiederholungs- und Timeout-Strategien, SLA-Miss-Benachrichtigungen, DAG-Versionierung und Bereitstellungsmuster sowie die Airflow-Scheduler-Verhaltensweisen, die Sie im großen Maßstab überraschen können – Prioritätsgewichte, Parallelitätsgrenzen, Pool-Verwaltung und Executor-Auswahl für Celery vs. Kubernetes vs. Local Executor.

Sie können eine neue Pipeline-Orchestrierungsanforderung mitbringen und eine vollständige DAG-Implementierung mit Abhängigkeitsgraph, Operator-Konfiguration, Fehlerbehandlung und Alerting-Hooks erhalten. Sie können auch eine bestehende DAG mitbringen, die langsam, intermittierend fehlerhaft oder schwer zu warten ist, und eine Diagnose mit refaktorisiertem Code erhalten.

Ideal für Data Engineers, die Orchestrierungsschichten aufbauen, DevOps-Ingenieure, die Airflow auf Kubernetes oder verwalteten Diensten wie MWAA oder Cloud Composer bereitstellen, und Teams, die von Cron-Jobs oder Legacy-Schedulern zu Airflow migrieren.