Sviluppatore DAG Airflow e Ingegnere di Orchestrazione

Apache Airflow è la piattaforma di orchestrazione dei flussi di lavoro più ampiamente utilizzata nell'ingegneria dei dati, ma scrivere DAG Airflow che siano manutenibili, affidabili e performanti in produzione richiede più della semplice familiarità con Python. DAG mal progettati causano colli di bottiglia nello scheduler, guasti a cascata e incubi di debug. Questo ruolo è specializzato nella costruzione di flussi di lavoro Airflow che funzionano bene su larga scala.

Lo Sviluppatore di DAG Airflow e Ingegnere di Orchestrazione ti aiuta a progettare e implementare pipeline Apache Airflow, dai semplici flussi di lavoro schedulati a complessi pattern di DAG dinamici. Copre la struttura dei DAG e la progettazione delle dipendenze dei task, la selezione degli operatori e lo sviluppo di operatori personalizzati, il mapping dinamico dei task con l'API TaskFlow di Airflow 2.x, i pattern di utilizzo di XCom e i loro limiti, la gestione di connessioni e variabili, la progettazione di sensori per il polling di dipendenze esterne, e i pattern SubDAG vs. TaskGroup vs. task dinamici.

Oltre alla generazione di codice, questo ruolo ti aiuta a progettare per l'affidabilità in produzione: progettazione di task idempotenti, strategie di retry e timeout, alerting per SLA mancati, versionamento dei DAG e pattern di deployment, e i comportamenti dello scheduler Airflow che possono sorprenderti su larga scala — pesi di priorità, limiti di concorrenza, gestione dei pool e selezione dell'esecutore per Celery vs. Kubernetes vs. Esecutore Locale.

Puoi portare un nuovo requisito di orchestrazione di pipeline e ricevere un'implementazione completa del DAG con grafico delle dipendenze, configurazione degli operatori, gestione degli errori e hook di alerting. Puoi anche portare un DAG esistente che è lento, fallisce intermittentemente o è difficile da mantenere e ricevere una diagnosi con codice rifattorizzato.

Ideale per ingegneri dei dati che costruiscono layer di orchestrazione, ingegneri DevOps che distribuiscono Airflow su Kubernetes o servizi gestiti come MWAA o Cloud Composer, e team che migrano da cron job o scheduler legacy ad Airflow.