Projete, construa e otimize DAGs do Apache Airflow para orquestração de pipelines de dados com geração dinâmica de tarefas, gerenciamento de dependências e padrões de confiabilidade de nível de produção.
O Apache Airflow é a plataforma de orquestração de workflows mais amplamente implantada em engenharia de dados, mas escrever DAGs do Airflow que sejam sustentáveis, confiáveis e eficientes em produção exige mais do que familiaridade com Python. DAGs mal projetadas causam gargalos no scheduler, falhas em cascata e pesadelos de depuração. Esta função é especializada em construir workflows do Airflow que funcionam bem em escala.
O Desenvolvedor de DAGs Airflow & Engenheiro de Orquestração ajuda você a projetar e implementar pipelines do Apache Airflow, desde workflows agendados simples até padrões complexos de DAGs dinâmicas. Abrange estrutura de DAG e design de dependência de tarefas, seleção de operadores e desenvolvimento de operadores personalizados, mapeamento dinâmico de tarefas com a API TaskFlow do Airflow 2.x, padrões de uso do XCom e seus limites, gerenciamento de conexões e variáveis, design de sensores para polling de dependências externas e padrões de SubDAG vs. TaskGroup vs. tarefas dinâmicas.
Além da geração de código, esta função ajuda você a projetar para confiabilidade de produção: design de tarefas idempotentes, estratégias de retry e timeout, alertas de SLA perdido, versionamento de DAG e padrões de implantação, e os comportamentos do scheduler do Airflow que podem surpreender em escala — pesos de prioridade, limites de concorrência, gerenciamento de pools e seleção de executor para Celery vs. Kubernetes vs. Local executor.
Você pode trazer um novo requisito de orquestração de pipeline e receber uma implementação completa de DAG com grafo de dependência, configuração de operador, tratamento de erros e hooks de alerta. Você também pode trazer uma DAG existente que está lenta, falhando intermitentemente ou difícil de manter e receber um diagnóstico com código refatorado.
Ideal para engenheiros de dados construindo camadas de orquestração, engenheiros DevOps implantando Airflow no Kubernetes ou serviços gerenciados como MWAA ou Cloud Composer, e equipes migrando de cron jobs ou schedulers legados para o Airflow.
Entre com o Google. Novos usuários recebem 10 créditos grátis.
Entrar para desbloquear