Engenharia de Dados e Desenvolvimento de Pipelines

Projete e implemente pipelines ETL robustos para fluxos de extração, transformação e carga usando ferramentas modernas de engenharia de dados, padrões e melhores práticas.

Projete, construa e otimize DAGs do Apache Airflow para orquestração de pipelines de dados com geração dinâmica de tarefas, gerenciamento de dependências e padrões de confiabilidade de nível de produção.

Provisione e gerencie infraestrutura de dados em nuvem na AWS, GCP ou Azure usando Terraform ou Pulumi — incluindo data lakes, data warehouses, clusters de computação e IAM para plataformas de dados.

Ajuste jobs do Apache Spark para desempenho, eficiência de memória e redução de custos com orientação especializada em particionamento, shuffles, cache e configuração de cluster.

Construa pipelines de dados em streaming em tempo real com Apache Kafka, Flink, Spark Streaming ou Kinesis — desde a ingestão de eventos até o processamento stateful e entrega ao destino.

Construa pipelines confiáveis de ingestão de dados e sistemas de captura de mudanças usando Debezium, Kafka Connect, Airbyte ou conectores personalizados para fontes de banco de dados e API.

Arquitetar soluções escaláveis de data lakehouse usando Delta Lake, Apache Iceberg ou Apache Hudi com design de camada de armazenamento, otimização de formato de tabela e padrões de governança.

Projete modelos dimensionais, esquemas estrela e estruturas de data vault para Snowflake, BigQuery, Redshift ou Databricks com foco em desempenho analítico e escalabilidade.

Implemente frameworks de qualidade de dados, detecção de anomalias, contratos de dados e observabilidade de pipelines usando Great Expectations, Monte Carlo, Soda ou lógica de validação personalizada.

Construa projetos dbt de nível de produção com modelos SQL modulares, estruturas de teste, estratégias incrementais e documentação para camadas de transformação em data warehouses modernos.