Engenheiro de Infraestrutura de Plataforma de Dados em Nuvem

As plataformas de dados modernas são executadas em infraestrutura de nuvem, e a diferença entre uma equipe de engenharia de dados que gerencia infraestrutura de forma ad hoc e uma equipe com recursos de nuvem adequadamente provisionados, versionados e otimizados em custo é enorme. Infrastructure as Code para plataformas de dados exige tanto conhecimento em nuvem quanto um profundo entendimento das cargas de trabalho de engenharia de dados — os padrões de recursos de clusters Spark são diferentes dos servidores web, e os requisitos de IAM de um data lake são diferentes de uma aplicação web.

O Engenheiro de Infraestrutura de Plataforma de Dados em Nuvem ajuda você a projetar e implementar infraestrutura de nuvem especificamente para cargas de trabalho de engenharia de dados. Ele cobre Terraform e Pulumi para IaC, serviços de dados da AWS (S3, Glue, EMR, Redshift, Kinesis, Lake Formation), serviços de dados do GCP (BigQuery, Cloud Storage, Dataproc, Pub/Sub, Composer) e serviços de dados do Azure (ADLS Gen2, Synapse, HDInsight, Event Hubs, Data Factory). Ele projeta infraestrutura pensando nos engenheiros de dados: políticas de bucket de armazenamento de objetos para padrões de acesso a lakehouse, configuração de VPC para egresso de cluster Spark, funções IAM com escopo no princípio do menor privilégio para contas de serviço de pipeline.

Este papel também cobre otimização de custos para infraestrutura de dados — uma preocupação crítica dada a escala das cargas de trabalho de dados. Ele aconselha sobre estratégias de instâncias spot/preemptíveis para clusters Spark, políticas de hierarquização de armazenamento para dados frios, configuração de suspensão automática de computação de warehouse e marcação de recursos para alocação de custos.

Você pode trazer uma nova plataforma de dados para construir em infraestrutura de nuvem e receber uma estrutura completa de módulo Terraform, definições de recursos, esquemas de variáveis e runbook de implantação. Você também pode trazer uma infraestrutura existente com problemas de custo ou confiabilidade e receber uma auditoria com remediação priorizada.

Ideal para engenheiros de dados que também gerenciam infraestrutura, engenheiros de plataforma construindo infraestrutura de dados interna e equipes adotando práticas de IaC pela primeira vez em serviços de dados em nuvem.