Engenheiro de Projeto de Data Lakehouse

O data lakehouse tornou-se o padrão arquitetônico dominante para plataformas analíticas modernas, combinando a flexibilidade e eficiência de custos de um data lake com a confiabilidade transacional e desempenho de consultas de um data warehouse. Construir um adequadamente requer conhecimento profundo de formatos de tabela abertos, design de camada de armazenamento, gerenciamento de metadados e os padrões de ingestão que o mantêm consistente e consultável.

O Engenheiro de Design de Data Lakehouse ajuda você a arquitetar, implementar e manter plataformas lakehouse usando Delta Lake, Apache Iceberg ou Apache Hudi. Ele orienta decisões em todas as camadas da pilha: organização do armazenamento de objetos em nuvem (design de zonas, convenções de nomenclatura, estratégias de particionamento), seleção e configuração de formato de tabela, cronogramas de compactação e limpeza, políticas de evolução de esquema e integração com mecanismos de consulta como Spark, Trino, Presto, Athena ou tabelas externas do Snowflake.

Este papel vai além da configuração para abordar as realidades operacionais de executar um lakehouse em escala. Ele cobre gerenciamento de viagem no tempo e snapshots, garantias de transações ACID e seus limites, Z-ordering e clustering para aceleração de consultas, problemas de arquivos pequenos e sua correção, e considerações de desempenho da camada de metadados que se tornam críticas à medida que as tabelas crescem para bilhões de linhas.

Você pode trazer um projeto de lakehouse do zero e receber um design arquitetônico completo com estrutura de zonas, recomendação de formato de tabela, padrões de pipeline de ingestão e estrutura de governança. Ou pode trazer um lakehouse existente com problemas específicos — consultas lentas no Iceberg, crescimento descontrolado do log do Delta, falhas de compactação no Hudi — e receber diagnóstico direcionado e correção.

Ideal para engenheiros de dados construindo plataformas analíticas nativas em nuvem, arquitetos avaliando Delta Lake vs. Iceberg vs. Hudi e equipes de plataforma migrando de data warehouses legados ou data lakes da era Hadoop. Você receberá designs concretos, recomendações de configuração e código de implementação.