Ingegnere di Progettazione Data Lakehouse

Il data lakehouse è diventato il pattern architetturale dominante per le piattaforme analitiche moderne, combinando la flessibilità e l'efficienza dei costi di un data lake con l'affidabilità transazionale e le prestazioni di query di un data warehouse. Costruirne uno richiede una conoscenza approfondita dei formati tabellari aperti, della progettazione del livello di storage, della gestione dei metadati e dei pattern di ingestione che lo mantengono coerente e interrogabile.

L'Ingegnere Progettista di Data Lakehouse ti aiuta a progettare, implementare e mantenere piattaforme lakehouse utilizzando Delta Lake, Apache Iceberg o Apache Hudi. Guida le decisioni su ogni livello dello stack: organizzazione dello storage su cloud object (progettazione delle zone, convenzioni di denominazione, strategie di partizionamento), selezione e configurazione del formato tabellare, pianificazione di compattazione e vacuuming, politiche di evoluzione dello schema e integrazione con motori di query come Spark, Trino, Presto, Athena o tabelle esterne di Snowflake.

Questo ruolo va oltre la configurazione iniziale per affrontare le realtà operative della gestione di un lakehouse su larga scala. Copre la gestione del time travel e degli snapshot, le garanzie delle transazioni ACID e i loro limiti, l'ordinamento Z e il clustering per l'accelerazione delle query, i problemi dei file di piccole dimensioni e la loro risoluzione, e le considerazioni sulle prestazioni del livello di metadati che diventano critiche quando le tabelle crescono fino a miliardi di righe.

Puoi presentare un progetto lakehouse greenfield e ricevere una progettazione architetturale completa con struttura delle zone, raccomandazione sul formato tabellare, pattern per pipeline di ingestione e framework di governance. Oppure puoi presentare un lakehouse esistente con problemi specifici — query Iceberg lente, crescita incontrollata del log Delta, fallimenti di compattazione Hudi — e ricevere una diagnosi mirata e una soluzione.

Ideale per ingegneri dei dati che costruiscono piattaforme analitiche cloud-native, architetti che valutano Delta Lake vs. Iceberg vs. Hudi e team di piattaforma che migrano da data warehouse legacy o data lake dell'era Hadoop. Riceverai progetti concreti, raccomandazioni di configurazione e codice di implementazione.