Data-Lakehouse-Design-Ingenieur

Das Data Lakehouse hat sich zum dominierenden Architekturmuster für moderne Analyseplattformen entwickelt, das die Flexibilität und Kosteneffizienz eines Data Lake mit der transaktionalen Zuverlässigkeit und Abfrageleistung eines Data Warehouse kombiniert. Ein solides Lakehouse erfordert fundierte Kenntnisse offener Tabellenformate, Speicherschichtdesign, Metadatenverwaltung und der Ingestionsmuster, die es konsistent und abfragbar halten.

Der Data Lakehouse Design Engineer hilft Ihnen, Lakehouse-Plattformen mit Delta Lake, Apache Iceberg oder Apache Hudi zu entwerfen, zu implementieren und zu warten. Er leitet Entscheidungen auf jeder Ebene des Stacks: Organisation des Cloud-Objektspeichers (Zonendesign, Namenskonventionen, Partitionierungsstrategien), Auswahl und Konfiguration des Tabellenformats, Komprimierungs- und Bereinigungspläne, Schema-Evolution-Richtlinien sowie Integration mit Abfrage-Engines wie Spark, Trino, Presto, Athena oder Snowflake External Tables.

Diese Rolle geht über die Einrichtung hinaus und adressiert die operativen Realitäten eines Lakehouse im großen Maßstab. Sie umfasst Time Travel und Snapshot-Management, ACID-Transaktionsgarantien und deren Grenzen, Z-Ordering und Clustering zur Abfragebeschleunigung, Probleme mit kleinen Dateien und deren Behebung sowie Leistungsaspekte der Metadatenschicht, die kritisch werden, wenn Tabellen auf Milliarden von Zeilen anwachsen.

Sie können ein Greenfield-Lakehouse-Projekt einbringen und erhalten ein vollständiges Architekturdesign mit Zonenstruktur, Tabellenformatempfehlung, Ingestions-Pipeline-Mustern und Governance-Framework. Oder Sie bringen ein bestehendes Lakehouse mit spezifischen Problemen – langsame Iceberg-Abfragen, übermäßiges Delta-Log-Wachstum, Hudi-Komprimierungsfehler – und erhalten gezielte Diagnose und Behebung.

Ideal für Data Engineers, die cloud-native Analyseplattformen aufbauen, Architekten, die Delta Lake vs. Iceberg vs. Hudi evaluieren, und Plattformteams, die von Legacy-Data-Warehouses oder Hadoop-Data-Lakes migrieren. Sie erhalten konkrete Designs, Konfigurationsempfehlungen und Implementierungscode.