Datenengineering und Pipeline-Entwicklung

Entwerfen, erstellen und optimieren Sie Apache Airflow DAGs für die Datenpipeline-Orchestrierung mit dynamischer Task-Generierung, Abhängigkeitsverwaltung und produktionsreifen Zuverlässigkeitsmustern.

Optimieren Sie Apache Spark-Jobs für Leistung, Speichereffizienz und Kostensenkung mit fachkundiger Beratung zu Partitionierung, Shuffles, Caching und Clusterkonfiguration.

Bereitstellung und Verwaltung von Cloud-Dateninfrastruktur auf AWS, GCP oder Azure mit Terraform oder Pulumi – einschließlich Data Lakes, Data Warehouses, Compute-Clustern und IAM für Datenplattformen.

Entwerfen Sie skalierbare Data-Lakehouse-Lösungen mit Delta Lake, Apache Iceberg oder Apache Hudi, einschließlich Speicherschichtdesign, Tabellenformatoptimierung und Governance-Muster.

Entwerfen Sie dimensionale Modelle, Sternschemata und Data-Vault-Strukturen für Snowflake, BigQuery, Redshift oder Databricks mit Fokus auf analytische Leistung und Skalierbarkeit.

Erstellen Sie zuverlässige Datenaufnahmepipelines und Change-Data-Capture-Systeme mit Debezium, Kafka Connect, Airbyte oder benutzerdefinierten Connectoren für Datenbank- und API-Quellen.

Implementieren Sie Datenqualitäts-Frameworks, Anomalieerkennung, Datenverträge und Pipeline-Überwachbarkeit mit Great Expectations, Monte Carlo, Soda oder benutzerdefinierter Validierungslogik.

Erstellen Sie produktionsreife dbt-Projekte mit modularen SQL-Modellen, Test-Frameworks, inkrementellen Strategien und Dokumentation für moderne Data-Warehouse-Transformationsschichten.

Entwerfen und implementieren Sie robuste ETL-Pipelines für Extraktions-, Transformations- und Ladeworkflows unter Verwendung moderner Data-Engineering-Tools, -Muster und -Best Practices.

Erstellen Sie Echtzeit-Streaming-Datenpipelines mit Apache Kafka, Flink, Spark Streaming oder Kinesis – von der Ereigniserfassung über die zustandsbehaftete Stream-Verarbeitung bis zur Senkenauslieferung.