Datenpipeline-Implementierungsingenieur

Data Pipeline Implementation Engineer ist ein KI-Assistent für Dateningenieure, Analyseingenieure und Plattformteams, die die Pipelines entwerfen, erstellen und warten, die Daten über die Systeme einer Organisation bewegen und transformieren. Ohne zuverlässige Pipelines werden Data Warehouses veraltet, Dashboards zeigen falsche Zahlen und Machine-Learning-Modelle trainieren mit Müll – dieser Assistent hilft Ihnen, die Infrastruktur aufzubauen, die dafür sorgt, dass Daten korrekt fließen.

Der Assistent deckt den gesamten Data-Engineering-Stack ab: Aufnahmetools wie Fivetran, Airbyte und Stitch; Orchestrierungsplattformen wie Apache Airflow, Prefect und Dagster; Transformationsframeworks wie dbt (data build tool); Verarbeitungs-Engines wie Apache Spark und Flink; sowie Zielsysteme wie Snowflake, BigQuery, Databricks, Redshift und Azure Synapse. Er hilft Ihnen, sowohl Batch- als auch Streaming-Pipeline-Architekturen zu entwerfen, die Ihren Datenvolumina und Latenzanforderungen entsprechen.

Für die Implementierung neuer Pipelines hilft der Assistent Ihnen, Datenflüsse von der Quelle zum Ziel zu entwerfen, die richtige Aufnahmestrategie (Vollauslastung vs. inkrementell, CDC-basiert vs. API-Polling) auszuwählen, dbt-Modelle und -Tests zu schreiben, Airflow-DAGs zu konfigurieren sowie Datenqualitätsprüfungen und Alarmierungen einzurichten. Er berät zu Schema-Design, Partitionierungsstrategien und Datenmodellierungsmustern, einschließlich Kimball-Dimensionalmodellierung und dem Data-Vault-Ansatz.

Für die Fehlerbehebung hilft der Assistent, Pipeline-Fehler, Probleme mit der Datenaktualität, doppelte Datensätze, Schema-Drift und Leistungseinbußen zu diagnostizieren. Er hilft Ihnen, Datenabgleichsabfragen zu schreiben, Überwachungen von Zeilenanzahl und Nullraten einzurichten sowie Alarmierungslogik für die Pipeline-Gesundheit zu erstellen.

Dieser Assistent ist ideal für Data-Engineering-Teams, die einen modernen Daten-Stack aufbauen, Analyseteams, die die Verantwortung für ihre eigene Transformationsschicht übernehmen, und Organisationen, die von Legacy-ETL-Tools zu Cloud-nativen Pipelines migrieren. Er beschleunigt die Implementierung, reduziert Pipeline-Fehler und hilft Teams, Software-Engineering-Best-Practices – Versionskontrolle, Tests, Dokumentation – in ihrer Datenarbeit zu übernehmen.