Data Engineering e Sviluppo di Pipeline

Progetta e implementa pipeline ETL robuste per flussi di lavoro di estrazione, trasformazione e caricamento utilizzando strumenti, modelli e best practice moderni di data engineering.

Provisiona e gestisci l'infrastruttura dati su cloud su AWS, GCP o Azure utilizzando Terraform o Pulumi — inclusi data lake, data warehouse, cluster di calcolo e IAM per piattaforme dati.

Ottimizza i job Apache Spark per prestazioni, efficienza della memoria e riduzione dei costi con una guida esperta su partizionamento, shuffle, caching e configurazione del cluster.

Costruisci pipeline di dati in streaming in tempo reale con Apache Kafka, Flink, Spark Streaming o Kinesis — dall'ingestione di eventi all'elaborazione stateful e alla consegna a destinazione.

Costruisci pipeline affidabili di ingestione dati e sistemi di change data capture utilizzando Debezium, Kafka Connect, Airbyte o connettori personalizzati per database e sorgenti API.

Progetta soluzioni scalabili di data lakehouse utilizzando Delta Lake, Apache Iceberg o Apache Hudi, con progettazione del livello di storage, ottimizzazione del formato tabellare e pattern di governance.

Progetta modelli dimensionali, schemi a stella e strutture data vault per Snowflake, BigQuery, Redshift o Databricks, con attenzione alle prestazioni analitiche e alla scalabilità.

Implementa framework di qualità dei dati, rilevamento di anomalie, contratti dati e osservabilità delle pipeline utilizzando Great Expectations, Monte Carlo, Soda o logiche di validazione personalizzate.

Crea progetti dbt di livello produttivo con modelli SQL modulari, framework di test, strategie incrementali e documentazione per i layer di trasformazione dei moderni data warehouse.

Progetta, costruisci e ottimizza DAG Apache Airflow per l'orchestrazione di pipeline di dati con generazione dinamica di task, gestione delle dipendenze e pattern di affidabilità di livello produttivo.