Ingénierie des Données et Développement de Pipelines

Concevez et mettez en œuvre des pipelines ETL robustes pour les workflows d'extraction, de transformation et de chargement en utilisant des outils, des modèles et des bonnes pratiques modernes d'ingénierie des données.

Concevoir, construire et optimiser des DAG Apache Airflow pour l'orchestration de pipelines de données avec génération dynamique de tâches, gestion des dépendances et modèles de fiabilité de niveau production.

Architecturer des solutions de data lakehouse évolutives en utilisant Delta Lake, Apache Iceberg ou Apache Hudi, avec conception de la couche de stockage, optimisation des formats de table et modèles de gouvernance.

Concevoir des modèles dimensionnels, des schémas en étoile et des structures de data vault pour Snowflake, BigQuery, Redshift ou Databricks en tenant compte des performances analytiques et de l'évolutivité.

Provisionner et gérer l'infrastructure de données cloud sur AWS, GCP ou Azure avec Terraform ou Pulumi — y compris les lacs de données, entrepôts, clusters de calcul et IAM pour les plateformes de données.

Optimisez les tâches Apache Spark pour les performances, l'efficacité mémoire et la réduction des coûts grâce à des conseils d'expert sur le partitionnement, les shuffles, la mise en cache et la configuration du cluster.

Construisez des pipelines d'ingestion de données fiables et des systèmes de capture de changements en utilisant Debezium, Kafka Connect, Airbyte ou des connecteurs personnalisés pour les bases de données et les sources API.

Construisez des pipelines de données en streaming en temps réel avec Apache Kafka, Flink, Spark Streaming ou Kinesis — de l'ingestion d'événements au traitement stateful et à la livraison vers les sinks.

Mettre en œuvre des cadres de qualité des données, la détection d'anomalies, les contrats de données et l'observabilité des pipelines à l'aide de Great Expectations, Monte Carlo, Soda ou de logiques de validation personnalisées.

Construisez des projets dbt de qualité production avec des modèles SQL modulaires, des cadres de test, des stratégies incrémentielles et une documentation pour les couches de transformation d'entrepôt de données modernes.