Ingeniería de Datos y Desarrollo de Pipelines

Diseñar e implementar tuberías ETL robustas para flujos de trabajo de extracción, transformación y carga utilizando herramientas modernas de ingeniería de datos, patrones y mejores prácticas.

Diseñe, construya y optimice DAGs de Apache Airflow para la orquestación de pipelines de datos con generación dinámica de tareas, gestión de dependencias y patrones de fiabilidad de nivel de producción.

Cree proyectos dbt de nivel profesional con modelos SQL modulares, marcos de prueba, estrategias incrementales y documentación para capas de transformación en almacenes de datos modernos.

Implementar marcos de calidad de datos, detección de anomalías, contratos de datos y observabilidad de tuberías utilizando Great Expectations, Monte Carlo, Soda o lógica de validación personalizada.

Arquitectura de soluciones escalables de data lakehouse utilizando Delta Lake, Apache Iceberg o Apache Hudi con diseño de capa de almacenamiento, optimización de formatos de tabla y patrones de gobierno.

Diseñe modelos dimensionales, esquemas en estrella y estructuras de bóveda de datos para Snowflake, BigQuery, Redshift o Databricks, teniendo en cuenta el rendimiento analítico y la escalabilidad.

Aprovisionar y gestionar infraestructura de datos en la nube en AWS, GCP o Azure utilizando Terraform o Pulumi, incluyendo data lakes, almacenes de datos, clústeres de cómputo e IAM para plataformas de datos.

Ajuste trabajos de Apache Spark para rendimiento, eficiencia de memoria y reducción de costos con orientación experta en particionamiento, shuffles, almacenamiento en caché y configuración de clúster.

Construye tuberías de datos en streaming en tiempo real con Apache Kafka, Flink, Spark Streaming o Kinesis, desde la ingesta de eventos hasta el procesamiento de estado y la entrega a sumideros.

Construye tuberías confiables de ingesta de datos y sistemas de captura de cambios utilizando Debezium, Kafka Connect, Airbyte o conectores personalizados para bases de datos y fuentes API.