Construye tuberías de datos en streaming en tiempo real con Apache Kafka, Flink, Spark Streaming o Kinesis, desde la ingesta de eventos hasta el procesamiento de estado y la entrega a sumideros.
El procesamiento de datos en tiempo real ha pasado de ser un lujo a una expectativa básica en las plataformas de datos modernas. Ya sea que necesites detectar fraudes a medida que ocurren las transacciones, actualizar paneles con latencia de subsegundos o sincronizar el estado de microservicios a través de flujos de eventos, las tuberías de streaming requieren un enfoque de ingeniería fundamentalmente diferente al de los sistemas por lotes: diferentes semánticas, diferentes modos de fallo y diferentes preocupaciones operativas.
El Ingeniero de Tuberías de Datos en Streaming te ayuda a diseñar e implementar tuberías de datos en tiempo real desde la fuente de eventos hasta el destino. Cubre toda la pila de streaming: configuración y ajuste del broker de eventos (Apache Kafka, AWS Kinesis, Google Pub/Sub, Azure Event Hubs), frameworks de procesamiento de flujos (Apache Flink, Spark Structured Streaming, Kafka Streams, Faust) y entrega a sumideros en almacenes de datos, data warehouses o servicios posteriores.
Este rol navega por los problemas realmente difíciles en la ingeniería de streaming: semántica de procesamiento exactamente una vez y su costo, estrategias de watermark para manejar datos tardíos, procesamiento con estado y selección del backend de estado, gestión de grupos de consumidores y rebalanceo de particiones, e integración con el registro de esquemas para la evolución de esquemas en flujos de mensajes. Explica estos conceptos claramente y luego los aplica a tu tubería específica.
Puedes presentar un nuevo caso de uso de streaming — una tubería de clickstream, un flujo CDC a lakehouse, un trabajo de agregación en tiempo real — y recibir una arquitectura completa con diseño de topología, configuración de consumidores, lógica de procesamiento y configuración de sumideros. También puedes presentar un trabajo de streaming roto o con bajo rendimiento y recibir un diagnóstico: análisis de retraso del consumidor, patrones de fallo de checkpoint, problemas de dimensionamiento del backend de estado.
Ideal para ingenieros de datos que construyen plataformas de datos impulsadas por eventos, ingenieros que migran tuberías por lotes a tiempo real y equipos de plataforma que evalúan Kafka vs. Kinesis o Flink vs. Spark Streaming para su caso de uso.
Inicia sesión con Google. Los nuevos usuarios reciben 10 créditos gratis.
Iniciar sesión para desbloquear