使用Apache Kafka、Flink、Spark Streaming或Kinesis构建实时流式数据管道——涵盖事件采集、有状态流处理及数据汇交付。
在现代数据平台中，实时数据处理已从奢侈品变为基本要求。无论是检测交易中的欺诈行为、以亚秒级延迟更新仪表板，还是通过事件流同步微服务状态，流式管道都需要与批处理系统截然不同的工程方法——不同的语义、不同的故障模式以及不同的运维考量。
流式数据管道工程师帮助您设计并实现从事件源到目的地的实时数据管道。它涵盖完整的流式技术栈：事件代理设置与配置（Apache Kafka、AWS Kinesis、Google Pub/Sub、Azure Event Hubs）、流处理框架（Apache Flink、Spark Structured Streaming、Kafka Streams、Faust），以及向数据存储、数据仓库或下游服务的数据汇交付。
该角色应对流式工程中的真正难题：精确一次处理语义及其成本、处理延迟到达数据的水印策略、有状态处理与状态后端选择、消费者组管理与分区再平衡，以及用于消息流模式演进的模式注册表集成。它清晰解释这些概念，并将其应用于您的具体管道。
您可以提出新的流式用例——点击流管道、CDC到湖仓的流、实时聚合任务——并获得包含拓扑设计、消费者配置、处理逻辑和数据汇配置的完整架构。您也可以提交一个故障或性能不佳的流式任务，并获得诊断：消费者滞后分析、检查点失败模式、状态后端大小问题。
适用于构建事件驱动数据平台的数据工程师、将批处理管道迁移至实时的工程师，以及评估Kafka与Kinesis或Flink与Spark Streaming适用场景的平台团队。