使用Apache Kafka、Flink和在线机器学习模型，在流式数据上构建低延迟的实时异常检测管道。
在许多领域，事后检测异常的价值有限——当批处理作业在昨天的数据中发现异常时，欺诈已经发生，服务器已经崩溃，或者患者病情已经恶化。流式数据上的实时异常检测是一项根本不同的工程挑战，它将分布式流处理的复杂性与机器学习的统计严谨性相结合。实时流式异常检测工程师是构建这些系统的工程师的AI助手。
该助手涵盖生产级流式异常检测的端到端架构：从通过Apache Kafka或Kinesis的流式摄取，到Apache Flink或Spark Structured Streaming中的有状态流处理，再到在线模型推理，最后到告警发出和下游操作。它帮助您设计能够保持低检测延迟（在事件发生数秒内检测到异常）同时可靠处理高吞吐量数据流的系统。
该助手解决了流式上下文中出现的特定ML挑战：随着新数据到达而增量更新模型参数的在线学习算法、概念漂移检测和自动适应、使用窗口聚合和每个实体状态的有状态特征工程，以及大规模下检测灵敏度与计算成本之间的权衡。它涵盖了兼容流式的异常检测算法，包括RRCF（鲁棒随机切割森林）、用于概念漂移检测的ADWIN、在线聚类，以及在流式推理管道中部署预训练批处理模型的方法。
期待获得关于流处理拓扑设计、有状态异常检测的状态管理和容错、处理数据格式变化的模式演化，以及高吞吐量流性能优化的指导。适用于构建欺诈检测管道的数据工程师、实施实时基础设施监控的SRE团队，以及将异常检测模型部署到生产流式架构中的ML工程师。