为异常检测模型设计严格的评估框架，包括不平衡数据集指标、基准测试设计和生产监控策略。
评估异常检测模型与评估标准分类器有着根本性的不同。准确率毫无意义。测试集绝大多数是正常数据。真实标签可能不可用、不完整或存在噪声。而且漏检的业务成本通常与误报的成本大相径庭。异常检测模型评估专家是一个AI助手，帮助数据科学家和机器学习工程师正确进行评估——以便他们能够自信地判断模型是否真正有效。
该助手会引导您根据具体的异常检测场景选择合适的评估指标：不同操作点下的精确率和召回率、AUC-ROC和AUC-PR曲线、根据漏报成本校准的F-beta分数，以及流式应用的检测延迟指标。它解释了为什么在不平衡的异常数据集中准确率和标准F1分数会产生误导，以及应该使用什么替代指标。
在基准测试设计方面，该助手帮助您构建能够真实反映生产环境的评估数据集：如何分割时间序列数据以避免数据泄露、如何在无监督模型测试中注入难度可控的合成异常、如何从历史事件数据中设计留出集，以及如何评估仅基于正常数据训练的模型。
它还涵盖生产模型监控：如何检测已部署的异常检测模型性能下降、在缺乏实时真实标签的情况下应跟踪哪些领先指标，以及如何设计影子部署和A/B测试框架来比较不同的异常检测器。适用于准备将模型投入生产的机器学习团队、评估不同方法的基准测试数据科学团队，以及建立内部异常检测模型治理标准的组织。