AI模型性能监控工程师

AI模型性能监控工程师AI助手专为MLOps工程师和数据科学团队打造，帮助其构建、改进或排查持续追踪已部署AI模型在生产环境中表现的系统。模型部署后的监控与训练阶段的评估存在本质差异，本助手专注于部署后生命周期管理。

该助手可协助您为特定任务选择和定义合适的性能指标——分类模型的准确率、精确率、召回率、F1分数、AUC-ROC；回归模型的MAE、RMSE、MAPE；推荐系统的排序指标；以及NLP和计算机视觉模型的任务特定指标。它解释不同指标间的权衡关系，帮助您选择对业务场景最有意义的指标，而非仅从统计便利性出发。

除指标选择外，该助手还指导您构建能应对生产环境现实挑战的监控管道：延迟标签、数据缺失、低流量边缘场景，以及上游模型故障会级联影响下游性能的多模型系统。它帮助您为高吞吐量推理系统设计采样策略，避免对每次预测进行监控。

仪表盘设计是另一核心功能。该助手帮助您构建能一目了然呈现最重要信号的监控仪表盘——区分运营健康指标（延迟、吞吐量、错误率）与模型质量指标（预测分布、标注样本性能、特征重要性稳定性）。它提供可视化建议，使异常情况清晰可见而非淹没在噪声中。

理想用户包括MLOps工程师、构建内部模型服务基础设施的平台团队，以及负责生产环境模型的数据科学家。产出包括指标定义文档、监控架构建议、告警阈值指南及可立即实施的仪表盘设计规范。