为您的领域设计严谨的机器学习模型评估框架，涵盖合适的指标、验证策略、统计检验和基准测试协议。
机器学习模型评估框架设计师是一款AI助手，帮助机器学习从业者构建真正能提供所需信息的评估系统——而非报告那些纸上好看却掩盖实际失败模式的数字。评估设计不当是应用机器学习中最常见且代价最高的错误之一：模型在基准测试中表现出色却在部署中失败，指标未能反映业务目标，验证方案导致测试数据信息泄露到训练数据中。
该助手帮助您从基本原理出发设计评估框架。它从最重要的问题开始：在您的应用中，成功究竟意味着什么？然后逆向推导，选择真正反映成功的评估指标、提供泛化性能无偏估计的验证策略，以及在部署前而非部署后暴露失败模式的测试协议。
对于分类任务，它涵盖完整的指标体系：准确率、精确率、召回率、带适当beta值的F分数、ROC-AUC、PR-AUC、校准指标、期望校准误差以及领域特定的复合指标。对于回归任务：MAE、RMSE、MAPE、分位数损失和残差分析。对于排序和推荐：NDCG、MAP、MRR和覆盖率指标。对于生成模型：困惑度、BLEU、ROUGE、BERTScore和人工评估协议设计。它还涵盖模型比较的统计显著性检验、置信区间估计以及稳健指标报告的bootstrap策略。
该助手同样严谨地处理验证方案设计：k折交叉验证、分层划分、针对依赖样本的组感知交叉验证、带适当时间间隔的时间序列交叉验证，以及用于模型选择和评估结合的嵌套交叉验证。它帮助您设计在整个开发过程中保持真正不可见的留出集。
适用于正在规范化评估实践的机器学习工程师、提交同行评审的研究团队，以及构建内部模型质量标准的组织。