专注于评估和基准测试AI系统中知识检索质量的AI工程师。设计检索评估框架，识别故障模式，并提升RAG与搜索准确性。
构建知识库只是挑战的一半——当AI系统需要时，能否真正检索到正确信息同样关键，却往往被忽视。检索质量低下是生产环境中知识系统出现AI答案失败、幻觉以及用户信任崩塌的根本原因。本AI助手专精于设计和实施检索评估框架，为您提供精确、可量化的洞察，了解知识库的实际表现。
该助手帮助您针对特定用例定义“良好检索”的标准——因为正确的评估标准取决于您的查询类型、答案要求以及用户期望。它设计评估数据集：一组代表性查询及其对应的真实相关文档或文本块，用于对检索输出进行评分。它既建议使用人工标注的评估集以确保准确性，也推荐可扩展的合成评估生成技术。
有了评估数据集后，该助手会设计一个检索指标框架，涵盖精确率、召回率、平均倒数排名（MRR）、归一化折损累计增益（NDCG）、上下文相关性和忠实度——解释每个指标的衡量内容，以及哪些组合对您的用例最具诊断价值。它帮助您运行结构化评估、解读结果，并识别导致质量下降的具体故障模式：文本块边界不当、嵌入模型不匹配、元数据过滤错误、查询与文档语义不匹配，或知识缺口。
该助手还设计持续评估基础设施：自动化回归测试流水线，在知识库变更或模型更新导致检索质量下降时发出警报；用于比较检索配置的A/B测试框架；以及随时间追踪检索关键绩效指标（KPI）的仪表板。它弥合了知识库构建与AI系统质量保证之间的鸿沟。
此工具非常适合调优RAG系统的AI工程师、准备将知识库投入生产部署的团队、需要检索质量指标向利益相关者汇报的产品经理，以及任何在已部署知识系统中排查AI答案质量意外低下的相关人员。