MRR检索评估:计算首次相关结果的排名

正确资料进入候选列表之后,排在第一项还是第五项也会影响阅读体验。平均倒数排名MRR关注每个问题的第一份相关结果出现在哪里,适合补充观察检索排序。

浅色排名卡片与检查清单
浅色主题概念配图,选自本站AI生成图库;非事件现场或产品实测截图。

先为相关结果建立判断依据

自拟三道问题,第一份相关资料分别在第1、第2位,第三道在检查范围内未找到。倒数排名分别为1、1/2和0,平均为1/2。相关性标签应根据问题和原文确定,不能把系统自己打的高分当成标准答案。

它只关注第一次命中

一份列表在首位命中后,后面遗漏很多相关资料,MRR也不会反映全部损失。因此需要多份证据才能回答的问题,还要检查覆盖情况。别把MRR与用于合并多个排名的RRF混淆,两者用途不同。

比较时固定候选范围

记录截断到前几项、相关性标准和问题集版本。第三道题的0表示在本次检查范围没有命中,不证明全库没有资料。下例仅计算手工给出的虚构排名,没有测试本站知识库或模型性能。

可以运行的练习

from fractions import Fraction
ranks = [1, 2, None]
reciprocal = [Fraction(1, r) if r is not None else Fraction(0) for r in ranks]
assert reciprocal == [Fraction(1), Fraction(1, 2), Fraction(0)]
mrr = sum(reciprocal) / len(reciprocal)
assert mrr == Fraction(1, 2)
print(float(mrr))

示例已在本地隔离环境运行检查。使用固定输入,不访问外部接口,也不读取真实业务文件。

资料与继续学习

Elastic:排名评估与MRR。资料查阅日期:2026年10月7日。步骤与练习由本站整理。

资料查阅与编辑日期:2026年10月7日。作者:玖柒。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享