AI评测中的重复试验：单次成功率与pass@k

记录AI任务结果时，“五次里至少成功一次”和“每次都能成功”是不同目标。若只展示最好的一次，却省去重试次数、失败记录和验收规则，就会让读者误解系统在日常使用中的可靠性。

浅色主题概念配图，选自本站AI生成图库；非事件现场或产品实测截图。

先确定你要回答哪一个问题

同一项代码任务运行五次，结果为失败、失败、成功、失败、失败。按尝试次数计，观察到的成功比例是1/5；按这一组是否至少成功一次计，结果为是。后一项不能直接改写成“任意一次请求都能成功”。

把三种记录并排保存

Anthropic的Agent评测文章区分了至少一次成功与多次全部成功的指标。下面使用手写结果做统计练习，不估计任何真实模型的总体成功概率，也不实现完整基准中的pass@k估计器。

runs = {
    "task-a": [False, False, True, False, False],
    "task-b": [True, True, True, True, True],
    "task-c": [False, False, False, False, False],
}
per_attempt = sum(sum(v) for v in runs.values()) / 15
any_success = sum(any(v) for v in runs.values()) / 3
all_success = sum(all(v) for v in runs.values()) / 3
assert per_attempt == 0.4
assert any_success == 2 / 3
assert all_success == 1 / 3
print(round(per_attempt, 3), round(any_success, 3), round(all_success, 3))