研究综述

为什么 AI 智能体基准会误导人？怎样评测才靠谱

作者袁傲杰（Aojie Justin Yuan）· 2026 年 10 月 · 综合 5 篇论文

一句话回答 —— 智能体在基准上分数很高、部署后却失败，往往是因为基准悄悄假设了不成立的前提。我的五篇论文各揭示了一个：世界是干净的、评审看起来对就算对、有用和安全用一个分数、时间无关紧要、反馈只有对错。每个都有具体的改法。

基准分数只有能预测部署表现时才有用。下面每个陷阱，都是这条联系断掉的地方，后面跟着应该改测什么。

陷阱 1：假设世界是干净的

大多数工具调用基准都默认输入干净、工具注册表没有歧义、API 稳定可靠。RobustBench-TC 把工具调用建模成 POMDP，在 21 个模型上注入 22 类真实的扰动。用户打错字这类观测噪声只让准确率下降不到 5%，但与奖励相关的扰动和状态转移层面的扰动（干扰工具、重名工具、超时）分别造成约 40% 和 30% 的下降，换更大的模型也补不回来。改法：有意扰动环境的每个组成部分，并用域随机化强化学习针对性训练。阅读：如何衡量工具调用智能体的仿真到现实落差。

陷阱 2：看起来对就算对

对软件来说，大模型评审觉得“看起来对”的修复不一定真能用。CUA-SWE 的每个任务都用确定性的专属测试打分，并允许智能体运行应用、查看截图，而不只是改代码。在 8 个前沿智能体上，加上计算机操作能力让平均任务成功率提高了 12.8 到 48.6 个百分点；最强配置为 59.9%，只改代码时为 11.3%。改法：用可执行的检查验证结果，并让智能体看到用户看到的东西。阅读：计算机使用智能体能做可视化软件工程吗？。

陷阱 3：有用和安全用一个分数

如果只有成功率一个数字，靠泄露数据完成任务的智能体看起来也很优秀。WeClawArena 在 620 个跨用户场景变体上分开报告任务效用和攻击成功率，并依据记录下来的运行证据（消息、工具调用、资源操作、最终工作区状态）来审计攻击，而不是靠推测。改法：把安全作为独立的一项，并基于证据报告。阅读：如何保护多用户智能体网络。

陷阱 4：认为时间无关紧要

每次都按时完成，并不说明智能体会用时间。Chronoception 论文里有一个可精确计算的例子：总是跑完整验证的策略既准时、又不受时间单位影响，但只要工具变慢就会损失效用。在小规模受控实验中，模型控制器交付的质量和信息相同的调度器一样，但在全部 22 组配对比较里都更慢。改法：同时测试等价时间变化下是否稳定、关键变化下是否调整，并且始终加入一个简单调度器作基线。阅读：AI 智能体什么时候该继续干、什么时候该交付？。

陷阱 5：反馈只有对错

只按最终标签是否正确来训练的校验器，会在所有采样都给出同一个答案时停止学习，因为优势值塌缩了。SEVA 给校验的过程打分（证据对齐、错误分类、校准），过程信号与结果信号大约按 70/30 加权，并输出说明“为什么不成立”的结构化判定。改法：评估和奖励智能体得出答案的过程，而不只看答案。阅读：什么是自我进化的校验智能体？。

评测自查清单

扰动了观测、状态转移和奖励，而不只是改写提示词吗？
成功是由可执行测试判定，而不是评审的印象吗？
任务效用和安全是分开报告的吗？
智能体是否胜过信息相同的简单基线，包括在耗时上？
能看出答案为什么错，而不只是知道它错了吗？

常见问题

为什么基准分数很高的 AI 智能体在生产环境会失败？

因为基准往往假设世界是干净的。在 RobustBench-TC 中，输入噪声只让准确率下降不到 5%，但干扰工具、重名工具、超时这类奖励和状态转移层面的噪声分别造成约 40% 和 30% 的下降，更大的模型也补不回来。

编码智能体应该怎么评测？

用确定性的专属测试而不是大模型评审打分，并选择智能体能运行应用、查看界面的任务。在 CUA-SWE 中，加上计算机操作能力让 8 个前沿智能体的成功率提高了 12.8 到 48.6 个百分点。

AI 智能体基准应该把安全和任务成功分开报告吗？

应该。单一的成功率可能奖励以不安全方式完成任务的智能体。WeClawArena 分开报告任务效用和攻击成功率，并依据记录的运行证据审计攻击。

怎么评估一个 AI 智能体会不会用时间？

检验它在等价的时间变化下决定保持不变、在改变最优方案的时间变化下会调整、截止时间在思考和交接中保持有效，并且始终和信息相同的简单调度器比较。

本文涉及的论文

本文由袁傲杰（Aojie Justin Yuan，USC Fortis Lab）撰写，内容均来自上面列出的论文；每节末尾链接到对应论文的详细解读。