研究综述
如何让 AI 智能体值得信任？一份研究综述
只会写文字的智能体可能出错；会调用工具、花钱、和其他智能体对话的智能体，不但会出错，还会按错误去行动。这时“能不能信任这个智能体”就不再只是模型的问题，而是整个系统的问题。这篇综述把我的研究里关于如何搭建这个系统的结论放在一起。
1. 动作执行之前先检查
日志只能在损失发生后告诉你出了什么事。执行前审计层位于工具调用的边界：对每个动作，提取将要执行的调用，按策略检查（注入、敏感文件、数据外泄、预算上限），再决定放行、拦截或交给人工审批。每个决定都写进签名、哈希链式的记录。由于智能体框架都通过一个很窄的工具调用接口执行动作，接入时不需要改写智能体代码。阅读：为什么每个 AI 智能体都需要审计层。
2. 让每个动作事后都能被追问
Auditable Agents 区分了三个常被混用的概念：问责（判断是否合规、责任归谁）、可审计性（让问责成为可能的系统属性）和审计（依据可信证据还原行为）。它把可审计性分成五个维度：动作可恢复性、生命周期覆盖、策略可检查性、责任归属、证据完整性。没有哪一种机制能单独覆盖它们：拦截发生得早但看到的信息少，检测看得多但可能已经来不及，恢复只能依靠留存下来的证据。一次保守的扫描在六个知名开源智能体项目中发现了 617 个安全问题。阅读：怎样的 AI 智能体才算可审计？。
3. 盯住危害会传播的地方
- 在用户之间。当每个人都有代表自己行动的智能体，危害会通过共同任务在不同主人之间传播：任务崩坏、隐私泄露、证据投毒、无效授权链。WeClawArena 用 6 个跨用户领域的 124 个基础任务、扩展成 620 个场景变体来衡量这一点，并把任务效用和攻击成功率分开报告，让“有用但不安全”的智能体没法躲在任务分数后面。阅读：如何保护多用户智能体网络。
- 通过第三方技能。公开的智能体技能就像插件市场，本身就是攻击面。英文和中文技能在功能和安全信号上都不一样；同形字、不可见字符、混合文字可以让只针对一种语言的检测器漏检。安全必须按语言分别检查。阅读：智能体技能在不同语言里都安全吗？。
4. 明确治理预算和时间
- 预算。宪章治理的编排让一份机器可读的“宪法”来管理多智能体系统：CFO 层在每个任务执行前检查余额、每日消耗上限和利润底线，只追加账本记录每一分钱和每一个 token。阅读：什么是宪章治理的 AI 编排？。
- 时间。按时完成不等于用好了时间。依据旧的预算读数做的决定，可能在模型还在思考时就已经过期；子智能体也不能悄悄把用户的截止时间重新计时。在把功劳归给模型之前，先和信息相同的简单调度器比一比。阅读：AI 智能体什么时候该继续干、什么时候该交付？。
5. 校验智能体给出的结论
智能体给出带引用的回答后，仍然需要有人确认来源真的支持这个结论。SEVA 这样的校验智能体会给出结构化的判定（证据对齐、推理链、校准过的置信度、分类的错误诊断），并用过程奖励来自我改进：奖励的是“检查是怎么做的”，从而恢复了简单对错奖励会丢掉的学习信号。阅读：什么是自我进化的校验智能体？。
部署智能体团队的自查清单
- 高风险的工具调用能否在执行前被拦截或送审？
- 能否依据防篡改的记录，还原智能体做了什么、责任归谁？
- 第三方技能是否在它支持的每种语言里都检查过？
- 当智能体代表不同的人行动时，是否同时衡量任务成功率和攻击成功率？
- 花费和截止时间是由系统强制执行，还是只在提示词里提了要求？
- 带引用的结论在有人据此行动之前，是否核对过来源？
常见问题
怎样的 AI 智能体才值得信任？
靠证据而不是承诺：动作执行前按策略检查；防篡改的记录让任何人都能还原智能体做了什么；衡量在用户之间、通过第三方技能传播的风险；预算和截止时间由系统强制执行；智能体的结论会对照来源校验。
日志和审计层有什么区别？
日志是在动作已经发生之后写下的。执行前审计层在每个工具调用运行之前检查它，可以放行、拦截或交给人工审批，同时把决定写进防篡改的记录。
AI 智能体可审计性的五个维度是什么？
动作可恢复性、生命周期覆盖、策略可检查性、责任归属、证据完整性，出自论文 Auditable Agents。
为什么多用户智能体网络比单个智能体更危险？
因为危害会通过共同任务在不同主人之间传播：委托的工作可能崩坏，私有数据可能越过主人边界，一个智能体可能给另一个喂投毒的证据，动作也可能通过从未获得授权的链条被执行。
本文涉及的论文
- AEGIS: No Tool Call Left Unchecked -- A Pre-Execution Firewall and Audit Layer for AI Agents
- Auditable Agents
- WeClawArena: An Auditable Sandbox and Benchmark for Cross-User Agents Collaboration and Security in Human-Centered Agent Networks
- Do Agent Skills Speak Safety in Every Language? A Cross-Lingual Security Analysis of the Skills Ecosystem
- Sovereign-OS: A Charter-Governed Operating System for Autonomous AI Agents with Verifiable Fiscal Discipline
- SEVA: Self-Evolving Verification Agent with Process Reward for Fact Attribution
- Agent Chronoception: Temporal Validity and Useful Persistence
本文由袁傲杰（Aojie Justin Yuan，USC Fortis Lab）撰写，内容均来自上面列出的论文；每节末尾链接到对应论文的详细解读。