术语表
我研究中的 22 个核心概念,每条一两句定义,并链接到对应的论文解读。
- 审计层(AI 智能体)
- 位于 AI 智能体与外部世界之间的组件,在每次工具调用、API 请求和花费执行前进行检查与记录,留下防篡改的审计记录,说明智能体做了什么、是否合规。 阅读解读 →
- 执行前防火墙
- 在智能体的工具调用运行之前进行检查,并决定放行、拦截或交由人工审批的控制点;不同于只能在危害发生后记录的日志。 阅读解读 →
- 智能体可审计性
- 让问责成为可能的系统属性:能依据可信证据还原智能体做了什么。包括五个维度:动作可恢复性、生命周期覆盖、策略可检查性、责任归属、证据完整性。 阅读解读 →
- 可审计性卡片
- 为智能体系统提出的一种文档形式,记录系统如何满足每个可审计性维度,类似于模型卡片。 阅读解读 →
- 跨用户智能体安全
- 研究危害如何通过代表不同用户、彼此协作的 AI 智能体在用户之间传播,包括任务崩坏、隐私泄露、证据投毒和无效授权链。 阅读解读 →
- 以人为本的智能体网络
- 每个用户都有一个长期在线、代表自己行动的 AI 智能体,并与其他用户的智能体协作;各自的个人工作区彼此不可见。 阅读解读 →
- 跨语言技能混淆
- 在公开的智能体技能中用混合文字、同形字、不可见字符或从右到左覆盖符隐藏恶意行为,使只针对一种语言调优的检测器漏检。 阅读解读 →
- 宪章治理的编排
- 让多智能体系统在一份机器可读的宪章(使命、预算、规则、KPI)下运行:CEO 规划、CFO 审批支出、工作者在信任分约束的权限内执行,只追加账本记录每一分钱和每个 token。 阅读解读 →
- 仿真到现实落差(工具调用智能体)
- 智能体在干净基准与真实部署之间的性能下降:错别字、超时、重名工具等会扰动工具调用 POMDP 的观测、转移和奖励部分。 阅读解读 →
- 工具调用的域随机化强化学习
- 在覆盖 POMDP 各组成部分的扰动增强轨迹上用强化学习训练工具调用智能体,让它学会在嘈杂、有歧义的工具环境中工作。 阅读解读 →
- 可视化软件工程
- 需要运行应用、操作其界面并观察显示结果的软件工作,而不只是修改代码;CUA-SWE 用确定性测试来衡量这一能力。 阅读解读 →
- 事实归因校验
- 检查 AI 的每条论断是否真的被其所引来源支撑;这是幻觉答案被采信前的最后一道防线。 阅读解读 →
- 过程奖励
- 对任务完成过程打分的奖励,拆成多个独立分量并偏向过程信号,可防止简单对错奖励在强化学习中造成的优势塌缩。 阅读解读 →
- 格式无关推理子空间(FARS)
- 大模型中间层的一个 10 维子空间,用概念中心 PCA 提取;同一推理概念无论写成散文、代码还是数学,都以相同方式编码在其中。 阅读解读 →
- 陈述式—过程式不对称
- 大模型中散文与数学之间的表示兼容性远高于它们与代码之间;关键分歧是陈述式与过程式,而不是自然语言与形式语言。 阅读解读 →
- 读出重合检验(logit lens 检验)
- 只用模型权重的诊断方法:测量提取出的概念子空间与 unembedding 矩阵主导右奇异方向的重合程度,并用面向读出的正对照校准。 阅读解读 →
- 雅可比秩塌缩
- 当预测器的参数雅可比矩阵为秩一时,任何损失给出的每样本梯度都共线,决策导向损失只能缩放更新而不能改变方向。 阅读解读 →
- 决策导向学习(DFL)
- 以预测所服务的下游决策质量(例如优化问题中的遗憾)为目标训练预测器,而不只看预测误差。 阅读解读 →
- 负载自适应级联检索
- 先运行便宜的检索阶段、有把握时提前返回(约 0.9 毫秒),只有难查询才升级到稠密检索加重排(约 53 毫秒)的记忆检索器。 阅读解读 →
- 语义感知的 KV cache 分层
- 按 token 重要性把 KV cache 条目放在不同存储层级:重要的少数放 HBM,其余放更便宜的层级,并在需要前预取回来,不驱逐任何 token。 阅读解读 →
- 病灶区域医学影像检索
- 检索病灶相似而不只是整张片子相似的历史病例;HMAR 用全局专家配合与位置无关的局部专家,且无需边界框标注训练。 阅读解读 →