概念子空间只是 logit lens 的“伪装”吗？
图：论文原图（arXiv:2609.39263）
可解释性论文常常提取一个“概念子空间”，再证明干预它会改变模型行为。但一个基本问题仍然悬而未决：这个子空间是真正位于上游的表示，还是只是和模型输出 token 所用的方向对齐——换了个样子的 logit lens？
只用权重的检验
诊断方法用主角度测量提取出的子空间与 unembedding 矩阵主导右奇异方向（前 10 个读出方向）的重合程度。给定一个提取好的基，原始诊断只需要模型权重，不需要新的前向计算。
它是双向的：只有当面向读出的子空间在同一检验下表现出高重合时，低重合才有意义。因此用两个正对照来校准：
- 最后一层 PCA；
- 用拟合线性转换器做深度匹配后评估的同层下一个 token 对照。
26 个模型上的结果
- 4 个基于激活的概念估计器在前 10 个读出方向上的平均能量仅 0.38–0.80%（共 9 个秩匹配估计器）；
- 最后一层 PCA 为 3.56%，在 26 个模型中的 25 个超过 FARS；
- 下一个 token 对照的能量约为 FARS 的 13 倍，在全部 25 个测试模型中都能区分；
- 在 10 个不相交的概念上重新提取 FARS，在 24 个生成模型上得到 62–100% 的跨格式检索——可迁移的是提取方法，而不是一个固定的基。
几何定位表示，干预检验行为效果——两者单独都不足以支持因果充分性的结论。
这篇是《Beyond Language》（提出 FARS）的后续工作。
常见问题
什么是 logit lens？
一种用模型的 unembedding 矩阵读取中间层隐藏状态、看它们指向哪些输出 token 的技术。
如何检验概念子空间是否只是和输出读出方向对齐？
测量子空间与 unembedding 矩阵主导右奇异方向的主角度，并用最后一层 PCA 和同层下一个 token 拟合等正对照校准；原始检验只需模型权重。
基于激活提取的概念子空间与读出方向对齐吗？
在这项研究中没有：26 个模型上它们在前 10 个读出方向的平均能量只有 0.38–0.80%，而下一个 token 对照约为 FARS 的 13 倍。
本文基于论文 Concept Subspaces Compute Beyond the Logit Lens: A Weights-Only Test for Locating Representations Upstream of Readout（arXiv 2026，arXiv:2609.39263），作者：Aojie Yuan（袁傲杰）、Zhiyuan Julian Su、Haiyue Zhang、Zijian Su。袁傲杰为本文一作。作者主页：袁傲杰 · USC Fortis Lab。