大模型中间层如何涌现事实知识

中间层"有没有概率"？

目录

  • 中间层"有没有概率"？
    • 严格说：**中间层本身没有概率，但可以"强行造出"概率**
    • 二、形象比喻：模型像"逐层修正答案"的学生
    • 三、具体例子：`"The capital of France is"`
    • 四、关键观察（为什么 DoLa 能成立）
    • 五、自己可以跑的最小代码（GPT-2，~5 行核心逻辑）
    • 六、不同模型上"事实涌现"的层位置（经验值）
    • 总结

严格说：中间层本身没有概率，但可以"强行造出"概率

LLM 一次前向计算的产物，分两类：

层真正产出是不是概率？
中间每一层 (hidden_l)隐向量[B, T, H]，比如 H=4096❌ 不是概率，只是一组实数
最终层 →lm_head→softmax词表分布[B, T, V]✅ 真概率

所以中间层原生没有概率。但因为所有层的 hidden state 都和最终层在同一个表示空间里（残差流，residual stream），我们可以人为地把它送进同一个lm_head，得到"假如解码就停在第 l 层，下一个 token 会是什么"的分布。

这套技巧叫：

Logit Lens（nostalgebraist, 2020）—— 把每一层