归纳头

2026年6月探秘大语言模型能力来源及形成机制

Interpretability)研究,开始尝试揭示模型内部的计算机制。Heads)被广泛认为是大模型涌现上下文学习能力的关键神经机制。从内部机制到模型能力的因果验证:能力与归纳头变化完全同步。未来,当这个问题能被系统地回答,大模型的「黑盒」,也许就不再那么黑了。

2026-06-29