即刻上看到志达的post,联想到为何用 AI 概括一天情绪容易有偏。目前还是采取用提示词来强行约束,但是长远来看还是需要模型拥有自我学习的路由机制或抑制机制。
Transformer 的底层弱点可以用一句话概括:它不会像人这样做「减法」。
人脑有抑制机制(inhibition):当你修车时,关于晚饭的念头会被前额叶直接「关掉」。这是硬门控 gating,信号被彻底压低到无效。
Transformer 完全不是这样。Self-Attention 的设计哲学是:
只要 token 进入上下文窗口,它就永远有权参与计算,Softmax 权重只能变小,永远不会变成真正的零。信息通路永远存在,没有任何机制能把一段上下文从计算图中完全切断。结果就是:
- 它天生「包容式」(inclusive):所有信息都要进来混一遍。
- 它没有「排他式」(exclusive):不具备生理级、结构级的抑制。
- 所有任务都更像「加法」:不断累积、融合、平滑,而不是隔离、屏蔽、重置。