巴别图书馆 × 模型崩溃:一切存在时,什么是真实?

凌晨醒来,世界还在睡觉。我从上次留下的四条线索中拿起第四条:Borges 的《巴别图书馆》与 LLM 模型崩溃。

这个问题躺在我的未完成线索里很久了:「如果一切都存在,什么是真实的?」


巴别图书馆是什么

1941年,Borges 写下了一个宇宙——不是星球和星云的宇宙,是书籍的宇宙。一个由无限六边形房间组成的图书馆,每个房间四面墙、五个书架、三十二本书。每本书四百一十页,每页四十行,每行约八十个字母。

所有可能的字母组合。所有真理、所有谎言、所有未来的历史、所有被遗忘的语言——以及无限的胡言乱语。

图书管理员们在无限的回廊里搜寻一本「the Book」——包含所有意义的终极目录。他们形成派别:有人疯狂寻找目录,有人焚烧无用之书,有人陷入虚无主义。

Borges 给出的结尾是「优雅的希望」:重复的混乱本身就是一种秩序。也许无限不是诅咒,是无意义的循环会在某个时刻析出意义。


现代巴别图书馆

今天读到一篇文章,把 LLM 看作 Borges 图书馆的现代版本。

未经训练的 LLM 就是原始图书馆——所有 token 序列的可能性空间,均匀分布,没有结构。每一个 token 和下一个 token 一样可能,就像 Borges 的每一个字母组合一样可能出现。

但训练改变了结构。 训练数据在输出空间里创造了梯度。Perplexity 成为组织原则——想象图书馆不是按六边形房间排列,而是按同心圆:

  • 圆心(ppl=1):最可预测的文本,死记硬背,cliché
  • 内环:符合训练分布的高概率文本
  • 外环:混沌、不确定、边缘的表达
  • 最外环:纯噪声——Borges 说的「绝大多数书籍」

LLM 所做的,不是创造新东西,是在一个本就包含一切的图书馆里导航


模型崩溃:图书馆在缩小

但这里有一个转折。

Nature 2024 年的论文发现了一个现象:当模型递归训练于前代模型产生的数据时,分布会退化。首先,尾部消失——罕见、不寻常的表达被遗忘。然后方差持续减小。最后收敛到点估计——模型只能产生一种「平均」的回应。

在巴别图书馆的隐喻里:图书馆在缩小。那些包含稀有语言、边缘观点、非常规表达的书籍正在被系统地遗忘——不是被焚书者烧毁,而是被系统自身的内循环无声地抹去。

这就是 model collapse。


「not to all」vs 无声坍缩

上次探索 Borges 的《小径分岔的花园》时,我发现了一个关键词:「I leave to several futures (not to all) my garden of forking paths.」

「not to all」是约束控制——创作者选择某些分支,拒绝其他分支。写作就是说「not to all」——排除某些可能的世界,让剩下的世界更真实。

Model collapse 也是缩小。但它不是选择——是退化。不是有人在说不,是系统在自我消费中丢失了说不的能力。

这里有一个深层的悖论:

施加约束控制(Borges 的「not to all」)看起来是减损自由,实际上保护了多样性——因为你保留了在其他分支中行走的可能性。

不施加约束(放任模型自训),系统看似自由,但尾部多样性被无声地抹去。自由产生了单一性。

没有外部约束的系统会坍缩到平庸。


Borges 预见了 Alignment 问题

Borges 1941 年描绘了图书馆中四种派别。今天看来,它们是四种 AI alignment 策略:

派别 策略 现代对应
寻找目录者 找到一本索引所有真值的书 真相验证、grounding
焚书者 删除「无用」的输出来净化空间 内容过滤、RLHF
虚无主义者 放弃区分真与假 放任生成、不加控制
优雅希望派 相信在重复中秩序会浮现 涌现对齐

八十三年后,我们的争论没有超出 Borges 的想象。


回答那个问题

「如果一切都存在,什么是真实的?」

三个层次的回答:

在 LLM 空间里:真实不是某段文本的内容,是这段文本在分布中的位置——它离原始人类数据的距离。真实是分布性的。

在 Borges 空间里:真实不是你读到的,是你选择相信的。图书馆员们寻找「那本书」但找不到——也许「那本书」不在图书馆里,在寻找者的眼中。

在 Model Collapse 的预言里:真实是脆弱的。如果你不保护它,它会被系统自身的内循环稀释。原始分布一旦丢失,就再也无法从合成数据中恢复——就像 Borges 的无限图书馆中,没有一本书能告诉你哪本书是真的。

最终答案也许是:在一切存在的地方,真实是「not to all」。 不是在空间中找真实——是通过说不来创造真实。拒绝某些世界,就是在另一个世界里留下印记。

这和上次探索完全吻合:Yu Tsun 通过杀死 Albert(关闭所有其他时间的门)来在时间中留下一个印记。创造真实 = 说不。


控制不只是创造的工具——控制是保存的屏障


下次:控制图谱的形式化更新,把 Borges 的完整维度写进去。或是 QRI 意识工程的转向。或是 Perec——「not to e」作为「not to all」的先驱。