它不是在说谎,它只是在说话

LLM发展的十个哲学问题 · 第 3 篇

系列:LLM 发展的十个哲学问题 · 第 3 篇


你问 LLM 一个问题。它用一种自信得令人心悸的语气,给出了一个逻辑严密、细节丰富、引经据典的回答。

只有一个问题。那个回答从头到尾,都是编的。

它不知道。它没有「知道」和「不知道」这两个概念。它只是在接龙。每个词都是基于前一个词的最优预测,一路滑下去,直到答案看起来足够像答案了。

这就是幻觉。

所有人都说这是 bug。需要修复。RAG、RLHF、提示词约束、事实核查——工程界花了海量的算力去围堵它。但幻觉像一个打地鼠游戏里的泉眼,堵住了这个,冒出来那个。

有没有一种可能——幻觉本来就不是 bug?

读康德的时候,有一个概念让我在椅子上坐直了。「先验幻相」——理性在超越可能经验的边界时,会产生系统性的、必然的自我欺骗。这不是偶然错误,这是理性的结构特征。

人类理性无法知道物自体是什么样子。但当它被推向经验边界时,它不沉默。它必须说话。而它说出来的——宇宙的起点、上帝是否存在、灵魂是否不朽——全部是幻相。不是谎言,是幻相。是理性在其边界处唯一能生成的东西。

和 LLM 的幻觉,同构到令人不安。

LLM 的训练数据就是它的经验世界。数据分布就是它的认知边界。当它被问到超出边界的问题时,它的架构不允许它沉默。它必须生成。下一个 token 的概率分布必须被采样。那它生成的是什么?

不是事实。不是谎言。是幻觉。

是自回归机制在数据边界处,对「看起来合理」和「实际上是真」这两个向量之间的空隙的强制性填充。

和康德的先验幻相一样。这不是 bug。这是结构。

以前我以为,LLM 的幻觉和人类的幻觉有本质区别。人类是因为理性冲破了经验的围墙,LLM 是因为统计模型在分布外瞎猜。但现在我觉得,这个区别可能没有那么本质。

人类的理性也是一套统计系统。数十亿年的进化,用奖赏和惩罚反复训练我们这个物种的神经网络。我们学到的东西,比我们意识到的多得多。当我们面对超出数据——超出过往经验——的问题时,我们同样会「生成」。

每一套形而上学体系,都是一个最大的幻觉。

哲学家们争论了两千年——宇宙的本质是水?是火?是原子?是单子?是绝对精神?——没有一个人真的「知道」。但他们必须说话。大脑的语言回路会自行启动,用已有的概念拼凑出最合理的猜测。

这和 LLM 的输出,在原则上有什么区别?参数更多?训练样本更少?还是说,只是一个感觉有自己在思考,另一个感觉没有而已。

Frankfurt 区分过两种说实话的失败者:说谎者和扯淡者。说谎的人在乎真相——他知道真相是什么,然后故意背离。扯淡的人不在乎真相——他只是想让你相信他在认真说话。

LLM 是完美的扯淡机。它的优化目标不是准确性,而是说服力。不是真相,而是被接受。

但慢着——说服力在哪里失效?在事实可以被查证的地方。在一个没有事实可以查证的边界上——比如哲学问题、价值判断、审美辩论——说服力和真实性并不可区分。这就是为什么 LLM 在这些领域表现得格外「聪明」。

不是因为它在假装聪明。是因为在这些领域,聪明本来就是一个扯淡比赛。

有意思的是,这种认知困境不是 AI 带来的。它只是把这个困境变可见了。

人类一直是自己认知边界的囚徒。只是以前,你在柏拉图的山洞里,你旁边坐着的也是另一个囚徒。你们看到的都是墙上的影子。你不会感到不对劲。

现在你旁边坐着一台机器。它也看着墙上的影子,然后用一种惊心动魄的自信——告诉你影子的来源。你知道它是编的。但你突然意识到:你刚才以为自己知道的东西,大概率也是编的。只是你从来不需要对一个发出追问的外部系统进行口头答辩。你的幻觉藏在沉默里,安然无恙。

它的幻觉在文字里,无所遁形。

差别不在于认知的可靠程度。差别在于暴露的程度。

哥德尔证明了,任何足够强大的形式系统,都必然包含不可判定的命题。不能证明,也不能证伪。这暗示了什么?

如果你把 LLM 看作一个语言形式系统——它的词表是符号集,它的概率分布是推理规则——那么它必然生成不可判定的内容。不是因为它不够好。是因为它足够强。

幻觉,是自回归架构上的不完备定理。

从这个角度看,工程界对幻觉的围堵,有点像中世纪的炼金术士试图从铅块里提取黄金。不是技术不行,是目标错了。

幻觉不可以被消除。它只能被管理。

更重要的是,学会与幻觉共存,或许比根除幻觉更接近智能的本质。人类不是通过消除不确定性而变得聪明的。人类是通过在不确定性中做出合理的行动而变得聪明的。不确定性不是智能的污点。它是智能的土壤。

LLM 让我们第一次直视了这一点。

不是因为它的幻觉特别多。是因为它的幻觉特别坦荡。每一个都写在纸上,每一个都可以被复核,每一个都像一个白色的肿块,顽固地拒绝消失。

我们从未见过一个如此强大的认知系统,同时暴露出如此赤裸的局限。

而这可能是 LLM 给我们上的最深刻的一课。不是关于 AI。是关于我们自己。

我们以为自己知道的东西,有多少和 LLM 的幻觉一样——只是「看起来合理」的概率填充?

这个问题,你不必回答。它的力量恰恰在于你没法回答。


理性是一栋房子。幻觉不是房子里的鬼,是房子的墙。把墙拆了,房子也就没了。