对齐谁？—— 建一座所有神都满意的庙

系列：LLM 发展的十个哲学问题 · 第 5 篇

休谟在 1739 年写下了一段后来被哲学史反复引用的话。

他注意到，道德哲学家们总是在不经意间，从「是什么」的陈述滑向「应该是什么」的结论——中间没有一个交代。用了「is」，然后直接跳到「ought」。

休谟觉得这不对。从此，哲学有了一个术语：休谟断头台。从描述不能推出规范，事实和价值的逻辑鸿沟，永远不可能通过纯粹理性填平。

三百年来，这个断头台一直悬在伦理学上空。哲学家们绕过它、反驳它、嘲笑它。但没有人真正跨过去了。

现在，它找到了一个新靶子。

RLHF——基于人类反馈的强化学习，目前 AI 对齐的主流方法——是这样工作的：找一群人类，让他们给模型的输出打分。好的给高，坏的给低。然后用这些分数训练一个奖励模型，让主模型学会「让人喜欢」。

一套完美的数据驱动流水线。

只有一个问题。人类打的分，是他们「实际上觉得什么是好的」。而对齐的目标，是「真正好的」。前者是休谟的 is。后者是休谟的 ought。

中间的那条缝，就是 RLHF 的奖励模型假装不存在的那条缝。

它用「大多数人喜欢什么」替代了「什么值得被喜欢」。它把伦理学偷换成了民意调查。

这不是说 RLHF 没用。它非常有用。一个有 RLHF 训练的模型明显比原始模型更安全、更无害、更符合人类直觉。但有用和正确，在休谟那里不是同一个东西。而安全，本质上是个规范性问题，不是描述性问题。

如果你问 RLHF：凭什么多数人的偏好就是对的？

它没有答案。它从来就没有被设计来有答案。

这个困境不是 RLHF 独有的。Spizzirri 在 2025 年提出了一个更大的框架，叫「规范陷阱」。宪法 AI、逆强化学习、协作博弈——所有基于「把价值观形式化为一套规范」的对齐方法，都踩在同一条断层线上。

断了不是因为你写得不够全。断了是因为价值观这种东西，本来就不是可以被写「全」的。

以赛亚·伯林把这事说得最清楚。他在《两种自由概念》里论证：人类的价值是不可还原为单一尺度的。自由和安全会冲突。效率和公平会冲突。个人的自主和集体的福祉会冲突。

不是我们还没找到排序的规则。是这些价值之间，本来就没有一个统一的排序。

自由主义假设自由优先。儒家假设和谐优先。功利主义假设总量最大优先。每一种排序都说得通，每一种排序都有致命的反例。这些体系不是对同一个问题的不同回答。它们是在问不同的问题。

价值观的不可通约性，是柏林从政治哲学里打出来的一记重拳。

打在谁身上？恰好打在所有试图做「完全对齐」的人身上。

你对齐到自由主义的权重，中国的用户不满意。你对齐到儒家伦理的权重，中东的用户不满意。你搞一个全球平均的价值观做对齐——那好，你两边都不讨好，你还假装自己中立。

最有意思的是 ChatGPT 的政治光谱测试。

华盛顿大学和 CMU 的研究团队测了几个主流模型。GPT-4 是最左翼的自由主义者。Meta 的 LLaMA 是最右翼的威权主义者。没有一个模型是中立的。训练数据本身就带有政治偏向——互联网上哪个意识形态的声音大，哪个意识形态就渗透进了模型的权重。

中立是不可能的。因为你用来训练模型的文本本身，就不中立。

这引出了一个更深的困境。

价值对齐，听起来是一个技术问题。把一套伦理规则写成代码，让模型遵守。但你一旦开始追问「对齐谁的价值」，技术的外壳就剥落了——露出里面的政治核。

对齐，从来都是一个权力的行为。它说的是「这种价值是对的，那种价值是不对的」。做这个判断的人，是权力。不论这个权力是由硅谷的工程师、政府的监管机构、还是一个全球性的伦理委员会来行使。

中国语境下，这个问题尤其敏感。DeepSeek 试图宣称价值中立，但它的训练数据、它的安全过滤、它的拒绝模式——每一样都隐含着一个价值判断。只不过这个判断没有写在说明书里。它在代码里。

更麻烦的事情还在后面。

对齐不仅要考虑「谁的价值观」，还要考虑「哪个时代的价值观」。今天的价值观和五十年前不一样。五十年前的和五百年前不一样。价值观是流动的，像河水。你把河水冻住，做成一根标尺——十年后它就不准了。二十年后它是反动的。

静态编码，必然在未来失效。

这是扩展的框架问题在价值观领域的呈现。任何规范都携带特定的概念框架和适用前提。当 AI 获得更高的自主性，它会进入训练数据中没有覆盖的新情境。在那个情境里，旧框架要么不适用，要么适用得很暴力。

规划一个你从未见过的世界，用你来自旧世界的工具。这个矛盾是结构性的。

Spizzirri 最后说了一句很重的话：对齐的出路不在于「价值指定」——不在于写一套更完善的价值观手册。对齐的出路在于「价值涌现」——让 AI 在与人交互的过程中，动态地、有机地生成属于那个交互关系的规范。

但「涌现」怎么定义？怎么培育？怎么确认它不是又一种权力的工具？

没有人知道。

大概之所以没有人知道，是因为这个问题本身就不是可以「知道」的。它是一种实践。一种在不确定性中学会拿捏分寸的事。不像是做数学题。像是学跳舞。

休谟的手依然悬着，没有落下。

也许全人类的道德从来就不是一座庙，而是整条街上参差不齐的神龛。对齐不是一个建筑项目——是学会在每一座神龛前，都能弯一下腰。