跳到正文
随着高性能GPU集群广泛部署，贝叶斯概率将逐步进入人工智能的中心。频率学派不会消失，但它在智能系统内部可能退居辅助位置。基于贝叶斯更新的下一代大模型，也许比单纯扩大参数规模更接近AGI。
这是一个激进判断，但不是毫无依据。
贝叶斯方法的核心理论早已存在。它长期面对的困难，是如何在高维空间中计算后验概率。当模型拥有海量参数，参数之间又存在复杂关系时，精确推断几乎不可行。
GPU与深度学习使高维后验的近似计算开始具备工程可行性。问题由此发生变化。我们不再只问贝叶斯推断能否计算，而要问：当它变得可以计算时，会怎样改变Transformer？
语言模型输出的概率缺少了什么
标准Transformer已经会输出概率。在生成第t个词元时，模型根据上文和一组固定参数θ*，计算：
Softmax给出的概率可以帮助模型选择下一个词元，但它描述的是一组固定参数下的语言分布。这并不等于模型知道自己掌握了多少知识。
一个词元的概率较高，可能是因为这种表达在语言中很常见，也可能是因为当前上下文强烈指向它。它无法直接告诉我们模型是否见过可靠证据，也无法完整区分事实冲突、知识缺失和问题本身的歧义。
贝叶斯Transformer试图进一步估计参数后验：
进行预测时，它不再完全相信某一组参数，而是综合多个受到训练数据支持的参数状态：
普通Transformer问的是："当前模型会怎样回答？"
贝叶斯Transformer关心的是："所有与现有证据相容的模型，会怎样回答？"
如果从后验中抽取的多个模型给出相近答案，系统可以相对确信。如果它们出现明显分歧，便说明模型对这个问题仍有较强的认知不确定性。这比单纯观察Softmax概率更接近"知道自己不知道什么"。
贝叶斯概率可以进入Transformer的哪些位置
第一条路径是参数。
完整的贝叶斯神经网络会用概率分布表示模型参数，而不是只保存一个最优值。但给Transformer的全部参数维护后验，计算和内存成本都很高。近期更现实的做法，是只对输出层、适配器或者少量关键参数进行贝叶斯化。
ICLR 2024发表的《Bayesian Low-rank Adaptation for Large Language Models》提出Laplace-LoRA。它冻结基础模型，只对LoRA参数建立拉普拉斯后验近似，从而改善微调后模型的不确定性校准。论文
这条路线很符合现实。下一代模型未必需要把全部参数改造成随机变量。一个确定性的基础模型，加上一组能够表达后验不确定性的适配模块，可能已经可以带来明显变化。
第二条路径是注意力。
标准注意力会根据Query和Key产生一组相对确定的权重。模型决定关注哪些词、哪些上下文片段，然后沿着这条信息路径继续计算。但语言经常存在多种合理解释，模型也可能无法确定应该关注哪条证据。
2020年的《Bayesian Attention Modules》把注意力权重视为连续潜变量，在贝叶斯框架下学习其近似后验。研究在语言理解、机器翻译和BERT微调等任务中测试了这种方法，也报告了更好的不确定性估计。论文
随机注意力允许模型暂时保留多种信息组织方式。当一句话存在歧义时，系统不必过早押注其中一种解释。后续证据可以继续改变不同注意力结构的权重。
第三条路径是上下文。
大模型已经表现出上下文学习能力。用户在提示中给出几个示例，模型无需更新参数，也能推断当前任务的规则。
2022年的《An Explanation of In-context Learning as Implicit Bayesian Inference》提出，在特定的数据生成假设下，模型会从示例中推断一个共享的潜在概念。提示中的示例相当于观测证据，模型根据这些证据更新对任务的判断。论文
这个解释不能证明所有大模型都在执行严格的贝叶斯推断。它说明的是，Transformer的上下文学习可以在一些条件下呈现出贝叶斯结构。
每个示例都在改变模型对"当前任务究竟是什么"的判断。上下文因此不只是临时指令，也可以被理解为一组用于后验更新的证据。
Transformer可以直接成为贝叶斯推断器
贝叶斯方法进入Transformer，还有一条更有想象力的路线：让Transformer学习如何执行推断。
传统贝叶斯计算通常要针对每个新问题运行采样或优化。这个过程准确但缓慢。如果我们事先从某个任务先验中生成大量问题，并让Transformer学习从观测数据直接预测后验结果，那么昂贵计算就可以被压缩进模型参数。
这类方法被称为摊销推断。训练阶段消耗大量算力，推理阶段只需要一次或少数几次前向传播。
2022年的《Transformers Can Do Bayesian Inference》提出Prior-Data Fitted Networks。研究者从预先设定的任务分布中反复采样数据，让Transformer学习根据观测样本进行后验预测。训练完成后，模型可以通过一次前向计算近似某些原本昂贵的贝叶斯推断过程。论文
到2025年，《Can Transformers Learn Full Bayesian Inference in Context?》又向前推进了一步。研究不再只让Transformer输出一个预测结果，而是让它在上下文中生成复杂后验的样本。在若干统计模型上，这些样本的质量可以接近传统的MCMC或变分推断方法。论文
这些研究至少证明了一件事：Transformer不只能被贝叶斯方法改造，它也可以学习成为一个近似贝叶斯推断器。
GPU集群在这里扮演的角色很直接。训练阶段可以模拟大量任务、假设与观测组合，迫使模型学会把"先验加证据得到后验"压缩成一次前向计算。过去每遇到一个问题都要重新运行的计算，将来可能被预训练成一种模型能力。
从词元概率走向假设概率
即使我们成功估计了参数后验，语言模型仍然没有完全解决知识不确定性。原因在于词元概率和语义概率不是一回事。
同一个观点可以被写成许多不同句子。模型把概率分配给词元序列时，语义相同的答案可能被分散到大量表达方式中。一个语言上常见的句子，也可能缺少事实依据。
下一代模型需要估计的，也许不只是：
还包括：
系统需要先识别语言背后的假设，再计算每个假设得到了多少证据支持。语言生成应该发生在信念更新之后，而不是代替信念更新。
这也是贝叶斯方法可能绕过自然语言限制的地方。它不需要抛弃语言。语言仍然负责输入和表达，但不再承担全部知识结构。系统可以在语言背后维护多个相互竞争的假设，同时保留它们的后验概率。
如果证据不足，模型不必立即生成唯一答案。它可以要求澄清，也可以调用外部工具寻找最能区分不同假设的信息。获得新证据之后，模型再更新内部状态。
这时，搜索、工具调用和提问不再只是预先编排的工作流，而是降低不确定性的行动。
下一代Transformer可能是什么样子
未来的大模型很可能不会成为一个覆盖全部参数的纯贝叶斯神经网络。参数规模越大，完整后验就越难维护。即使GPU继续扩张，模型规模本身也在增加。
更可行的是一种混合结构。
预训练Transformer负责压缩语言和世界知识。它提供一个强大的基础模型，也可以被理解为某种经验先验。贝叶斯模块则负责维护当前任务中的假设、证据和不确定性。
上下文不再只是一串文字，而是临时证据。长期记忆需要记录知识来源和更新时间。检索工具负责获得新的观察。决策模块根据后验概率和行动代价，判断应该回答、追问、搜索还是暂缓结论。
在这种架构中，大模型的内部状态不再只有隐藏向量，还可能包含显式或近似的信念分布。
模型也不再把每次交互视为孤立生成。一次回答的结果、工具返回的信息和用户的纠正，都可以成为下一次更新的证据。学习由周期性训练扩展为持续的信念修正。
这才是贝叶斯方法对Transformer更深的影响。它改变的不只是概率估计方式，也会改变模型组织知识、选择行动和吸收反馈的方法。
频率学派会成为替补吗
说频率学派将"沦为替补"，需要说明这里的替补是什么意思。
频率方法不会退出人工智能。模型的准确率、错误率和长期可靠性，仍然要通过重复实验进行评估。贝叶斯系统给出的置信度是否可信，也需要从长期运行结果中检查。
变化发生在分工上。
频率方法更适合从外部评价系统。贝叶斯方法更适合从内部描述智能体怎样形成信念，如何根据证据改变判断。
前者回答模型在大量测试中表现如何。后者回答模型此刻相信什么，为什么相信，以及什么信息会使它改变看法。
如果未来的大模型需要在开放环境中持续学习，这种内部更新能力会越来越重要。AGI面对的不会是一套固定试卷，而是不完整的信息、变化的环境和不能重复的人生事件。它必须在证据有限时行动，也必须在发现错误后修正自己。
从这个意义上说，贝叶斯方法比单纯的参数扩张更接近智能问题本身。
算力足够之后，问题仍未结束
贝叶斯理论的计算瓶颈正在减弱，但算力不会自动产生贝叶斯智能。
我们仍然要解决先验如何形成、证据来源如何验证、错误模型如何被发现，以及参数不确定性怎样上升到语义和世界模型层面。一个准确的权重后验，不等于一个准确的知识后验。模型可能清楚地知道自己的参数不稳定，却仍然没有正确描述现实的概念结构。
因此，算力是必要条件之一，却不是完整答案。
现有研究已经证明Transformer可以使用随机注意力、估计局部参数后验，也可以在受控条件下学习贝叶斯推断。但从公开论文看，能够在开放世界中持续维护知识后验的通用大模型仍未出现。
这恰好说明下一步可能在哪里。
过去的大模型把越来越多知识压缩进固定参数，然后依靠上下文触发这些知识。未来的大模型可能还要维护一套持续变化的信念状态。它要区分知识、假设和未知，也要知道哪些新证据值得主动寻找。
那时，语言模型的核心将不再只是预测下一个词，而是不断完成一次更接近认知的循环：
根据过去形成先验，通过观察获得证据，更新对世界的判断，再根据新的判断选择行动。
如果这条路线成立，通往AGI的下一次跨越，可能不会来自一个单纯更大的Transformer。它会来自一个终于学会管理自身不确定性的Transformer。
