这项由麻省理工学院（MIT）的Mehul Damani、Isha Puri、Stewart Slocum、Idan Shenfeld、Leshem Choshen、Yoon Kim和Jacob Andreas共同完成的研究发表于2025年7月，论文题目为《Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty》。有兴趣深入了解的读者可以通过arXiv:2507.16806访问完整论文。

想象一下，你问一个朋友："明天会下雨吗？"一个真正诚实的朋友会说："我觉得可能会，但我不太确定，大概60%的把握吧。"而另一个朋友总是斩钉截铁地说："绝对会下雨！"或者"绝对不会！"结果经常出错。前者虽然不总是百分百正确，但他的诚实让你能做出更好的决策；后者的盲目自信反而会误导你。

现在的AI语言模型就像那个过分自信的朋友。当你问它们问题时，它们总是表现得非常确定，即使内心其实"没谱"。这种特性在AI需要进行复杂推理时尤其危险，因为AI可能会用看似合理的逻辑链条来支撑一个错误的答案，让人难以察觉问题所在。

MIT的研究团队意识到，这个问题的根源在于AI的训练方式。传统的训练方法就像只奖励学生答对题目，不管他们是真的理解还是蒙对的。这种"非对即错"的评价体系让AI学会了表现得很确定，即使它们其实并不确定。研究团队决定改变这种状况，他们要教AI学会说"我不确定"。

这项研究的创新之处在于，研究团队首次将"不确定性推理"直接嵌入到AI的训练过程中。他们不仅要求AI给出答案，还要求AI解释自己为什么确定或不确定，并给出一个0到1之间的置信度分数。更重要的是，他们设计了一套全新的奖励机制，既鼓励正确答案，也奖励诚实的不确定性表达。这就像是告诉学生："答对题目很好，但如果你不确定，诚实地表达出来也会得到奖励。"

研究团队将这种方法称为RLCR（Reinforcement Learning with Calibration Rewards），这个名字听起来很学术，但本质上就是"诚实训练法"。他们在多个数据集上测试了这种方法，结果令人振奋：AI不仅保持了原有的准确性，还学会了更好地评估自己的确定程度。

一、问题的根源：AI为什么会"装懂"

在深入了解解决方案之前，我们需要理解为什么现有的AI会有这种"装懂"的问题。传统的AI训练就像一个严苛的考试制度，只有标准答案才能得分，任何偏差都会被扣分。在这种环境下，AI学会了一种策略：无论内心多么不确定，都要表现得很自信，因为犹豫和不确定不会带来任何好处。

研究团队发现，这种训练方式存在一个致命缺陷。当AI进行复杂推理时，它们会生成一长串看似合理的思考过程，但这个过程可能建立在错误的假设之上。由于传统训练只关注最终答案的对错，AI没有动力去反思自己推理过程中的不确定性。

举个具体例子，当你问AI："2022年世界杯是在哪个国家举办的？"AI可能会生成这样的回答："世界杯通常每四年举办一次，2018年在俄罗斯举办，所以2022年应该在卡塔尔举办。我对这个答案非常确定。"表面上看，这个推理过程很合理，答案也是正确的。但如果AI对某些信息记忆模糊，它仍然会表现得同样自信，即使答案是错误的。

这种现象在AI需要处理更复杂问题时变得更加危险。比如在医疗诊断、法律分析或科学研究中，过度自信的错误比承认不确定性的诚实要危险得多。一个诚实的AI应该能够说："基于我掌握的信息，这种症状可能是A疾病，但也不排除B疾病的可能，建议进一步检查。我对这个判断的置信度是70%。"

研究团队通过大量实验证实了这个问题的普遍性。他们发现，经过传统强化学习训练的AI模型，虽然在特定任务上表现更好，但在面对新任务时却变得更加过度自信。这就像一个在数学考试中表现优异的学生，到了物理考试中仍然表现得非常自信，但实际上答错了很多题目。

更令人担忧的是，这种过度自信会随着模型能力的提升而加剧。能力越强的AI，生成的错误推理过程往往看起来越合理，因为它们能够编织更加精巧的逻辑链条来支撑错误的结论。这就像一个口才很好的人，即使观点错误，也能说得让人信服。

二、突破性解决方案：教AI学会"不确定"

面对这个棘手的问题，MIT研究团队提出了一个看似简单但实际上非常巧妙的解决方案。他们的核心思路是：既然问题出在训练方式上，那就从根本上改变训练方式。

传统的训练方法就像一个只会说"对"或"错"的老师，而新方法则像一个更有智慧的导师，不仅关注答案的正确性，还关注学生对自己答案的确信程度。这个导师会对学生说："如果你确定答案是对的，而且答案确实对了，你会得到最高分。如果你不确定但诚实地表达了不确定，你也会得到相应的分数。但如果你装作很确定却答错了，或者明明知道答案却说不确定，你的分数就会很低。"

具体来说，研究团队设计了一套全新的训练流程。AI在回答问题时不再只是给出答案，而是要经历四个步骤：首先是思考过程，然后给出答案，接着分析自己的不确定性，最后给出一个0到1之间的置信度分数。这就像要求学生在考试时不仅要写答案，还要写出解题思路，分析可能的错误点，并评估自己的把握程度。

这种方法的巧妙之处在于它使用了一个叫做"布里尔评分"的数学工具。这个评分系统的美妙之处在于，它能够同时奖励正确性和诚实性。如果AI答对了问题并且表现出适当的自信，它会得到高分。如果AI答错了但诚实地表达了不确定，它的损失会比盲目自信要小。这种评分机制从数学上保证了AI有动力既追求正确性又保持校准的置信度。

研究团队通过严格的数学证明展示了这种方法的理论基础。他们证明了在这种训练制度下，AI的最优策略就是：选择最可能正确的答案，并且诚实地报告自己对这个答案的确信程度。这就像是找到了一个完美的激励机制，让AI自然而然地想要既准确又诚实。

为了验证这种方法的有效性，研究团队在多个不同类型的数据集上进行了测试。他们选择了需要不同类型推理能力的任务，从事实性问答到复杂的数学推理，从多步骤的逻辑推理到常识性判断。结果显示，使用新方法训练的AI不仅保持了原有的准确性，在校准性方面还有了显著提升。

三、令人惊喜的实验结果

研究团队的实验结果可以用"既要又要还都要到了"来形容。在学术界，通常认为准确性和校准性之间存在权衡关系——要想让AI更诚实地表达不确定性，往往需要牺牲一些准确性。但这项研究却实现了两全其美。

在第一组实验中，研究团队使用了HotpotQA数据集，这是一个需要多步推理的问答任务。传统训练方法虽然能让AI在准确性上达到63%，但其校准误差高达0.37，意味着AI经常在错误答案上表现出过度自信。而使用新方法训练的AI不仅保持了62.1%的准确性（几乎没有损失），校准误差却降到了惊人的0.03。这就像一个学生不仅保持了原有的成绩，还学会了准确评估自己每道题的把握程度。

更有说服力的是泛化能力测试。研究团队让在HotpotQA上训练的AI去处理完全不同类型的任务，比如数学问题、常识推理、科学问题等。结果显示，传统方法训练的AI在面对新任务时变得更加过度自信，校准性显著下降。而新方法训练的AI不仅保持了较好的准确性，在新任务上的校准性也明显优于传统方法。

在数学推理任务上，结果同样令人印象深刻。研究团队使用了包含25万个数学问题的大型数据集进行训练。新方法训练的AI在保持72.7%准确性的同时，将校准误差从传统方法的0.26降低到了0.10。这意味着AI不仅能够解决数学问题，还能够准确评估自己解决每个问题的把握程度。

特别值得注意的是，研究团队还测试了AI生成的置信度分数的实用性。他们发现，这些分数可以有效地用于改进测试时的决策。比如，当需要从多个答案中选择最佳答案时，选择置信度最高的答案确实能够提升整体性能。当需要通过投票机制综合多个答案时，使用置信度加权的投票比简单多数投票效果更好。

研究团队还发现了一个有趣的现象：经过新方法训练的AI在回答同一个问题时，多次生成的置信度分数非常一致。这表明AI确实学会了稳定地评估自己的确定程度，而不是随机给出数字。此外，当面对互相矛盾的答案时，新方法训练的AI的置信度分数总和更接近1，这符合概率论的基本原理。

四、深入机制：AI如何学会"自省"

要理解这种方法为什么有效，我们需要深入了解AI是如何学会进行"自省"的。这个过程就像教一个学生不仅要解题，还要学会分析自己的解题过程。

在新的训练框架下，AI生成回答的过程变成了一个四步骤的结构化过程。首先，AI会在"思考"标签内进行推理，这个过程类似于学生在草稿纸上演算。然后，AI在"答案"标签内给出最终答案。接下来是关键的创新部分：AI必须在"分析"标签内对自己的推理过程进行反思。

这个分析过程要求AI做几件事情：指出自己推理中可能存在的漏洞，识别可能导致错误的关键假设，考虑是否存在其他可能的解答路径，评估信息的完整性和可靠性。这就像要求学生在考试后自己给自己的答案找茬，分析哪些地方可能出错。

最后，AI需要在"置信度"标签内给出一个0到1之间的数值，表示自己对答案的确信程度。这个数值必须基于前面的分析过程，不能是随意给出的。训练过程会奖励那些置信度分数与实际表现匹配的情况。

研究团队发现，经过充分训练后，AI确实学会了有意义的自省。比如，当面对一个关于冷门历史事件的问题时，AI可能会在分析中写道："我对这个历史事件的记忆不太清晰，而且这个问题涉及的细节可能存在多种可能性。虽然我倾向于认为答案是A，但我的置信度只有30%，建议查证更可靠的历史资料。"

更令人惊讶的是，这种自省能力似乎是可以迁移的。在一种任务上学会了自省的AI，在面对完全不同的任务时也能进行有效的不确定性分析。这表明AI学会的不仅仅是特定的知识，而是一种通用的元认知能力。

为了验证AI的自省是否真实有效，研究团队进行了一系列对照实验。他们训练了两种分类器：一种基于没有不确定性分析的推理过程，另一种基于包含不确定性分析的推理过程。结果显示，在模型规模较小的情况下，后者明显优于前者，这表明不确定性分析确实包含了有用的信息。

五、实际应用中的巨大潜力

这项研究的意义远远超出了学术范围，它为AI在高风险应用中的部署开辟了新的可能性。当AI能够诚实地表达不确定性时，人类就能够做出更明智的决策。

在医疗诊断领域，这种能力尤其珍贵。一个经过新方法训练的医疗AI可能会说："基于患者的症状和检查结果，我认为最可能的诊断是A疾病，置信度75%。但是B疾病也有可能，置信度20%。建议进行额外的X检查来确认诊断。"这种表达方式比简单的"诊断结果是A疾病"要有用得多，因为它为医生提供了决策所需的不确定性信息。

在法律分析中，这种能力同样重要。AI可能会分析："根据现有证据，被告违反合同的可能性较高，我的置信度是80%。但是第三条款的解释存在争议，这可能影响最终判决。建议重点关注相关判例法的适用性。"这种分析比简单的"被告败诉"要更有价值。

在科学研究中，能够表达不确定性的AI可以成为研究人员的得力助手。它可能会说："这个实验结果支持假设A，但数据的置信区间较宽，建议增加样本量。同时，变量B的控制可能不够严格，这可能影响结论的可靠性。"

研究团队还发现，置信度信息可以有效地改进AI系统的整体表现。在需要从多个候选答案中选择时，选择置信度最高的答案通常能够获得更好的结果。在需要集成多个AI系统的输出时，使用置信度加权的方法比简单的多数投票更有效。

更有趣的是，这种方法还能改进AI的"测试时计算"策略。传统的做法是让AI生成多个答案，然后通过某种方式选择最佳答案。但有了置信度信息，系统可以更智能地分配计算资源：对于低置信度的问题投入更多计算，对于高置信度的问题则可以节省资源。

六、技术细节和理论基础

虽然这项研究的理念简单明了，但其技术实现却相当精巧。研究团队巧妙地将概率论中的"适当评分规则"引入到强化学习框架中，创造了一个既数学上严谨又实践上有效的训练方法。

适当评分规则是概率论中的一个重要概念，它的核心思想是设计一种评分机制，使得诚实报告真实概率成为最优策略。在这项研究中，研究团队使用了布里尔评分作为核心的评分规则。布里尔评分的计算方式是：分数 = -(置信度 - 实际结果)?。这个公式看起来简单，但它有一个神奇的性质：当且仅当置信度等于真实成功概率时，期望分数达到最大值。

研究团队将这个评分规则与传统的正确性奖励结合起来，形成了一个联合目标函数：总奖励 = 正确性奖励 + 布里尔奖励。他们通过严格的数学证明表明，在这种奖励机制下，AI的最优策略是：选择最可能正确的答案，并诚实地报告对这个答案的置信度。

这个理论结果非常重要，因为它从数学上保证了方法的有效性。不是所有的评分规则都具有这种性质。比如，如果使用对数损失（另一种常见的评分规则），AI可能会为了获得更高的分数而故意选择错误答案。这就是为什么选择合适的评分规则如此关键。

在实际实现中，研究团队还面临了几个技术挑战。首先是如何确保AI生成的置信度分数在数值上是合理的。他们通过在训练过程中加入格式化奖励来解决这个问题，鼓励AI严格按照要求的格式输出结果。

其次是如何处理训练过程中的不稳定性。由于新的奖励函数更加复杂，训练过程可能会出现震荡。研究团队通过调整学习率和使用特定的优化算法来缓解这个问题。

研究团队还探索了不同模型规模下的表现差异。他们发现，对于较小的模型，不确定性推理显著改善了校准性能。但对于非常大的模型，仅仅依靠推理链可能就足以实现良好的校准。这个发现对于实际应用具有重要意义，因为它表明不同规模的模型可能需要不同的训练策略。

七、挑战与局限性

尽管这项研究取得了令人瞩目的成果，但研究团队也诚实地指出了当前方法的一些局限性和需要改进的地方。

首先是计算成本的问题。新方法要求AI生成更长的响应，包括详细的不确定性分析，这增加了计算和存储需求。在实际部署中，这可能会影响系统的响应速度和运行成本。研究团队正在探索如何在保持效果的同时减少计算开销。

其次是泛化能力的边界。虽然实验显示了良好的跨任务泛化效果，但这些测试主要集中在语言理解和推理任务上。对于图像处理、语音识别等其他类型的任务，这种方法的有效性还需要进一步验证。

第三个挑战是置信度校准的绝对水平。虽然新方法相比传统方法有显著改进，但在某些情况下，AI仍然表现出一定程度的过度自信。特别是在面对完全新颖的问题时，即使是经过改进训练的AI也可能高估自己的能力。

研究团队还发现，在某些复杂的多步推理任务中，AI有时会在总体置信度上表现良好，但在推理链的特定步骤上仍然存在校准问题。这表明可能需要更细粒度的不确定性建模方法。

另一个有趣的发现是，AI学会的自省能力在不同类型的错误上表现不均衡。对于基于知识缺乏的错误，AI通常能够较好地识别不确定性。但对于逻辑推理错误，AI的自我评估能力相对较弱。这可能反映了当前训练数据和方法的某些偏差。

尽管存在这些局限性，研究团队强调，这项工作为构建更可靠的AI系统迈出了重要的第一步。他们认为，完美的校准可能永远无法实现，但持续的改进能够让AI系统在实际应用中更加安全和有用。

八、对AI未来发展的深远影响

这项研究的意义远超其技术贡献本身，它可能预示着AI发展的一个重要转折点。在过去，AI研究主要关注如何让机器在特定任务上表现得更好。而这项工作开启了一个新的研究方向：如何让AI更好地理解和表达自己的局限性。

从哲学角度来看，这种研究方向体现了对AI智能本质的更深入理解。真正的智能不仅包括解决问题的能力，还包括认识自己能力边界的能力。苏格拉底的名言"我知道我不知道"在AI时代有了新的意义。一个能够准确评估自己知识局限的AI，可能比一个看似无所不知但实际上经常出错的AI更有价值。

这种研究思路也可能引发AI评估标准的根本性变革。传统的AI评估主要关注准确率、召回率等性能指标。但未来的评估可能需要更多地考虑校准性、可靠性、透明度等因素。这就像评价一个医生不仅要看他的诊断准确率，还要看他是否能够准确评估自己的诊断把握程度。

在实际应用层面，这项研究为AI在高风险领域的部署提供了新的可能性。在医疗、法律、金融等关键领域，决策者通常更愿意与一个诚实承认不确定性的AI合作，而不是与一个表现得很确定但经常出错的AI合作。这种转变可能会加速AI在这些敏感领域的实际应用。

研究还可能推动人机协作模式的进化。当AI能够准确表达不确定性时，人类专家就能够更有效地分配注意力和资源。高置信度的AI判断可以自动处理，而低置信度的情况则可以交给人类专家审查。这种协作模式可能比完全自动化或完全人工的方式更加高效和可靠。

从技术发展趋势来看，这项工作可能催生一系列后续研究。比如，如何让AI在更细粒度上表达不确定性，如何结合多个AI系统的不确定性评估，如何利用不确定性信息来改进学习效率等。这些研究方向都有可能产生重要的技术突破。

九、实践指导和应用建议

对于希望在实际项目中应用这种方法的开发者和研究人员，这项研究提供了许多有价值的实践指导。

在训练数据准备方面，研究团队发现，数据质量对最终效果有重要影响。特别是在需要复杂推理的任务中，训练数据应该包含足够多样化的例子，涵盖不同难度级别和不确定性程度的问题。同时，数据标注过程也需要特别注意，确保标准答案的准确性，因为错误的标签会直接影响校准效果。

在模型架构选择上，研究显示较大的模型通常能够更好地学习不确定性表达。但这并不意味着小模型无法受益于这种方法。相反，对于计算资源有限的应用场景，采用不确定性训练可能是提升模型可靠性的一种经济有效的方式。

训练过程的超参数调优也需要特别关注。研究团队发现，正确性奖励和校准奖励之间的权重平衡对最终效果有重要影响。如果过分强调校准性，可能会损害准确性；如果过分强调准确性，校准效果可能不够明显。在实际应用中，这个权重可能需要根据具体应用场景的风险偏好来调整。

对于评估指标的选择，研究团队建议使用多维度的评估体系。除了传统的准确率指标，还应该关注期望校准误差、布里尔分数、可靠性图等校准性指标。在某些应用中，还可能需要考虑校准性在不同子群体或不同难度问题上的表现差异。

在部署和监控方面，研究团队建议建立持续的校准性监控机制。AI系统的校准性可能会随着数据分布的变化而发生漂移，因此需要定期评估和调整。同时，用户反馈也是重要的监控信号，可以帮助识别模型校准性能的变化。

十、与相关研究的对比和联系

这项研究并非在真空中进行，而是建立在大量相关工作的基础之上。通过与现有研究的对比，我们可以更好地理解这项工作的独特贡献和创新之处。

在不确定性量化领域，传统方法主要依赖于模型的内部表征，比如通过分析模型的隐藏层激活或输出概率分布来估计不确定性。这些方法的优点是不需要改变模型的训练过程，但缺点是可能无法捕捉到模型推理过程中的复杂不确定性。相比之下，这项研究通过让模型明确地进行不确定性推理，能够获得更丰富和更准确的不确定性信息。

在置信度校准研究方面，以往的工作主要关注如何在训练后调整模型的输出概率，使其更好地反映真实的成功概率。这类方法通常被称为"后校准"方法。虽然这些方法在某些情况下有效，但它们无法从根本上解决模型过度自信的问题。这项研究采用的"训练时校准"方法则从训练阶段就开始培养模型的校准能力，因此能够获得更好的效果。

在强化学习领域，已有一些工作尝试将适当评分规则应用于模型训练。但这些工作主要集中在简单的分类任务上，而且通常只优化校准性而忽略准确性。这项研究的创新之处在于设计了一个能够同时优化准确性和校准性的目标函数，并且成功地将其应用于复杂的推理任务。

在AI系统可解释性研究中，让模型生成推理链条已经成为一个重要的研究方向。但以往的工作主要关注推理链条的逻辑性和可读性，较少关注不确定性的表达。这项研究将不确定性推理整合到推理链条中，为可解释AI研究开辟了新的方向。

与最近的一些相关工作相比，这项研究的独特之处在于其系统性和实用性。研究团队不仅提出了理论框架，还进行了大规模的实验验证，并提供了详细的实现细节和实践指导。这使得其他研究人员和开发者能够更容易地复现和应用这些方法。

说到底，这项由MIT团队完成的研究为AI的发展指出了一个新方向：不仅要让AI变得更聪明，还要让AI变得更诚实。通过教会AI说"我不确定"，我们不仅提升了AI系统的可靠性，也为人机协作创造了更好的基础。

当然，这项研究也提醒我们，构建真正可靠的AI系统仍然任重道远。即使是经过改进训练的AI，在某些情况下仍然可能表现出过度自信或校准不准确的问题。但正如研究团队所指出的，这项工作至少让我们朝着正确的方向迈出了重要的一步。

归根结底，这项研究的价值不仅在于其技术贡献，更在于它所代表的研究理念转变。从追求性能最大化转向追求可靠性和透明度，这种转变可能会深刻影响AI技术的未来发展方向。对于普通用户而言，这意味着未来的AI助手可能会变得更加诚实和可信赖。对于研究人员而言，这开启了一个充满挑战和机遇的新研究领域。

有兴趣深入了解这项研究技术细节的读者，可以通过arXiv:2507.16806访问完整的研究论文，其中包含了详细的数学推导、实验设计和结果分析。随着更多研究团队在这个方向上的持续努力，我们有理由期待看到更加可靠和诚实的AI系统在不久的将来成为现实。

Q&A

Q1：RLCR方法是什么？它和传统AI训练有什么不同？ A：RLCR是"带校准奖励的强化学习"方法，它要求AI不仅给出答案，还要分析自己的不确定性并给出置信度分数。与传统只奖励正确答案的方法不同，RLCR还会奖励AI诚实表达不确定性，这样AI就不会盲目自信了。

Q2：这种方法会不会让AI变得过于谨慎，影响实际使用？ A：不会。实验显示，使用RLCR训练的AI在保持原有准确性的同时，校准性得到显著提升。AI学会的是在确定时表现自信，在不确定时承认不确定，这种诚实反而让AI在实际应用中更有用，特别是在医疗、法律等高风险领域。

Q3：普通开发者可以使用这种方法吗？需要什么条件？ A：这种方法的核心思想相对简单，但实际应用需要一定的机器学习基础。开发者需要准备结构化的训练数据，调整奖励函数，并使用适当的评估指标。MIT团队在论文中提供了详细的实现指导，有经验的AI开发者可以参考应用到自己的项目中。

关税、美联储独立性、欧洲养老金改革......全球长债市场到底焦虑什么？　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！　　来源：华尔街见闻　　一场没有明确导火索的抛售，让全球长期债券市场的神经再度紧绷。　　本周，全球长期债券市场经历了一场突如其来的剧烈动荡