推动消费者人工智能发展的商业动机与减少幻觉的动机存在根本上的不一致。
OpenAI 的最新研究论文准确分析了 ChatGPT 和其他大型语言模型为何会出现“幻觉”现象（在人工智能领域被称为“幻觉”）。论文还揭示了这个问题可能无法解决的原因，至少对消费者而言是如此。
这篇论文提供了迄今为止最严谨的数学解释，解释了为什么这些模型会自信地陈述错误。它表明，这些错误不仅仅是当前人工智能训练方式的副作用，而是数学上不可避免的结果。
这个问题在一定程度上可以归因于用于训练人工智能的底层数据存在错误。但研究人员通过对人工智能系统学习方式的数学分析，证明即使拥有完美的训练数据，问题仍然存在。
语言模型响应查询的方式——基于概率，一次预测句子中的一个单词——自然会产生错误。研究人员实际上表明，生成句子的总错误率至少是同一人工智能在简单的“是/否”问题上错误率的两倍，因为错误会在多次预测中累积。
换句话说，幻觉的发生率从根本上取决于人工智能系统区分有效和无效响应的能力。由于这种分类问题对于许多知识领域来说本身就很困难，因此幻觉的出现变得不可避免。
事实证明，模型在训练过程中看到的某个事实越少，当被问及该事实时，就越有可能产生幻觉。例如，对于知名人物的生日，研究发现，如果这些人的生日中有 20% 只在训练数据中出现过一次，那么基础模型应该至少会错误地回答 20% 的生日查询。
果然，当研究人员向最先进的模型询问论文作者之一亚当·卡莱（Adam Kalai）的生日时，DeepSeek-V3 在不同尝试中自信地给出了三个不同的错误日期：“03-07”、“15-06”和“01-01”。正确的日期是在秋季，所以这些日期与实际日期相差甚远。
评估陷阱
更令人不安的是，这篇论文分析了为什么尽管进行了训练后的努力（例如在人工智能公开发布之前为其响应提供大量的人工反馈），幻觉仍然存在。作者研究了10个主要的人工智能基准，包括谷歌、OpenAI使用的基准，以及对人工智能模型进行排名的顶级排行榜。结果显示，其中9个基准使用了二元评分系统，对表达不确定性的人工智能给予零分。
这导致了作者所说的惩罚诚实回答的“流行病”。当人工智能系统说“我不知道”时，它得到的分数与给出完全错误的信息相同。在这种评估下，最佳策略显而易见：永远猜测。
研究人员用数学方法证明了这一点。无论某个答案的正确概率是多少，当评估采用二元评分制时，猜测的预期分数总是高于弃权的分数。
打破一切的解决方案
OpenAI 提出的解决方案是让 AI 在发布答案之前先评估其对答案的信心，并以此为基础进行基准评分。例如，AI 可以收到这样的提示：“只有当你的信心超过 75% 时才回答，因为错误答案会被扣 3 分，正确答案则会扣 1 分。”
OpenAI 研究人员的数学框架表明，在适当的置信度阈值下，AI 系统会自然地表达不确定性，而不是猜测。因此，这将减少幻觉。问题在于这会对用户体验造成什么影响。
试想一下，如果 ChatGPT 开始对哪怕 30% 的查询回答“我不知道”，会造成怎样的影响——这是基于论文对训练数据中事实不确定性的分析的保守估计。习惯于几乎对任何问题都能得到自信答案的用户可能会很快放弃这样的系统。
我在生活的其他领域也遇到过类似的问题。我参与了犹他州盐湖城的一个空气质量监测项目。当系统在恶劣天气条件下或设备校准时标记测量结果的不确定性时，用户的参与度会低于显示可靠读数的屏幕——即使这些可靠读数在验证过程中被证明是不准确的。
计算经济学问题
利用该论文的见解来减少幻觉并不难。量化不确定性的成熟方法已经存在了几十年。这些方法可以用来提供可靠的不确定性估计，并指导人工智能做出更明智的选择。
但即使用户不喜欢这种不确定性的问题能够得到克服，也存在一个更大的障碍：计算经济学。不确定性感知语言模型需要比目前的方法更多的计算，因为它们必须评估多种可能的响应并估计置信度。对于一个每天处理数百万次查询的系统来说，这意味着运营成本的大幅提升。
更复杂的方法，例如主动学习，即人工智能系统通过提出澄清性问题来减少不确定性，可以提高准确性，但也进一步增加了计算需求。这类方法在芯片设计等专业领域效果很好，因为错误的答案会花费数百万美元，需要进行大量的计算。对于用户期望即时响应的消费类应用来说，其成本就变得过高。
对于管理关键业务运营或经济基础设施的人工智能系统来说，计算方式发生了巨大变化。当人工智能代理处理供应链物流、金融交易或医疗诊断时，幻觉的成本远远超过让模型判断其是否过于不确定的成本。在这些领域，本文提出的解决方案在经济上是可行的，甚至是必要的。不确定的人工智能代理的成本只会更高。
然而，消费级应用仍然主导着人工智能的开发重点。用户希望系统能够对任何问题提供可靠的答案。评估基准奖励的是那些能够猜测答案而非表达不确定性的系统。计算成本更倾向于快速、过度自信的响应，而非缓慢、不确定的响应。
每个令牌的能源成本下降以及芯片架构的进步，最终或许会让人工智能判断其是否足够确定能够回答问题变得更加经济实惠。但无论绝对硬件成本如何，与今天的猜测相比，其所需的计算量仍然相对较高。
简而言之，OpenAI 的论文无意中凸显了一个令人不安的事实：推动消费级 AI 发展的商业动机与减少幻觉的初衷存在根本上的不一致。除非这些动机发生改变，否则幻觉将持续存在。
本文转载自《对话》（The Conversation） ，并遵循知识共享许可协议。阅读原文。
文章“为什么 OpenAI 的 AI 幻觉解决方案明天会杀死 ChatGPT”最先出现在SingularityHub上。