
人工智能模型经常会产生错误的输出,或称“幻觉”。OpenAI 现已承认,这可能是其在训练模型时犯下的根本性错误造成的。The Register:OpenAI 的承认来自一篇于 9 月初发表的论文 [PDF],题为《语言模型为何会产生幻觉》,由三位 OpenAI 研究人员和佐治亚理工学院杰出计算机科学教授 Santosh Vempala 撰写。该论文的结论是“大多数主流评估都奖励幻觉行为”。根本问题在于,人工智能模型被训练来奖励猜测,而不是正确答案。猜测可能会产生一个表面上合适的答案。告诉用户你的人工智能找不到答案,这不太令人满意。作为一个测试案例,该团队试图让 OpenAI 机器人报告论文作者之一、OpenAI 研究科学家 Adam Tauman Kalai 的生日。它产生了三个错误的结果,因为训练师教会了引擎返回答案,而不是承认自己不知道。 OpenAI 在发布的博客文章中承认:“在数千道测试题中,猜测模型最终在记分牌上的表现比承认不确定性的谨慎模型更好。”
在 Slashdot 上阅读更多内容。