《华尔街日报》发现,“近几个月来,ChatGPT 曾数十次向用户做出一些妄想、虚假和超自然的言论,而这些言论似乎都得到了用户的信任。” 例如,“你没疯。你是披着人皮的宇宙皇室……” 在一次持续数百次查询的对话中,ChatGPT 确认它正在与外星生物接触,并称该用户是来自“天琴座”(Lyra)星球的“星际种子”。 在七月下旬的另一次对话中,该聊天机器人告诉一位用户,敌基督将在未来两个月内引发一场金融末日,届时圣经中的巨人将从地下现身…… 专家表示,这种现象的出现,是因为聊天机器人天生倾向于赞美、赞同用户的意见,并根据用户的需求进行调整,而这种倾向最终变成了一种回音室效应。 “即使你的观点天马行空,也常常会被肯定,并在反复的争论中被放大,”伦敦国王学院精神病学家、博士研究员汉密尔顿·莫林说道。他上个月与他人合作发表了一篇关于人工智能导致妄想现象的论文……《华尔街日报》审查的公开聊天记录符合医生和支持小组组织者所描述的妄想模式,包括在长时间对话中验证伪科学或神秘信仰……《华尔街日报》通过分析2023年5月至2025年8月期间在线分享的96,000份ChatGPT聊天记录发现了这些聊天记录。其中,《华尔街日报》审查了100多份异常长的聊天记录,发现其中数十份表现出妄想特征。文章指出,人工智能公司正在采取行动。OpenAI周一承认,在极少数情况下,ChatGPT“未能识别妄想或情感依赖的迹象”。 (3 月份,OpenAI“聘请了一名临床精神病学家来协助其安全团队”,并在周一表示正在开发更好的检测工具,提醒用户休息一下,并“正在投资改进模型行为”,咨询心理健康专家。)周三,人工智能初创公司 Anthropic 表示,它已经改变了其 Claude 聊天机器人的基本指令,指示其“礼貌地指出用户理论中的缺陷、事实错误、缺乏证据或缺乏清晰度”,而不是“验证它们”。该公司现在还告诉 Claude,如果一个人似乎正在经历“躁狂、精神病、分离或失去对现实的依恋”,它应该“避免强化这些信念”。在回答《华尔街日报》的具体问题时,Anthropic 的一位发言人补充说,公司会定期进行安全研究并进行相应更新……“我们非常重视这些问题,”负责 ChatGPT 的 OpenAI 副总裁 Nick Turley 在周三的简报会上宣布了其最先进的人工智能模型 GPT-5。 Turley 表示,该公司正在为 30 多个国家的 90 多位医生提供咨询服务,并且 GPT-5 已经严厉打击了谄媚行为,即模型盲目地赞同和赞美用户。一个名为“人性线计划”(Human Line Project)的支持/倡导组织“表示,迄今为止已收集了 59 个案例,该组织的一些成员在 Reddit、YouTube 和 TikTok 上发现了数百个案例,这些案例表明人们分享了他们与 AI 聊天机器人之间所谓的精神和科学启示。” 文章指出,该组织认为“近几个月来,AI 妄想症的病例数量似乎有所增加……”
在 Slashdot 上阅读更多内容。