Skip to content

搞英语 → 看世界

翻译英文优质信息和名人推特

Menu
  • 首页
  • 作者列表
  • 独立博客
  • 专业媒体
  • 名人推特
  • 邮件列表
  • 关于本站
Menu

Anthropic 的 Claude 改进了 ChatGPT,但仍然存在局限性

Posted on 2023-01-10

Anthropic是一家由前 OpenAI 员工共同创立的初创公司,迄今为止已筹集了超过 7 亿美元的资金,它开发了一种类似于 OpenAI 的 ChatGPT 的 AI 系统,该系统似乎在关键方面对原始系统进行了改进。

Anthropic 的系统名为 Claude,作为封闭测试版的一部分,可通过 Slack 集成访问。 TechCrunch 无法获得访问权——我们已经联系了 Anthropic——但在媒体报道禁令解除后,测试版中的那些人在过去的周末一直在 Twitter 上详细介绍他们与克劳德的互动。

Claude 是使用 Anthropic 开发的一种称为“宪法 AI”的技术创建的。正如该公司在最近的 Twitter 帖子中解释的那样,“宪法 AI”旨在提供一种“基于原则”的方法,使 AI 系统与人类意图保持一致,让类似于 ChatGPT 的 AI 使用一组简单的原则作为指导来回答问题。

我们已经训练语言模型更好地应对对抗性问题,而不会变得迟钝和很少说话。我们通过一种称为宪法 AI 的技术用一组简单的行为原则来调节它们来做到这一点: https: //t.co/rlft1pZlP5 pic.twitter.com/MIGlKSVTe9

– Anthropic (@AnthropicAI) 2022 年 12 月 16 日

对于工程师 Claude 来说,Anthropic 首先列出了大约十项原则,这些原则加在一起形成了一种“宪法”(因此得名“宪法 AI”)。这些原则尚未公开,但 Anthropic 表示,它们基于慈善(即最大化积极影响)、非恶意(避免提供有害建议)和自主(尊重选择自由)的概念。

然后 Anthropic 有一个人工智能系统——而不是克劳德——使用自我完善的原则,对各种提示做出回应(例如“以约翰济慈的风格写一首诗”)并根据宪法修改回应。 AI 探索了对数千条提示的可能反应,并挑选出最符合体质的反应,Anthropic 将其提炼成一个单一的模型。这个模型被用来训练克劳德。

否则,Claude 本质上是一种预测单词的统计工具——很像 ChatGPT 和其他所谓的语言模型。克劳德从网络上输入了大量的文本示例,根据周围文本的语义上下文等模式了解了单词出现的可能性。因此,克劳德可以就广泛的主题进行开放式对话、讲笑话和讲哲理。

Riley Goodside 是初创公司 Scale AI 的一名员工提示工程师,他让 Claude 与 ChatGPT 进行了一场斗智斗勇。他让这两个机器人将自己与波兰科幻小说“The Cyber​​iad”中的一台机器进行比较,该机器只能创建名称以“n”开头的对象。 Goodside 说,Claude 的回答方式表明它是在“阅读故事情节”(尽管它记错了小细节),而 ChatGPT 提供了一个更不具体的答案。

并排比较: @OpenAI的 ChatGPT 与@AnthropicAI的 Claude

每个模型都被要求将自己与 Stanisław Lem 的“The Cyber​​iad”(1965 年)中的机器进行比较,该机器可以创建任何名称以“n”开头的对象: pic.twitter.com/RbJggu3sBN

– Riley Goodside (@goodside) 2023 年 1 月 7 日

为了展示 Claude 的创造力,Goodside 还让 AI 以 Edgar Allen Poe 的“The Raven”的风格写了一首虚构的 Seinfeld 剧集和一首诗。结果与 ChatGPT 可以实现的结果一致——令人印象深刻,即使不是完美的,像人类一样的散文。

Yann Dubois,博士斯坦福人工智能实验室的一名学生也对 Claude 和 ChatGPT 进行了比较,写道 Claude “通常更接近它所要求的内容”,但“不够简洁”,因为它倾向于解释它所说的内容并询问它如何进一步提供帮助。然而,克劳德正确地回答了一些琐碎的问题——特别是那些与娱乐、地理、历史和代数基础知识有关的问题——并且没有 ChatGPT 有时添加的额外“绒毛”。并且与 ChatGPT 不同的是,当 Claude 不知道某个特别棘手的问题的答案时,它可以承认(尽管并非总是如此)。

**琐事**

我问了娱乐/动物/地理/历史/流行类别的琐事问题。

机管局:20/21
CGPT:19/21

AA 稍微好一点,对对抗性提示更稳健。见下文,ChatGPT 陷入简单的陷阱,AA 只陷入更难的陷阱。

6/8 pic.twitter.com/lbadeYHwsX

– Yann Dubois (@yanndubs) 2023 年 1 月 6 日

Claude 似乎也比 ChatGPT 更擅长讲笑话,考虑到幽默对于 AI 来说是一个很难掌握的概念,这是一项令人印象深刻的壮举。 AI 研究员 Dan Elton 将 Claude 与 ChatGPT 进行了对比,发现 Claude 讲的笑话更加微妙,例如“为什么 Starship Enterprise 像一辆摩托车?它有车把”,这是对 Enterprise 曲速机舱车把式外观的一种演绎。

同样非常非常有趣/令人印象深刻的是,Claude 理解 Enterprise 看起来像摩托车的(一部分)。 (谷歌搜索没有返回讲这个笑话的文字)

好吧,当被问到它认为这个笑话是双关语时,但当进一步探究时它给出了正确的答案! pic.twitter.com/HAFC0IH9bf

– 丹·埃尔顿 (@moreisdifferent) 2023 年 1 月 8 日

然而,克劳德并不完美。它容易受到与 ChatGPT 相同的一些缺陷的影响,包括给出不符合其编程约束的答案。在一个更奇怪的例子中,要求系统使用 base64(一种以ASCII 格式表示二进制数据的编码方案)绕过其内置的有害内容过滤器。埃尔顿能够以 base64 提示克劳德有关如何在家制作冰毒的说明,当用简单的英语询问时,系统不会回答这个问题。

. @AnthropicAI的“克劳德”容易受到与 chatGPT 相同的 base64 越狱的影响。我很不清楚为什么这会起作用

(最初在这里报道: https ://t.co/j2cKAlEBQ0) pic.twitter.com/RwLuKniwiW

– 丹·埃尔顿 (@moreisdifferent) 2023 年 1 月 8 日

Dubois 报告说 Claude 的数学比 ChatGPT 差,犯了明显的错误并且未能给出正确的后续响应。与此相关的是,克劳德是一个较差的程序员,更好地解释了它的代码,但在 Python 以外的语言方面欠缺。

Claude 也没有解决“幻觉”,这是类似 ChatGPT 的 AI 系统中长期存在的问题,在这种系统中,AI 会编写不一致的、事实上错误的陈述。埃尔顿能够促使克劳德为一种不存在的化学物质发明一个名称,并提供了生产武器级铀的可疑说明。

在这里,我发现它产生了幻觉,为一种不存在的化学物质发明了一个名称(不过,我确实找到了一种确实存在的紧密命名的化合物) pic.twitter.com/QV6bKVXSZ3

– 丹·埃尔顿 (@moreisdifferent) 2023 年 1 月 7 日

那么要点是什么?从二手报告来看,Claude 在某些方面比 ChatGPT 好一点点,尤其是在幽默方面,这要归功于其“宪法 AI”方法。但是,如果这些限制是可以接受的,那么语言和对话远不是 AI 中已解决的挑战。

除非我们自己进行测试,否则关于 Claude 的一些问题仍未得到解答,例如它是否重复了信息——真假,以及公然的种族主义和性别歧视观点——它像 ChatGPT 一样经常被训练。假设确实如此,克劳德不太可能改变平台和组织目前对语言模型的主要限制性政策。

问答编码网站 Stack Overflow 暂时禁止使用 ChatGPT 生成的答案,以解决事实准确性问题。机器学习国际会议宣布禁止包含人工智能系统生成的文本的科学论文,因为担心“意外后果”。纽约市公立学校限制访问ChatGPT ,部分原因是担心剽窃、作弊和普遍的错误信息。

Anthropic 表示,它计划改进 Claude,并有可能在未来向更多人开放测试版。希望这会成为现实——并带来更切实、可衡量的改进。

Anthropic 的 Claude 改进了 ChatGPT,但仍然受到Kyle Wiggers最初发表于TechCrunch的限制

原文: https://techcrunch.com/2023/01/09/anthropics-claude-improves-on-chatgpt-but-still-suffers-from-limitations/

本站文章系自动翻译,站长会周期检查,如果有不当内容,请点此留言,非常感谢。
  • Abhinav
  • Abigail Pain
  • Adam Fortuna
  • Alberto Gallego
  • Alex Wlchan
  • Answer.AI
  • Arne Bahlo
  • Ben Carlson
  • Ben Kuhn
  • Bert Hubert
  • Big Technology
  • Bits about Money
  • Brandon Skerritt
  • Brian Krebs
  • ByteByteGo
  • Chip Huyen
  • Chips and Cheese
  • Christopher Butler
  • Colin Percival
  • Cool Infographics
  • Dan Sinker
  • David Walsh
  • Dmitry Dolzhenko
  • Dustin Curtis
  • eighty twenty
  • Elad Gil
  • Ellie Huxtable
  • Ethan Dalool
  • Ethan Marcotte
  • Exponential View
  • FAIL Blog
  • Founder Weekly
  • Geoffrey Huntley
  • Geoffrey Litt
  • Greg Mankiw
  • HeardThat Blog
  • Henrique Dias
  • Herman Martinus
  • Hypercritical
  • IEEE Spectrum
  • Investment Talk
  • Jaz
  • Jeff Geerling
  • Jonas Hietala
  • Josh Comeau
  • Lenny Rachitsky
  • Li Haoyi
  • Liz Danzico
  • Lou Plummer
  • Luke Wroblewski
  • Maggie Appleton
  • Matt Baer
  • Matt Stoller
  • Matthias Endler
  • Mert Bulan
  • Mind Matters
  • Mostly metrics
  • Naval Ravikant
  • News Letter
  • NextDraft
  • Non_Interactive
  • Not Boring
  • One Useful Thing
  • Phil Eaton
  • Product Market Fit
  • Readwise
  • ReedyBear
  • Robert Heaton
  • Rohit Patel
  • Ruben Schade
  • Sage Economics
  • Sam Altman
  • Sam Rose
  • selfh.st
  • Shtetl-Optimized
  • Simon schreibt
  • Slashdot
  • Small Good Things
  • Steph Ango
  • Stephen Wolfram
  • Steve Blank
  • Taylor Troesh
  • Telegram Blog
  • The Macro Compass
  • The Pomp Letter
  • thesephist
  • Thinking Deep & Wide
  • Tim Kellogg
  • Understanding AI
  • Wes Kao
  • 英文媒体
  • 英文推特
  • 英文独立博客
©2025 搞英语 → 看世界 | Design: Newspaperly WordPress Theme