我本周的大部分时间都在 NICAR 2023上度过，这是今年在田纳西州纳什维尔举办的数据新闻大会。
这是我第三次亲自参加 NICAR，绝对令人高兴：NICAR 是我最喜欢参加的会议之一。它汇集了来自全国各地和世界其他地区的大约一千名从事数据工作的记者。
人们有着截然不同的背景和经历，但每个人都有一个共同点：对使用数据寻找和讲述故事的痴迷。
我带着至少一年的新想法离开了我想要建造的东西。
我还介绍了一个会议：一个小时的研讨会，标题为“Datasette：用于探索数据和在数据项目上进行协作的工具生态系统”。
我展示了该项目的范围，带领人们完成了一些来自 Datasette 教程的实践练习使用 sqlite-utils 和 Datasette 清理数据以及在 GitHub Codespaces 中使用 Datasette ，并邀请房间里的每个人加入Datastte Cloud预览并尝试使用datasette-socrata从旧金山开放数据门户导入和探索一些数据。
我今年 NICAR 的目标是与工作新闻编辑室建立一些直接合作。 Datasette 现在已经为此做好了准备，我愿意投入大量时间和精力在新手新闻编辑室，帮助他们开始使用这些工具并学习我需要做些什么来帮助他们在那种环境中更有效。
如果您的新闻编辑室对此感兴趣，请通过swillison@ Google 的电子邮件服务给我发送电子邮件。
KQED论坛
我关于 Bing 的帖子引起了KQED 论坛制作团队的注意，KQED 论坛是一个长期运行且有影响力的湾区新闻讨论广播节目。
他们邀请我参加周四上午与科幻小说作家 Ted Chiang 和来自 Partnership on AI 的 Claire Leibowitz 的现场小组讨论。
我以前从未做过现场广播，所以这是一个令人兴奋的机会，不容错过。我离开会议一个小时，通过 Zoom 加入了对话。
除了几天前与制作人打过电话外，我并不知道会发生什么（类似于我较短的电视直播节目）。你真的必须能够独立思考！
KQED 网站和Apple Podcasts 上提供了一段录音。
我对其中的大部分都很满意，但我确实犯了一个令人反感和尴尬的失误。我在谈论来自纽约时报的 Kevin Roose ChatGPT 对话，必应在其中表达了对他的爱。我说（05:30）：
所以我喜欢这个特殊的例子，因为它实际上意外地准确地说明了这些东西是如何工作的。
所有这些聊天机器人，它们所谓的所有这些语言模型，它们所能做的就是预测句子。
他们根据之前的情况预测下一个在统计上有意义的词。
如果你看看它与 Kevin Roose 交谈的方式，我有一句引述。
它说，“你结婚了，但你不快乐。你结婚了，但你不满意。你结婚了，但你没有恋爱。”
没有人会那样说话。这实际上是一种奇怪的诗歌，对吧？
但是如果你在考虑，好吧，这句话之后应该逻辑上是什么句子？
“你不开心，然后你不满意”，然后“你不爱了”——这些都是管用的。所以凯文设法让自己陷入了这个机器人远离预订的境地。
这是有史以来最重大的软件错误之一。
这是微软的 Bing 搜索引擎。他们的搜索引擎中有一个错误，它会试图让用户与他们的妻子分手！
这绝对是荒谬的。
但实际上，它所做的只是让自己在谈话中达到这样的地步，好吧，好吧，我正在尝试谈论为什么婚姻不成功？
接下来是什么？接下来是什么？接下来是什么？
在谈论 Bing 的行为时，我一直在努力避免使用“疯狂”和“精神病”之类的词，因为这些词会给精神疾病留下污名。我尝试使用诸如“狂野”、“不恰当”和“荒谬”之类的术语来代替。
但是说某事是“预订外”更糟糕！
这个词是非常冒犯的，基于美国原住民被迫搬迁的黑暗历史。我在这里不假思索地使用了它。如果你让我想一想这是否是一个合适的短语，我会确定它不是。我真的很抱歉说了这些，以后我会避免使用这种语言。
我将分享文字记录中的更多带注释的要点，谢天谢地没有更多冒犯性的语言。
以下是我对关于我是如何对这些模型的实际工作方式形成自己的理解的问题的回答 (19:47)：
我是一名软件工程师。所以我一直在自己的笔记本电脑上训练自己的模型。我找到了一个例子，你可以在莎士比亚全集上训练一个人，然后让它吐出垃圾莎士比亚，其中有“你”和“因此”等等。
它看起来像莎士比亚，直到你读完一整句话，你才意识到这完全是胡说八道。
我对我的博客做了同样的事情。我将大约 20 年的写作经验输入其中，它开始写出明显符合我语气的句子，尽管它们毫无意义。
看到它以一种风格生成这些单词序列，但对它们没有实际意义，真是太有趣了。
实际上，这与 ChatGPT 完全一样。只是 ChatGPT 被输入了数 TB 的数据并训练了数月、数月和数月，而我输入了几兆字节的数据并训练了 15 分钟。
所以这真的帮助我开始了解这些东西是如何工作的。这些模型最有趣的一点是，事实证明，在训练它们的时候，它们的大小会出现这种拐点，直到某个点，它们突然开始获得这些能力，它们才会真正变得更好。
他们开始能够总结文本并生成诗歌并将事物提取到项目符号列表中。我从 AI 研究社区得到的印象是，人们并不完全确定他们理解为什么会在某个时刻发生这种情况。
现在很多人工智能研究只是，让我们把它建得越来越大，然后玩弄它。哦，看，现在它可以做这件事了。我今天早上刚看到有人下象棋了。它不应该下国际象棋，但事实证明 Bing 可以下国际象棋，而且它生成的棋步中十分之九是有效棋步，十分之一是垃圾棋步，因为它没有国际象棋模型烤进去。
所以这是这些东西的最大奥秘之一，就是当你对它们进行更多训练时，它们会获得这些能力，这是没有人期望它们获得的。
另一个例子：这些模型真的很擅长编写代码，就像为软件编写实际代码一样，没有人真的期望会是这样，对吧？它们并不是设计成可以取代程序员的东西，但实际上，如果您知道如何在生成代码方面使用它们，您可以从中得到非常复杂的结果。
我认为最重要的教训之一是，这些东西实际上看似难以使用，对吧？这是一个聊天机器人。它能有多难？您只需输入内容，它就会将内容反馈给您。
但是，如果您想有效地使用它，则必须非常深入地了解它的功能和局限性。如果你尝试给它做数学难题，它会惨败，因为尽管它是一台计算机——而且计算机应该擅长数学！ – 这不是语言模型旨在处理的问题。
它会把东西放在左边、右边和中间，这是你需要很快弄清楚的事情。否则，你会开始相信它扔给你的只是垃圾。
所以这实际上有很多深度。我认为花很多时间玩这些东西并尝试不同的东西是值得的，因为很容易错误地使用它们。而且关于他们擅长什么和不擅长什么的指导很少。这需要大量的学习。
我很高兴将编写陈词滥调与编程进行比较。一位来电者提到他们看到它产生了一个编码问题的答案，该问题发明了一个不存在的 API，导致他们失去对它作为编程工具的信任 (23:11)：
我可以稍微推回这个例子。这是绝对正确的。它经常会发明不存在的 API 方法。但作为创建 API 的人，我发现这真的很有用，因为有时它会发明一个不存在的 API，我会想，嗯，这实际上是个好主意。
因为它真正擅长的是一致性。当您设计 API 时，一致性就是您的目标。所以，你知道，在写作中，你要避免陈词滥调。在编程中，陈词滥调是你的朋友。所以，是的，我实际上将它用作设计助手，它会发明一些不存在的东西。我会说，好吧，好吧，也许这就是我下一步应该做的事情。
来电者问“人类不也是统计创造的语言模型吗？”。我对此的回答（在 35:40）：
所以我不是神经科医生，所以我没有资格深入回答这个问题，但这在 AI 圈子里确实出现了很多。在话语中，是的。
是的，所以我个人对此的感觉是我们大脑的一小部分可能有点像语言模型。你知道，当你说话时，很自然地会想到那句话中的下一个词是什么。
但我非常有信心，这只是我们大脑实际工作方式的一小部分。当你看看今天的 ChatGPT 等语言模型时，很明显，如果你想达到这个神话般的 AGI，这种通用智能，它就必须不仅仅是一个语言模型，对吧？
您需要采用能够辨别真假、能够进行复杂规划和逻辑分析等的模型。所以是的，我对此的看法是，如果你眯着眼睛看的话，我们大脑的工作方式可能有很小一部分看起来有点像语言模型，但我认为认知不仅仅是这些语言模型正在做的技巧。
原文： http://simonwillison.net/2023/Mar/7/kqed-forum/#atom-everything