一个可怕的人工智能生成的女人潜伏在潜在空间的深渊中

机器里有鬼。机器学习，就是这样。

我们都经常对人工智能在写作和创造方面的能力感到惊讶，但谁知道它有这样一种灌输恐怖的能力呢？一位 AI 研究人员的一项令人不寒而栗的发现发现，构成深度学习模型记忆的“潜在空间”至少被一个可怕的人物——一个现在被称为“Loab”的满脸血腥的女人所困扰。

（警告：前方令人不安的图像。）

但这个 AI 模型真的闹鬼吗，还是 Loab 只是在各种奇怪的技术环境下碰巧出现的图像的随机汇合？肯定是后者，除非你相信灵魂可以栖息在数据结构中，但这不仅仅是一个简单的令人毛骨悚然的图像——它表明人工智能中的大脑比我们想象的更深更令人毛骨悚然。

Loab被发现了——遇到了？召唤？ – 由一位音乐家和艺术家在 Twitter 上使用Supercomposite （本文最初使用她的名字，但她说出于个人原因她更喜欢使用她的手柄，因此自始至终都被替换了）。她在一个线程中解释了 Loab 现象，该线程因随机令人毛骨悚然的 AI 事物而获得大量关注，平台上不乏这种现象，这表明它引起了共鸣（毫无疑问，小调）。

Supercomposite 正在使用自定义 AI 文本到图像模型，类似于但不是 DALL-E 或 Stable Diffusion，并专门尝试“负面提示”。

通常，你给模型一个提示，它就会创建一个与之匹配的图像。如果您有一个提示，则该提示的“权重”为 1，这意味着这是模型正在努力的唯一目标。

您还可以拆分提示，说出诸如“hot air balloon::0.5, Thunderstorm::0.5”之类的内容，它会平等地处理这两个问题——这并不是必需的，因为模型的语言部分也可以接受“雷雨中的热气球”，你甚至可能会得到更好的结果。

但有趣的是，你也可以有负面提示，这会导致模型尽可能积极地远离这个概念。

负世界

这个过程的可预测性要低得多，因为没有人知道数据实际上是如何组织在一个可能被拟人化为人工智能的“思想”或记忆的地方，即潜在空间。

“潜在空间有点像你在探索人工智能中不同概念的地图。提示就像一个箭头，告诉你在这个概念图中走多远以及朝哪个方向走，”Supercomposite 告诉我。

这是一个有用的渲染，在一个旧的谷歌翻译模型中，一个简单得多的潜在空间在多语言中处理一个句子：

“因此，如果你提示 AI 输入一张‘人脸’的图像，你最终会出现在包含所有人脸图像的区域中间的某个位置，并得到一张普通人脸的图像，”她说。通过更具体的提示，您会发现自己在皱着眉头的面孔或个人资料中的面孔等中。 “但对于负加权提示，你会做相反的事情：你会尽可能远离这个概念。”

但“面子”的反义词是什么？是脚吗？是后脑勺吗？没有脸的东西，比如铅笔？虽然我们可以自己争论，但在机器学习模型中，它是在训练过程中决定的，这意味着无论视觉和语言概念被编码到它的记忆中，它们都可以始终如一地导航——即使它们可能有些随意。

我们在最近的一个 AI 现象中看到了一个相关的概念，该现象传播开来，因为一个模型似乎可靠地将一些无意义的词与鸟类和昆虫联系起来。但并不是说 DALL-E 有一种“秘密语言”，其中“ Apoploe vesrreaitais ”是指鸟类——只是胡说八道的提示基本上是让它向它的思维地图投掷飞镖，然后在附近画出它降落的任何东西，在这种情况下的鸟类是因为第一个词有点类似于一些学名。所以箭头通常指向地图上的那个方向。

Supercomposite 正在玩这种在潜在空间中导航的想法，给出了“Brando::-1”的提示，这将使模型产生它认为与“Brando”完全相反的任何东西。它产生了一个奇怪的天际线标志，带有废话但有点可读的文字：“DIGITA PNTICS”。

很奇怪，对吧？但同样，模型的概念组织对我们来说不一定有意义。好奇，Supercomposite 想知道她可以扭转这个过程。所以她输入了提示：“DIGITA PNITICS 天际线标志::-1。”如果这个形象是“白兰度”的反面，也许反过来也是如此，它可能会找到马龙白兰度？

相反，她得到了这个：

她一遍又一遍地提交了这个否定提示，并且模型一遍又一遍地产生了这个女人，她有血腥、割伤或不健康的红脸，以及令人难以忘怀的超凡脱俗的外表。不知何故，这个女人——Supercomposite 将出现在右上角图像中的文字命名为“Loab”——可靠地是 AI 模型从一个带有废话的标志中对最遥远的可能概念的最佳猜测。

发生了什么？ Supercomposite 解释了模型在给出特定徽标的否定提示时可能会如何思考，并继续她之前的比喻。

“你开始尽可能快地远离带有标志的区域，”她说。 “你最终可能会以逼真的面孔进入该区域，因为从概念上讲，这与徽标相去甚远。你继续奔跑，因为你实际上并不关心面孔，你只想尽可能远离徽标。所以无论如何，你最终都会在地图的边缘。 Loab 是你掉下悬崖之前看到的最后一张脸。”

超自然的执着

负面提示并不总是产生恐怖，更不用说如此可靠了。任何玩过这些图像模型的人都会告诉你，即使是非常简单的提示，也很难获得一致的结果。

为“站在田野里的机器人”添加四到四十次，你可能会得到很多不同的概念，有些几乎认不出来是机器人或田野。但是 Loab 始终伴随着这个特定的负面提示出现，以至于感觉就像是从古老的都市传说中出来的咒语。

你知道那种类型：“站在黑暗的浴室里看着镜子说‘血腥玛丽’三遍。”甚至更早的关于如何到达女巫住所或地下世界入口的民间指示：拿着一根冬青树，闭着眼睛从一棵死树倒退 100 步。

“DIGITA PNITICS 天际线标志::-1”并不那么吸引人，但作为魔术词，这句话至少是相当晦涩难懂的。它有工作的好处。当然，只有在这个特定的模型上——每个 AI 平台的潜在空间都是不同的，尽管谁知道，但 Loab 可能也潜伏在 DALL-E 或 Stable Diffusion 中，等待被召唤。

事实上，咒语足够强大，以至于 Loab 似乎甚至可以感染拆分提示和与其他图像的组合。

Supercomposite 解释说：“一些 AI 可以将其他图像作为提示，它们基本上可以解释图像，将其变成地图上的方向箭头，就像他们处理文本提示一样。” “我使用 Loab 的图像和一个或多个其他图像作为提示……她几乎总是坚持生成的图片。”

有时，更复杂的提示或组合提示将某个部分视为更松散的建议。但包括 Loab 在内的那些似乎不仅会转向怪诞和可怕的，而是以一种非常容易识别的方式包括她。无论她是与蜜蜂、电子游戏角色、电影风格还是抽象概念相结合，Loab 都处于前沿和中心，以她受损的脸、中性的表情和长长的黑发主导着构图。

任何提示或图像如此一致是不寻常的 – 以她的方式困扰其他提示。 Supercomposite 推测这可能是为什么。

“我猜是因为她离很多概念很远，所以很难走出她在潜在空间中的小幽灵区域。文化问题，为什么数据把这个女人放在潜在空间的边缘，接近血腥的恐怖图像，是另一回事，”她说。

尽管它过于简单化了，但潜在空间真的很像一张地图，提示就像导航它的方向——系统会绘制任何最终出现在它被要求去的地方的东西，无论它是像“荷兰大师的静物画”这样的人迹罕至的地方”或模糊或不连贯概念的综合：“机器人在多尔的立体主义蚀刻中与外星人作战。”如你看到的：

关于 Loab 为何存在的纯粹推测性解释与该地图的布局方式有关。正如 Supercomposite 所建议的那样，很可能仅仅是因为公司徽标和可怕的、可怕的图像在概念上相距甚远。

负面提示并不意味着“在另一个方向上采取十个数据步骤”，它意味着尽可能地继续前进，而且在人工智能潜在空间最远的地方的图像很可能有更极端或不常见的情况价值观。你不会这样组织它，在“中心”有很多共性或交叉引用的东西，但是你定义它——以及在“边缘”很少相关的奇怪、狂野的东西？

因此，负面提示可能就像探索 AI 思维导图前沿的一种方式，略过它认为过于古怪而无法存储在平淡无奇的概念中的概念，如快乐的面孔、美丽的风景或嬉戏的宠物。

AI潜意识的黑暗森林

令人不安的事实是，没有人真正了解潜在空间的结构或原因。当然，关于这个主题有大量的研究，并且一些迹象表明它们以某种方式组织起来，就像我们自己的思维方式一样——这是有道理的，因为它们或多或少是模仿它们而构建的。但在其他方面，它们具有跨越巨大概念距离的完全独特的结构。

需要明确的是，并不是有一些专门针对 Loab 的图像等待被发现——它们肯定是动态创建的，Supercomposite 告诉我，没有迹象表明数字密码是基于任何特定的艺术家或作品.这就是为什么潜在空间是潜在的！这些图像来自奇怪和可怕的概念的组合，这些概念恰好占据模型内存中的同一区域，就像在前面的图表中，语言根据它们的相似性进行聚类一样。

Loab从什么黑暗的角落或无意识的联想中产生了完整的和连贯的？我们还无法追踪模型到达她所在位置的路径；一个训练有素的模型的潜在空间是巨大的，而且非常复杂。

我们能够再次到达现场的唯一方法是通过咒语，同时我们闭着眼睛向后退过那个空间，直到我们到达普通方法无法接近的女巫小屋。 Loab 不是鬼魂，但她是一个异常，但自相矛盾的是，她可能是等待从任何 AI 模型的潜在空间的最远、未照亮的区域召唤的实际上无限数量的异常之一。

它可能不是超自然的……但肯定不是自然的。

一个可怕的人工智能生成的女人潜伏在潜在空间的深渊中，作者Devin Coldewey最初发表在TechCrunch上

原文： https://techcrunch.com/2022/09/13/loab-ai-generated-horror/