变形金刚会取代人工智能吗？

想象一下去你当地的五金店，在货架上看到一种新的锤子。你听说过这把锤子：它比其他锤子敲得更快、更准确，在过去的几年里，它已经淘汰了许多其他锤子，至少在大多数用途中是这样。还有更多！通过一些调整——这里有一个附件，那里有一个扭曲——该工具变成了一把锯，它的切割速度至少和其他任何选择一样准确。事实上，一些处于工具开发前沿的专家表示，这把锤子可能只是预示着所有工具将融合到一个设备中。

类似的故事正在人工智能工具中上演。这种多功能的新锤子是一种人工神经网络——一种通过对现有数据进行训练来“学习”如何完成某些任务的节点网络——称为变压器。它最初旨在处理语言，但最近开始影响其他 AI 领域。

变形金刚于 2017 年首次出现在一篇论文中，该论文神秘地宣称“注意力就是你所需要的”。在人工智能的其他方法中，系统将首先关注输入数据的本地补丁，然后构建整体。例如，在语言模型中，附近的单词首先会被组合在一起。相比之下，转换器运行进程，以便输入数据中的每个元素都连接或关注每个其他元素。研究人员将此称为“自我注意”。这意味着一旦开始训练，transformer 就可以看到整个数据集的痕迹。

在变形金刚出现之前，人工智能语言任务的进展在很大程度上落后于其他领域的发展。 “在过去 10 年左右发生的这场深度学习革命中，自然语言处理在某种程度上是后来者，”马萨诸塞大学洛厄尔分校的计算机科学家 Anna Rumshisky 说。 “所以从某种意义上说，NLP 落后于计算机视觉。变形金刚改变了这一点。”

Transformers 很快成为专注于分析和预测文本的单词识别等应用程序的领跑者。它催生了一波工具，比如 OpenAI 的 Generative Pre-trained Transformer 3 (GPT-3)，它可以训练数千亿个单词并生成一致的新文本，达到令人不安的程度。

变形金刚的成功促使人工智能人群问他们还能做什么。答案现在正在展开，因为研究人员报告说，变压器被证明具有惊人的多功能性。在某些视觉任务中，例如图像分类，使用转换器的神经网络比不使用转换器的神经网络变得更快、更准确。其他人工智能领域的新兴工作——比如一次处理多种输入或计划任务——表明变压器可以处理更多。

“变形金刚似乎真的在机器学习中的许多问题上具有相当大的变革性，包括计算机视觉，”在慕尼黑宝马从事与自动驾驶汽车相关的计算机视觉工作的 Vladimir Haltakov 说。

就在 10 年前，AI 的不同子领域之间几乎没有什么可说的。但变形金刚的到来表明了融合的可能性。德克萨斯大学奥斯汀分校的计算机科学家Atlas Wang说：“我认为变压器之所以如此受欢迎，是因为它暗示着普及的潜力。” “我们有充分的理由想要在整个 AI 任务范围内尝试使用变形金刚”。

从语言到视觉

在“Attention is All You Need”发布几个月后，扩大变压器范围的最有希望的步骤之一就开始了。 Alexey Dosovitskiy ，当时在 Google Brain Berlin 工作的计算机科学家，正在研究计算机视觉，这是一个专注于教授计算机如何处理和分类图像的 AI 子领域。与该领域的几乎所有其他人一样，他与卷积神经网络 (CNN) 合作，该网络多年来推动了深度学习，尤其是计算机视觉领域的所有重大飞跃。

计算机科学家 Alexey Dosovitskiy 帮助创建了一个名为 Vision Transformer 的神经网络，它将变压器的力量应用于视觉识别任务。

CNN 通过对图像中的像素重复应用过滤器来建立特征识别来工作。正是由于卷积，照片应用程序可以按面孔组织您的图书馆，或者将鳄梨与云区分开来。 CNN 被认为是视觉任务必不可少的。

Dosovitskiy 正在研究该领域最大的挑战之一，即扩大 CNN 的规模，以训练代表越来越高分辨率图像的越来越大的数据集，而不会增加处理时间。但随后他看到变形金刚取代了以前几乎所有与语言相关的人工智能任务的首选工具。 “我们显然受到了正在发生的事情的启发，”他说。 “他们得到了所有这些惊人的结果。我们开始想知道我们是否可以在视觉上做类似的事情。”这个想法有一定的意义——毕竟，如果变形金刚可以处理大数据集的单词，为什么不能处理图片呢？

最终的结果是研究人员在 2021 年 5 月的一次会议上展示了一个名为 Vision Transformer 或 ViT 的网络。该模型的架构与 2017 年提出的第一个 Transformer 的架构几乎相同，只有微小的变化允许它分析图像而不是文字。 “语言往往是离散的，”Rumshisky 说，“所以很多改编必须使图像离散化。”

ViT 团队知道他们无法完全模仿语言方法，因为每个像素的自注意力在计算时间上会非常昂贵。相反，他们将较大的图像划分为正方形单元或标记。大小是任意的，因为令牌可以根据原始图像的分辨率变大或变小（默认为一边 16 像素）。但是通过分组处理像素，并对每个像素应用自我关注，ViT 可以快速处理大量训练数据集，输出越来越准确的分类。

Google Brain 的计算机科学家 Maithra Raghu 分析了 Vision Transformer，以确定它是如何“看到”图像的。与首先关注小部分以查找边缘或颜色等细节的卷积神经网络不同，变换器可以从一开始就捕获整个图像。

她的小组确定了自注意力在算法中导致不同感知方式的方式。归根结底，变压器的力量来自于它处理图像编码数据的方式。 “在 CNN 中，你从非常本地化开始，然后慢慢获得全球视野，”Raghu 说。 CNN 逐个像素地识别图像，通过构建从局部到全局的方式来识别角或线等特征。但是在带有自注意力的转换器中，即使是第一层信息处理也会在遥远的图像位置之间建立联系（就像语言一样）。如果 CNN 的方法就像从单个像素开始并缩小，那么转换器会慢慢地将整个模糊图像聚焦。

这种差异在语言领域更容易理解，变形金刚最初是在这里构思的。考虑这些句子：“猫头鹰发现了一只松鼠。它试图用爪子抓住它，但只抓住了尾巴的末端。”第二句的结构令人困惑：那些“它”指的是什么？只关注“它”周围的单词的 CNN 会遇到困难，但是将每个单词与其他单词连接起来的转换器可以识别出猫头鹰在抓人，而松鼠失去了部分尾巴。

现在很明显，Transformer 处理图像的方式与卷积网络根本不同，研究人员只会变得更加兴奋。转换器在将数据从一维字符串（如句子）转换为二维数组（如图像）方面的多功能性表明，这样的模型可以处理许多其他类型的数据。例如，Wang 认为，Transformer 可能是朝着实现一种神经网络架构的融合迈出的一大步，从而产生了一种通用的计算机视觉方法——也许也适用于其他 AI 任务。 “当然，要真正实现它是有局限性的，”他说，“但如果有一种可以通用的模型，你可以将各种数据放在一台机器上，那肯定是非常棒的。”

趋同即将来临

现在研究人员希望将变形金刚应用于一项更艰巨的任务：发明新图像。 GPT-3 等语言工具可以根据其训练数据生成新文本。在去年发表的一篇论文中，Wang 结合了两个 Transformer 模型，试图对图像做同样的事情，这是一个困难得多的问题。当双变压器网络在超过 200,000 名名人的面部上进行训练时，它以中等分辨率合成了新的面部图像。根据初始分数（一种评估神经网络生成的图像的标准方法），发明的名人令人印象深刻，并且至少与 CNN 创建的名人一样令人信服。

Wang 认为，Transformer 在生成图像方面的成功比 ViT 在图像分类方面的能力更令人惊讶。 “生成模型需要综合，需要能够添加信息以使其看起来合理，”他说。与分类一样，transformer 方法正在取代卷积网络。

Raghu 和 Wang 看到了转换器在多模态处理中的新用途——一种可以同时处理多种类型数据的模型，如原始图像、视频和语言。 “以前做起来比较棘手，”Raghu 说，因为这种孤立的方法，每种类型的数据都有自己的专门模型。但是变压器提出了一种组合多个输入源的方法。 “有很多有趣的应用程序，结合了其中一些不同类型的数据和图像。”例如，多模式网络可能会为一个系统提供动力，该系统除了听一个人的声音外，还可以读取一个人的嘴唇。 “你可以拥有丰富的语言和图像信息表示，”Raghu 说，“而且比以前更深入。”