机器学习和人工智能领域的研究现在几乎是每个行业和公司的一项关键技术，但内容太多，任何人都无法阅读。本专栏 Perceptron（前身为Deep Science ）旨在收集一些最相关的最新发现和论文——尤其是在但不限于人工智能方面——并解释它们为何重要。
本周在人工智能领域，宾夕法尼亚州立大学的工程师宣布他们已经创建了一种芯片，可以每秒处理和分类近 20 亿张图像。与此同时，卡内基梅隆大学已经签署了一份价值 1050 万美元的美国陆军合同，以扩大人工智能在预测性维护中的使用。在加州大学伯克利分校，一个科学家团队正在应用人工智能研究来解决气候问题，比如将雪理解为一种水资源。
宾夕法尼亚州立大学的工作旨在克服传统处理器在应用于人工智能工作负载时的局限性——特别是识别和分类图像或其中的对象。在机器学习系统可以处理图像之前，它必须由相机的图像传感器捕获（假设它是真实世界的图像），由传感器从光信号转换为电信号，然后再次转换为二进制数据。只有这样，系统才能充分“理解”图像以对其进行处理、分析和分类。
宾夕法尼亚州立大学的工程师，包括博士后研究员 Farshid Ashtiani、研究生 Alexander J. Geers 以及电气和系统工程副教授 Firooz Aflatouni 设计了一种解决方法，他们声称该解决方法消除了传统基于芯片的 AI 图像处理中最耗时的方面。他们的 9.3 平方毫米定制处理器使用他们所谓的“光学深度神经网络”直接处理从“感兴趣的对象”接收到的光。
3D 渲染，带电路和芯片的电脑板
从本质上讲，研究人员的处理器使用“光学神经元”，通过称为波导的光缆互连，形成多层深层网络。信息通过这些层，每一步都有助于将输入图像分类到其学习类别之一。由于该芯片能够在光通过其传播并直接读取和处理光信号时进行计算，研究人员声称该芯片不需要存储信息，并且可以在大约半纳秒内执行整个图像分类。
“我们不是第一个提出直接读取光信号的技术，”吉尔斯在一份声明中说，“但我们是第一个在芯片内创建完整系统的人，该芯片既兼容现有技术，又可扩展工作更复杂的数据。”他预计这项工作将应用于自动检测照片中的文本、帮助自动驾驶汽车识别障碍物以及其他与计算机视觉相关的任务。
在卡内基梅隆大学，该学院的 Auton 实验室专注于一组不同的用例：将预测性维护技术应用于从地面车辆到发电机的所有事物。在上述合同的支持下，Auton Lab 主任 Artur Dubrawski 将领导开展基础研究，以将复杂物理系统的计算机模型（称为数字双胞胎）的适用性扩大到许多领域。
数字孪生技术并不新鲜。 GE 、 AWS和其他公司提供的产品允许客户对机器的数字双胞胎进行建模。总部位于伦敦的SenSat为建筑、采矿和能源项目创建数字孪生模型。与此同时，像Lacuna和Nexar这样的初创公司正在构建整个城市的数字孪生。
但是数字孪生技术也有同样的局限性，其中主要是由于数据不准确而导致的建模不准确。和其他地方一样，垃圾进，垃圾出。
为了解决这一问题以及其他阻碍将数字双胞胎广泛使用的问题，Dubrawski 的团队正在与一系列利益相关者合作，例如重症监护的临床医生，以探索包括医疗保健在内的场景。 Auton 实验室旨在开发新的、更有效的“获取人类专业知识”的方法，以便 AI 系统能够理解数据中没有很好地表示的上下文，以及与用户共享该专业知识的方法。
人工智能可能很快就会有一些人似乎缺乏的一件事是常识。 DARPA 一直在资助不同实验室的多项计划，旨在让机器人在行走、搬运或抓握物体时，如果事情不完全正确，应该如何处理。
通常，这些模型非常脆弱，一旦超过某些参数或发生意外事件，就会惨遭失败。向他们训练“常识”意味着他们将更加灵活，对如何挽救局面有一般的认识。这些不是特别高级的概念，而只是处理它们的更聪明的方法。例如，如果某些东西超出了预期的参数，它可以调整其他参数来抵消它，即使它们不是专门设计用于这样做的。
这并不意味着机器人会在所有事情上即兴发挥——它们只是不会像现在那样容易或那么严重地失败。目前的研究表明，在包含“常识”训练的情况下，在崎岖地形上的运动更好，移动负载更好，不熟悉的物体可以更好地抓握。
相比之下，加州大学伯克利分校的研究团队正在特别关注一个领域：气候变化。由计算机科学博士生 Colorado Reed 和 Medhini Narasimhan 以及计算机科学博士生 Ritwik Gupta 组织的伯克利 AI 研究气候倡议 (BAIR) 最近发起，它寻求气候专家、政府机构和行业的合作伙伴，以实现对双方都有意义的目标气候和人工智能。
该倡议计划解决的首批项目之一将使用人工智能技术来结合飞机对雪的观测以及公开可用的天气和卫星数据源的测量结果。人工智能将有助于跟踪雪的生命周期，目前这在不付出巨大努力的情况下是不可能的，使研究人员能够估计和预测内华达山脉的雪中有多少水，并预测对该地区水流的影响。
一份详细说明 BAIR 努力的新闻稿指出，降雪状态会影响公共健康和经济。全球约有 12 亿人依靠融雪来消耗水或用于其他目的，仅塞拉山脉就为加州一半以上的人口提供水源。
BAIR 的联合创始人兼伯克利计算机科学教授 Trevor Darrel 表示，气候倡议所做的任何技术或研究都将公开发表，不会获得独家许可。
显示不同 AI 模型训练过程的 CO2 输出的图表。
然而，人工智能本身也是气候变化的一个因素，因为它需要大量的计算资源来训练 GPT-3 和 DALL-E 等模型。艾伦人工智能研究所 (AI2) 对如何智能地完成这些训练期进行了一项研究，以减少它们对气候的影响。这不是一个微不足道的计算：电力的来源是不断变化的，并且像一天的超级计算运行这样的高峰使用不能只是在太阳出来且太阳能充足的下周运行。
AI2 的工作着眼于在不同地点和时间训练各种模型的碳强度，这是绿色软件基金会更大项目的一部分，旨在减少这些重要但耗能的过程的足迹。
最后但并非最不重要的一点是，OpenAI 本周公布了Video PreTraining (VPT) ，这是一种使用少量标记数据来教 AI 系统完成任务的训练技术，例如如何在 Minecraft 中制作钻石工具。 VPT 需要在网络上搜索视频并让承包商生成数据（例如，用鼠标和键盘动作标记的 2,000 小时视频），然后训练一个模型来预测给定过去和未来视频帧的动作。在最后一步，来自网络的原始视频使用承包商数据进行标记，以训练系统预测仅给定过去帧的动作。
OpenAI 使用 Minecraft 作为 VPT 的测试用例，但该公司声称该方法非常通用——代表向“通用计算机使用代理”迈出了一步。无论如何，该模型以及 OpenAI 为其实验采购的承包商数据都是开源的。