放大/在演示视频中，由 PaLM-E 控制的机械臂伸手去拿一袋薯片。 （信用：谷歌研究）
周一，来自谷歌和柏林工业大学的一组 AI 研究人员推出了PaLM-E ，这是一种多模式体现视觉语言模型 (VLM)，具有 5620 亿个参数，集成了用于机器人控制的视觉和语言。他们声称这是有史以来最大的 VLM，它可以执行各种任务而无需重新训练。
根据谷歌的说法，当给出一个高级命令时，比如“把抽屉里的米片拿给我”，PaLM-E 可以为带手臂的移动机器人平台（由谷歌机器人开发）生成行动计划并执行自己的行动。
PaLM-E 通过分析来自机器人相机的数据来实现这一点，而无需预处理场景表示。这消除了人类预处理或注释数据的需要，并允许更自主的机器人控制。