这款“眼睛”搭载类似大脑的芯片,可以帮助机器人和自动驾驶汽车在瞬间做出决策。
午夜时分,你驾车行驶在暴风雪中。冰冷的雨水猛烈地拍打着挡风玻璃,瞬间将其冻成一层厚厚的霜。你的目光迅速扫过高速公路,寻找任何可能的动静,无论是野生动物、失控的车辆,还是试图通过的救援人员。能否安全通行,还是遭遇不幸,取决于你的观察和反应速度。
即使是经验丰富的驾驶员也会在恶劣天气下遇到困难。对于自动驾驶汽车、无人机和其他机器人来说,暴风雪可能会造成严重后果。最先进的计算机视觉算法可以应对某些情况,但即使运行在先进的计算机芯片上,它们的反应时间也大约是人类的四倍。
“对于时间敏感型应用来说,这样的延迟是不可接受的……在高速公路速度下,一秒钟的延迟可能会使安全裕度减少多达 27 米(88.6 英尺),从而显著增加安全风险,”北京航空航天大学的高硕及其同事在最近一篇描述新型超高速计算机视觉系统的论文中写道。
团队没有继续开发软件,而是转向了硬件。他们从人眼处理运动的方式中汲取灵感,开发出一种能够快速检测和分离运动的电子模型。
机器眼的人工突触将晶体管连接成网络,用于检测图像亮度的变化。与生物神经回路类似,这些连接在处理新的输入之前会短暂地存储过去的信息。通过比较这两种信息,机器眼就能追踪运动。
该系统结合了一种流行的视觉算法,能够快速区分移动物体(例如行人)和静止物体(例如建筑物)。通过专注于运动物体,机器眼在评估和应对复杂环境时所需的时间和能量大大减少。
在自动驾驶汽车、无人机和机械臂上进行测试时,该系统将处理速度提高了约 400%,并且在大多数情况下,在不牺牲准确性的情况下,超越了人类的感知速度。
“这些进步赋予了机器人超快、最准确的感知能力,使它们能够比以往任何时候都更高效地处理复杂和动态的任务,”该团队写道。
两部电影
眼角哪怕一丝微光都能吸引我们的注意力。我们进化得对运动异常敏感。这种感知能力始于视网膜。位于眼球后部的这层薄薄的感光组织中,密布着许多精细运作的细胞,它们能够精准地探测运动。
视网膜细胞是一群奇特的生物。它们储存着先前场景的记忆,并在我们视野中的物体发生变化时活跃起来。这个过程有点像老式电影胶片:静止画面之间的快速切换会让我们感知到运动。
每个细胞都能够感知特定方向的视觉变化——例如,从左到右或从上到下——但在其他情况下则处于休眠状态。这些活动模式构成了一张二维神经图,大脑会在极短的时间内将其解读为速度和方向。
研究团队写道:“生物视觉擅长处理大量视觉信息”,因为它只关注运动。例如,当我们驾车穿过十字路口时,我们的眼睛会本能地锁定行人、骑自行车的人和其他移动物体。
计算机视觉采用了一种更偏数学化的方法。
一种名为光流法的常用方法分析不同视觉帧中像素之间的差异。该算法将像素分割成对象,并根据亮度变化推断运动。这种方法假设对象在移动过程中保持亮度不变。例如,一个白点在向右漂移时仍然保持白点状态,至少在模拟中是如此。彼此靠近的像素也应该同步移动,以此作为运动的标志。
尽管光流算法的灵感来源于生物视觉,但它在现实世界中却举步维艰。它不仅耗能巨大,而且响应速度也较慢。再加上诸如暴风雪之类的突发干扰,运行光流算法的机器人将难以适应我们这个纷繁复杂的世界。
两步解决方案
为了解决这些问题,高和他的同事们构建了一种受神经元启发的芯片,该芯片可以动态地检测运动区域,然后将光流算法集中应用于这些区域。
他们最初的设计很快就遇到了瓶颈。传统的计算机芯片无法调整内部线路。因此,研究团队制造了一种神经形态芯片,顾名思义,这种芯片可以在同一位置进行计算和信息存储,就像神经元处理数据和记忆一样。
由于神经形态芯片无需将数据从内存传输到处理器,因此它们比传统芯片速度更快、能效更高。在触觉感知、听觉模式检测和视觉处理等多种任务中,它们都优于标准芯片。
研究团队写道:“突触设备的本地自适应能力使得类似人类的超快速视觉处理成为可能。”
这款新型芯片采用的材料和设计与其他神经形态芯片类似。与视网膜类似,该芯片阵列中的人工突触能够编码亮度差异,并通过调整对后续电信号的响应来记住这些变化。
处理图像时,芯片会将数据转换为电压变化,仅激活少数突触晶体管;其余晶体管保持静默。这意味着芯片可以过滤掉无关的视觉数据,并将光流算法的重点放在运动区域。
在测试中,两步式设置显著提升了处理速度。在分析一段行人即将横穿马路的视频时,该芯片仅用约100微秒就检测到了行人细微的身体姿势,并预测了其奔跑方向——比人类更快。与传统计算机视觉相比,该机器眼在模拟环境中使自动驾驶汽车的危险检测能力提升了近一倍。此外,由于追踪性能更佳、速度更快,该机器眼还将机械臂的精度提高了740%以上。
该系统与光流以外的计算机视觉算法兼容,例如可以检测场景中物体的YOLO 神经网络,因此可以根据不同的用途进行调整。
高先生告诉《南华早报》:“我们并没有完全推翻现有的相机系统;相反,通过使用硬件插件,我们使现有的计算机视觉算法的运行速度比以前快四倍,这对于工程应用来说具有更大的实际价值。”
这篇文章《这种“机器眼”或可赋予机器人超人的反应能力》最初发表于SingularityHub 。
原文: https://singularityhub.com/2026/02/19/this-machine-eye-could-give-robots-superhuman-reflexes/