康奈尔大学的研究人员开发了一种耳机,该耳机使用声纳检测佩戴者的面部表情,以创建他们面部的头像。所谓的“可耳式”系统称为 EarIO。
它的工作原理是从佩戴者的脸颊反射声音——音频从耳机两侧的扬声器发出。麦克风捕捉回声,随着面部移动和佩戴者说话而变化。然后,该系统使用深度学习算法将回声转换为人的表情的复制品。 EarIO 可以将面部动作实时传输到移动设备,并且头像可以用于视频通话。
基于摄像头的面部运动追踪设备“体积大、重量大、耗能大,这对可穿戴设备来说是个大问题”,未来交互实验室智能计算机接口首席研究员张成说,他与人合着了一篇关于耳机。 “同样重要的是,它们捕获了大量私人信息。”他说,基于声纳的方法可以增强隐私、负担能力、舒适度和电池寿命。
在最初的测试中,该团队发现该设备在佩戴者坐着和走路时也能正常工作,并且背景震颤、风和环境道路噪音等因素不会影响声音信号。然而,传感方法的高灵敏度可能会导致一些问题。 “这很好,因为它能够跟踪非常细微的动作,但也很糟糕,因为当环境发生变化时,或者当你的头部轻微移动时,我们也会捕捉到这一点,”合著者、信息科学博士生张瑞东说. 研究人员希望在未来的模型中减轻这种破坏。
就目前的情况而言,EarIO 有一些限制。尽管比团队之前使用的基于摄像头的系统更节能,但该设备一次充电即可运行大约三个小时。研究人员希望在未来提高电池寿命。他们还打算让 EarIO 成为即插即用设备,但目前在首次使用前需要 32 分钟的面部数据训练。