我们已经在无线耳塞中进行了一段时间的主动降噪,但这主要有利于戴耳机的人淹没外界。如果您一直在与戴着它们的人通话,您会注意到除了您要注意的声音之外,麦克风仍然会拾取很多声音。这就是开源 ClearBuds 项目试图通过在混合中添加一层深度学习和音频处理来解决的问题。
我可以在这里闲聊几千字(我仍然可能),但如果一张图片值 1,000 字,那么 23 秒 30 FPS 的视频值近 700,000 字,我无法与之竞争。一探究竟:
ClearBuds 项目是华盛顿大学三名研究人员的一项研究计划的结果,他们在大流行期间是室友。该系统包括一个麦克风系统和可以在智能手机上运行的实时机器学习系统。
大多数耳塞仅使用其中一个耳塞的音频将音频发送到手机。 ClearBuds 系统发送两个流,然后可以足够快地分析和处理这些流,以用于实时音频,例如视频或电话呼叫。该团队的算法会抑制任何非语音声音,然后增强说话者的声音。
“ClearBuds 在两个关键方面与其他无线耳塞区分开来,”共同主要作者、保罗 G. 艾伦计算机科学与工程学院的博士生 Maruchi Kim 说。 “首先,ClearBuds 使用双麦克风阵列。每个耳塞中的麦克风创建两个同步的音频流,提供信息并允许我们以更高的分辨率在空间上分离来自不同方向的声音。其次,轻量级神经网络进一步增强了说话者的声音。”
“由于说话者的声音离两个耳塞很近且距离大致相等,因此可以训练神经网络只关注他们的语音并消除包括其他声音在内的背景声音,”共同主要作者 Ishan Chatterjee 说。 “这种方法与你自己耳朵的工作方式非常相似。他们利用声音传入左右耳的时间差来确定声音来自哪个方向。”
查看完整的项目页面,并祈祷这项技术很快就会进入一些耳机,因为,坦率地说,我迫不及待地不想听到狗吠、汽车变焦和我侄女唱歌我们不谈论布鲁诺– 不 –没有在后台。好吧,说实话,我会想念唱歌的。不过,其他一切都可以。