Facebook迈向AR眼镜的下一步是智能音频

Facebook的 AR 智能眼镜的未来计划仍在制定中,但很快就会成为现实的等式之一就是智能音频。空间音频和增强音频现实是Facebook积极关注的两个领域,该公司最新的Facebook Reality Labs研究更新详细介绍了该公司如何计划制造可调整现实世界并让虚拟对象听起来像对的设备即使您不在旁边,也可以在您旁边。

Facebook称这两种独立的技术为Audio Presence和Enhanced Hearing,它们都是该公司试图解决的音频难题的一部分。同时,更大的增强现实领域仍未解决,包括Apple,Google,Microsoft,Magic Leap等公司都致力于推动下一个十年的创新。

Facebook最初计划在本月晚些时候即将举行的Facebook Connect会议之前接待访客进行演示。取而代之的是,由于引起的社会距离问题,记者在与Facebook Reality Labs研究负责人Michael Abrash和音频研究团队的聊天中向他们简要介绍了情况。

智能音频AR并不是新生事物:Bose在其AR音频部门显然在今年早些时候关闭之前就已经进行了多年的试验。苹果的AirPods Pro具有主动降噪和直通功能,并将在今年秋天增加3D空间音频支持。空间音频已经是现实VR的关键功能,但Facebook的下一波计划更多地关注音频的对话,注意力和保真度,包括将3D隐形扬声器放置在看起来像在同一房间的地方。“对我来说,最值得注意的是,(关于Facebook的新音频技术)在合理的时间内都是绝对可行的,”阿布拉什说。

根据Abrash的说法,音频技术最终可能会出现在像Oculus Quest这样的VR头戴设备上,或者甚至出现在 其他Facebook设备上。

Facebook目前正在使用空间音频进行的实验涉及使用消声室和带有扬声器阵列的机械臂围绕一个人并计算其耳朵的特定空间音频几何形状,这需要30分钟,因此还很难携带。下一步将是缩小该过程,以拍摄耳朵的照片来进行测量(Facebook称其为与头部相关的传递函数,即HRTF)。智能眼镜还有很长的路要走,一旦进行了测量,Facebook用来测试音频的设置更像是带有音频播放和聚焦麦克风的眼镜,但还没有视觉元素。

Facebook Reality Lab Research的音频小组也正在寻求使该音频技术成为辅助工具,以收听和增强对话并改善语音清晰度,同时过滤背景噪音或其他人讲话。

Facebook的3D音频和音频感应超能力的一些概念让我想起了多普勒实验室几年前在其Here One耳塞上尝试的工作,该 耳塞带有各种环境噪声滤波器。Facebook的研究使用波束成形来聚焦音频,还使用具有定向麦克风的测试人员佩戴的具有空间感知能力的原型。该公司已经制作了一个定制的入耳式监听器来创建这种音频,目的是最终将该技术应用到未来的产品中。

多年来,我一直在想音频增强现实是否可以成为使始终开启的AR眼镜正常工作的大门。音频可能处在环境中,人们一直在佩戴耳塞,并学会了使其在生活中发挥作用。永远在线的全息视频是另一个故事。在2D手机上,像Google Maps这样的抬头AR实验已经证明了抬头显示器在现实世界中的局限性,而音频方向则可以减少干扰。也许音频可以用作随后触发视觉效果的信号提示。Facebook尚未明确该流程,但该公司在周四发布的博客文章中承诺,这种未来的音频可以用于导航AR优化的实时地图。 Facebook当前正在组装空间地图世界。

Abrash承诺,该公司在空间音频方面的进步已经产生了逼真的3D音频,看起来好像是来自真实世界而不是耳机,但是当前的研究涉及复杂的耳扫描和特定的空间映射房间。该公司正在开发可以在家中进行简单的摄像头耳扫描的算法,从而使这项技术更容易获得。

这可能意味着Facebook的耳塞吗?手机上的AR应用程序?Oculus Quest的未来方向?对所有这些也许是肯定的。这标志着沉浸式AR可穿戴设备中更大的,棘手的关注和关注问题仍然需要深思。但这也表明,Facebook Reality Labs最终可能会开发某种耳机技术。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢