2.3.3 用AI系统捕捉正确声音

2.3.3 用AI系统捕捉正确声音

试想下,你戴着一副AR设备进入元宇宙的虚拟会议室开会,但开会的途中,设备里却传来了各种嘈杂的声音,分散了你的注意力,使你无法专注在会议内容上。这样的场景你会不会觉得很厌烦?会不会觉得如果我在现实中开会绝对不会出现这个问题?

所以,要想让用户完全沉浸在元宇宙的世界里,首先就要解决“听觉”的问题。元宇宙的“沉浸式听觉”不是让用户听到现实世界的声音,而是要让用户只听到自己想听的声音,并在必要时主动屏蔽外界嘈杂的声音。

Meta正在往这个方向研究。它在3D眼镜上使用了多个麦克风,用于捕捉周围的声音,AI系统会根据眼动追踪设备提供的数据,来判断用户最感兴趣的声音,然后再提高该声音的声量,降低其他声音的声量。如此,用户即使身处于嘈杂的商场,也不必特意提高声音说话让对方听到。

除此之外,空间音频技术与声学仿真技术,能够模拟现实生活中不同方向来源的声音,打造更加真实的虚拟空间。也就是说,当用户身处元宇宙时,视听设备可捕捉到各个角度的声音并传送到耳机,用户能够自然地判断声音来源,并将自己的注意力转向它。