用于虚拟环境和游戏的环绕声和双声道音频采样

签署人: IDZSupport KS 已发布: 10/11/2019 最后更新时间: 10/11/2018

本文介绍了使用高级音频硬件和虚拟现实 (VR) 麦克风收集实时双声道音频样本的技术。双声道录音使用两个麦克风捕捉并重建 3D 音景;本文介绍了这些专门用于 VR 应用和游戏的现场录音技术,以及为 Unreal Engine* 4 录制、编辑、制作母带和创建环境音效素材的过程。本文还提供了将软件示例用于 MAGIX ACID* Pro 8、MAGIX SOUND FORGE Audio Studio* 12 和 Unreal Engine 4 的步骤和程序。

您并非每天都能环游世界,像度假拍照片一样,收集几十个国家的空间音频来开展 VR 项目。我的任务是在地球上各种迷人而神秘的地方(图1 显示了其中一些旅游景点),包括丛林、城堡、地下墓穴、洞穴,捕捉 3D 声音空间。这些用于音效设计的环境录音、脉冲响应(混响)和拟音(日常音效)都被捕捉到高分辨率音频之中,专门用于 VR 应用和体验。这些场所周围的空间被视作声音纹理;这种空间音频有助于加强交互式 VR 音效设计的真实感(和超真实感)。

Justin Lassen Collage
图 1.作者 Justin Lassen 在全球不同的环境中使用各种录音设备。

为支持这种探险 — 前往超过 17 个国家,我携带了以下设备:

  • 高质量便携式双声道录音器,包括 Roland R-07-BK* 和 Roland CS-10EM*
  • Sennheiser AMBEO* 智能耳机
  • Sennheiser AMBEO* VR 麦克风和 Audio-Technica 全向 ATR3350* 领夹式(免提)麦克风
  • 一些 4K 视频录制装备:Sony Cyber-shot* DSC-RX100 V、Apple iPhone* 8 Plus 和 ZHIYUN Crane-M* 三轴云台稳定器
  • 高分辨率硬件录音接口:Zoom F4* 多轨现场录音器和 Audio-Technica ATH-M50x* 专业监听耳机

我的现场录音探险穿越了东南亚、欧洲和北美,收集了数 TB 全新的纹理、音效、音频和内容。为帮助 VR 音效设计师创建虚拟世界的音轨,我在不同的地方和环境下录制了自然的室内和室外环境音频、脉冲响应(用于创建定制混响)、拟音音效(原始音效)、音效源、音乐表演和其他音频内容(如下图所示)。

Justin Lassen recording by a Thai river
图 2.在泰国北碧丛林的河边录音。

我捕捉了城堡、大教堂、地下墓穴、小教堂、洞穴、森林、丛林、寺庙、城市、市场、大厦、大厅、音乐厅、河流、小溪、隧道、通道和其他独特场所的原始高分辨率共鸣。这种探险是真正的冒险。

Justin Lassen in Prague underground
图 3.在捷克共和国布拉格,背着行李穿过地下通道。

过去几年,随着 SteamVR*、HTC Vive*、Oculus Rift* 等产品的推出,VR 的普及速度显著加快。所有交互式程序使用音效的方式与标准 AAA 级游戏截然不同。当然,在第一人称射击 (FPS) 游戏中,您希望脚步声具有电影效果,或者能够听到子弹在远处飞过。多声道音频用于增强标准视频游戏体验的现实感;而在 VR 中,早已确立了新的规则和期望。对于带着耳机享受完整沉浸式体验的玩家来说,逼真的音效能让虚拟世界栩栩如生。视觉效果的影响力有限,所以听觉效果必须带我们穿越峡谷,领略其中的神秘。在音效设计中,环绕声、双声道音效和超真实感成了让梦想和图形焕发生机的必备条件。

Justin Lassen in South Korea
图 4.在俯瞰韩国首尔的神圣山顶上录制 VR 音频。

作为多个著名 VR 项目(包括与索尼合作打造的 VR 体验版《蜘蛛侠*:英雄归来》、与英特尔合作创建的 Shapesong,以及与高通合作制作的Space Dock VR 演示)的音频总监和音效设计师,我必须学习和适应在不同平台和引擎(Unreal Engine、Unity* 等)上创作音频内容的最佳实践。由于这些经历,我成功参与了许多项目,包括为 VR 世界的各种故事情节和叙事开展定制音效编辑、表演拟音工作和环境音效设计。

collage of author's credits
图 5.Shapesong VR(英特尔)、Space Dock VR 移动体验(高通)和《蜘蛛侠:英雄归来》虚拟现实体验(索尼影业 VR)

音频的三种基本类型:环绕声、双声道音频和立体声

环绕声作为核心,是一种使用多种不同音频通道环绕听众的方法。它可能意味着影院环绕(如看电影时听到子弹在脑后呼啸而过),或视频游戏中更具交互性的环绕,它可以根据与玩家的关系,(通过游戏引擎)实时改变音频源的位置。它还指您在展览和装置中发现的各种交互式音频。

双声道音频是一种录音方法,使用两个麦克风模拟自然人的形式,创造 3D 立体音效。这样能够给听者创造一种身临其境的感觉(就像近距离聆听乐器和对话)。有时,可以用双耳戴着麦克风的假人头实现这种音效,也可以用具有耳内监听功能,每只入耳式耳机外面装有麦克风的手持录音器。

立体声是一种全覆盖 3D 环绕立体声格式。它包括水平面以及听者上下的声音。这种格式的声道不携带扬声器信号。它们包含与扬声器无关的声场表示,称为 B 格式,它后续可以解码为听者的扬声器设置。这种格式非常灵活,可以让音效设计师或音频制作师将音频用于扬声器、耳机或 VR。

现场录音选择和技巧

VR 麦克风

目前市场上有几种不同品牌的 VR 麦克风,质量和特点各不相同。一般来说,这些 VR 麦克风默认情况下会为视频内容制作师捕捉 360 视频。然而,借助麦克风中的转换软件,可以将音频转换成其他格式,或进行分离,以便进一步增强和编辑。随着 VR 麦克风选择的不断增多,您可以有许多选择来捕捉充满魅力的音景和环绕声内容。上次探险时我带的是 Sennheiser AMBEO VR 麦克风,其中包括一套转换工具和软件。这款麦克风有 4 个以 360 度形式排列的音圈,可以捕捉麦克风下方、上方和水平方向的声波。我使用的录音设备(如下图所示)是 Zoom F4 现场录音器,该设备的固件中包含立体声录音格式。

audio recording gear
图 6.用于捕捉 360 度环绕声音频的麦克风和录音器。

AMBEO 耳机和双声道录音器

如果要捕捉 3D 音频,最简单经济的方法是使用双声道耳机,或组合了双声道耳机和麦克风的双声道录音器(如图 7 中的示例所示)。随身携带的产品包括现成的录音器和麦克风,以及 AMBEO 智能耳机,可通过 Lightning* 线缆直接连接我的苹果手机。我可以使用内置软件,“在路上”轻松捕捉真实的双声道内容。

audio recording gear
图 7.双声道录音器和立体声耳机

多轨立体声录音器

在外场录音过程中捕捉音频非常有趣,几乎所有人都能做到。大多数团队都可以轻松使用这种设备,捕捉怎样的内容完全取决于您的想象力。由于有各种音频捕捉工具和录音器,您可以在不同设置和环境下高效使用这些设备,如下面的示例所示。

现场录音的捕捉技巧

户外录音

如果户外风大,或处于高海拔地方(比如爬山),可以在 VR 麦克风上使用一块挡风玻璃。使用入耳式双声道麦克风时,我发现自己的帽子任何时候都能有效地用作挡风玻璃。在丛林中,由于树冠和树木的关系,将麦克风上的挡风玻璃拆下来更有效(见图 8)。

Justin Lassen recording in jungle
图 8.在丛林中用 AMBEO* VR 麦克风录音。

室内录音

在某些室内场所,双声道麦克风更有用。由于它们是隐藏的麦克风 — 易于准备和快速触发,我发现自己几乎随时随地都可以使用它们,即使自己计划使用 VR 麦克风(见图 9)。在某些场所 — 如西斯廷教堂,使用入耳式麦克风可以更轻松地录制恒星双声道氛围。

Justin Lassen in Taiwan Temple
图 9.Justin 在台湾一座寺庙内头戴入耳式双声道 3D 麦克风/耳机。

在洞穴和隧道内录音

在地下或封闭场所,可以轻松使用 Roland 双声道录音器的蓝牙® 技术,让录音器就位并从远处触发录音器。我也可以在下到狭窄通道的时紧紧抓住它,保持安静(见图 10)。

 

Justin Lassen in a cave
图 10.下到狭窄通道。

录制拟音音效

录制拟音音效时,可以卸掉麦克风上的屏蔽[SK4],近距离捕捉共鸣。例如,在录制亚洲顶级女厨师 Bee Satongun(见图 11)的时候,我捕捉到了她在米其林星级餐厅的声音和氛围。

Justin Lassen recording chef Bee Satongun
图 11.Justin 近距离捕捉 Bee Satongun 大厨获奖美食的音频共鸣(泰国曼谷)。

录制大型乐器

挑战录制大型乐器或铃铛的时候,可以结合使用手持双声道录音器和入耳式 AMBEO 3D 麦克风来捕捉高质量音效(见图 12)。

Justin Lassen
Justin Lassen
Justin Lassen

图 12.在韩国、泰国和奥地利录制惊天动地的寺庙钟声、大教堂的钟声和传统的仪式钟声。

录制脉冲响应和环境声

如果要为 VR 应用真实地建模声音传播,录制不同环境下的脉冲响应、环境声和混响可以有效地补充音效设计师的工具套件。我录制了不同国家不同环境下的空间脉冲响应(见图 13)。

photomontage of various locations
图 13.在意大利、捷克共和国、台湾、韩国和爱尔兰录制脉冲响应、环境声和混响。

(可选)双声道音频示例(包含双声道音效的 4K 视频[LP6]):

注:带上您的耳机,就可以通过智能耳机体验原始捕捉的 AMBEO 双声道 3D 音频内容。

泰国北碧的森林 (4K)

泰国北碧的丛林池塘 (4K)

编辑音频

双声道音频转换和使用

从本质上讲,双声道就是左右两个声道。因此,它可以按原样用在大多数应用中。它在搭配视频使用时最有效;不过,它可以在大多数数字音频工作站 (DAW) 中进行编辑和修改,包括 PreSonus Studio One* 和 MAGIX ACID Pro 8。下文介绍了如何用 MAGIX SOUND FORGE Audio Studio 12 将立体声/双声道文件分成两个单声道文件。使用 Audacity*(免费的开源跨平台音频编辑器)也能以类似的方式实现分离。

第一步:打开双声道 .WAV 文件。在此示例中,我使用的是黑暗街道的双声道录音。如您所见(下图),有两个音频声道(左右)。

two sound recording's sound waves
图 14.音频的两个声道

第二步:双击选择第一个声道(左声道)(图 15)。按 CTRL-C(拷贝)键。

sound waves of audio recordings
图 15.选择左声道

第三步:在 SOUND FORGE 12 中,按 CTRL-E(粘帖到新文件中)键。这样可以提取左声道数据并自动将其粘贴到新的 MONO 文件中(图 16)。对右声道重复该步骤,就可以得到两个单独的 .WAV 文件(分别对应左声道和右声道)。

sound waves of audio recordings
图 16.创建新的 MONO 文件

第四步[LP7]:在 ACID Pro 8 中打开时(见图 17),现在您有双声道文件的左声道和右声道,它们是单独的文件,您可以分别或同时编辑和添加音效。最好对称应用音效。此外,由于它们是标准 .WAV 文件,您可以在编辑和添加音效后将其重新导出为便于游戏引擎使用的格式。在此示例中,双声道录音器捕捉的音频分辨率为 24 位/96 kHz,对于支持的 Unreal Engine 4 格式来说太高。保存 DAW 中的编辑和修改时,务必将其转换为 PCM 16 位/44.1 kHz,以便在游戏引擎(Unity,Unreal)中获得最佳效果。

sound waves of audio recordings
图 17.

立体声音频转换和使用

默认情况下,对于想展示 360 度音频以创建 360/VR 视频内容或混音到环绕扬声器应用(如音乐厅)中的摄像师来说,立体声音频是一种很好的格式。当然,对于交互式游戏和 VR 项目来说它也是不错的原始音频。在 VR 或 DAW 中使用这些录音时,还需要采取一些其他步骤。根据您需求的不同,立体声音频可简单可复杂。Sennheiser AMBEO VR 麦克风中包含的软件(见图 18)支持轻松、高效地将 A 录音格式转换为空间 B 格式,作为[SK8]视频或 VR 的 3D 音频,或简单的 4 声道立体声。

Ambeo UI

Ambeo UI

图 18.Sennheiser 提供的 AMBEO* 软件的界面。

Sennheiser AMBEO 音频处理器的优点在于它们免费提供,并随附许多教程、文档、技巧和视频。令人惊讶的是,它们使用起来非常简单,而且可以用在几乎所有 DAW 软件中(我将它们用在 ACID Pro 8 中)。借助 AMBEO Orbit 插件,您可以修改立体声音频的反射、清晰度、宽度、高度和双耳平移。AMBEO A/B 转换器支持[SK9]简单直接的转换。

注:用 AMBEO VR 麦克风录音时,务必注意现场录制时手握麦克风的位置(直立、颠倒、纵向/横向)。

超现实应用/增强(混音)

在 VR 环境中,让场景栩栩如生的最有效方法是在引擎内结合使用立体声和双声道音频。通过将声道分成它们自己的 MONO 对象/文件(如前文所述),我可以将它们附加到游戏环境中有趣且对称的位置(见图 19)。玩家在游戏中体验这种感觉,就好像他们真正在空间中移动。如果把一个“烘焙”过的空间音频对象放到场景中,音频会留在用户头部的位置。然而,如果把单个声道连接到场景中的声音发射器/对象上,就可以创造出一种空间感和环境感。场景中使用环绕定义和参数的 MONO 对象越多,玩家越能感觉自己沉浸在现实世界中。

add file UI
图 19.将 MONO 文件添加到环境中。

注:将单独的 .WAV (MONO) 文件导入至 Unreal Engine 中。在场景中这些文件能够彼此独立地使用,创建出一种伪双声道体验(图 20)。

sound objects
图 20.创建伪双声道体验。

注:通过适合特定场景的合理衰减设置和 VR 景观/场景中的位置设定(以及其他音效、拟音和音乐设计),在 Unreal 中向 VR 项目添加声音文件支持您创建由不同来源的环绕声、双声道和单声道音频内容组成的超现实混音(见图 21)。

sound objects
图 21.混合声音以创造超真实音效。

面向 Unreal Engine* 4 的母带制作和素材创作

在本文中,我介绍了如何在现场录音过程中捕捉音频,将音频带回实验室进行转化,并编辑带有音效的音频。最后,文件导入至 Unreal Engine,用于 VR 应用。场景的复杂性因项目或个人需求的不同而有所差异。有些人只使用几个单声道声源,而有些人会使用双声道和立体声音频混合。可以很简单,也可以很复杂,取决于您自己的想象力的引导。

我完成过几个 VR 项目,里面有数百个独立的单声道音频文件和音效,其他项目比较简单和抽象,只有几个文件。我所使用的工具和硬件,您也能轻松使用。走到外面的世界去旅行,去捕捉周围的环境 — 不仅用视频和照片,还可以用音频。

我在自己的 VR Instagram 帐号 (@nihilstudios) 中记录了为完成本次 VR 音频库项目开展的环球之旅,您可以访问我的帐号,查看更多的视频片段、照片、故事和图片。我的 VR 音频库将于明年对开发人员和音效设计师开放,敬请关注!

关于作者

Justin Lassen with ElephantJustin Lassen

作曲者,混音师,音效设计师,幻想者。他在音乐、电影、技术和视频游戏行业拥有 20 多年的丰富经验,目前担任 VR/AR/MxR 项目的空间音频设计师。Justin 在与 iZotope*、Cakewalk*、英特尔、DTS*、索尼*、迪士尼*、Konami*、Skybound*、Hasbro*、Lakeshore*、Interplay*、美国国防部等机构的合作中展现了卓越的制作天赋。

产品和性能信息

1

英特尔的编译器针对非英特尔微处理器的优化程度可能与英特尔微处理器相同(或不同)。这些优化包括 SSE2、SSE3 和 SSSE3 指令集和其他优化。对于在非英特尔制造的微处理器上进行的优化,英特尔不对相应的可用性、功能或有效性提供担保。该产品中依赖于微处理器的优化仅适用于英特尔微处理器。某些非特定于英特尔微架构的优化保留用于英特尔微处理器。关于此通知涵盖的特定指令集的更多信息,请参阅适用产品的用户指南和参考指南。

通知版本 #20110804