VR在音乐领域的应用

第二节 VR在音乐领域的应用

一、VR钢琴学习和演奏平台

1.Teomirn

钢琴学习软件Teomirn

Teomirn是一款在MR混合现实环境下指导人们学习弹钢琴的一款应用软件,主要运行于HoloLens平台。下图显示的是Teomirn的设置界面,我们可以选择不同钢琴大师的演奏内容。

Teomirn的设置界面

然后,钢琴大师就可以在身边演奏,我们可以从不同角度观察大师表演过程中的弹奏细节,如每个手势的表现技法。

观察钢琴大师表演

此外,在我们自学弹奏的过程中,MR系统可以帮助我们准确地匹配自己的手指和虚拟手指的对应关系,也可以即时显示在钢琴弹奏过程中下一个按键的位置和相关时间节奏信息。

使用Teomirn自学弹奏

2. Music Everywhere

Music Everywhere是一款基于HoloLens的AR/MR增强及混合现实技术的音乐学习软件。该软件由美国卡耐基梅隆大学研发,具有较高的技术含量和艺术水准。Music Everywhere获得微软HoloLens开发者大赛奖项。

Music Everywhere获得微软HoloLens开发者大赛奖项

戴上HoloLens设备激活Music Everywhere,选择好我们喜欢的曲子,然后就可以开始练习弹琴了。为了让弹奏的过程更有气氛,Music Everywhere为我们匹配了一个虚拟的乐队,将和我们一起演奏。

Music Everywhere中的虚拟乐队与我们一起演奏

为了让我们更直观地了解弹奏的相关键盘信息,Music Everywhere提供了按盘提示。如果我们是初学者或者忘记了弹奏的细节,这种提示能够有效地提升学习效率。

弹奏过程中的按盘提示

此外,还可以在空中显示自动翻页的五线谱、按钮节奏提示及不同层次演奏者的辅助提示。

弹奏过程中的辅助提示

3. VR Piano

VR Piano是一款逼真的钢琴弹奏模拟应用,由Fayez Salka于2016年12月发布。该视频显示了一款拥有逼真的钢琴结构及琴键力感的精美钢琴,以及使用Leap Motion手指追踪设备进行十指精准定位的弹琴过程。下面,我们了解一下相关内容。

首先,VR Piano应用中显示了一间舒适的琴房及一架精致的钢琴。

舒适的琴房与精致的钢琴

这是一架结构和细节表现都极为逼真的钢琴,在自动播放演奏曲目的过程中,我们可以看到细腻的琴键弹跳力感。

钢琴的整体结构与细节

该应用还能显示完整的音轨,其中图中发光的是弹中的音轨,音轨的长度为琴键弹奏的音长,蓝色和红色为两只不同的手弹奏的效果。

在空间中显示弹奏过程的完整音轨

接下来,我们简单地体验一下单手和双手的弹奏效果。首先,因为该应用采用了Leap Motion的十指关节追踪技术,因此当我们伸出双手时,十根手指的关节都被跟踪记录下来。于是,我们用十指在桌面演奏的时候,虚拟现实中呈现出来的就是我们弹奏在钢琴的琴键上。

采用十指关节追踪技术进行钢琴弹奏

从VR Piano这个应用中,我们可以了解到十指关节追踪技术的虚拟现实钢琴弹奏是非常有趣的体验。任何人不需要购买昂贵的钢琴,只要戴上VR设备就可以体验到逼真的钢琴弹奏。这将为未来作为音乐艺术教育基础的钢琴演奏的全面普及做好了技术层面的铺垫。

4.Concerto

Concerto是一款由CMR Games研发的进行虚拟现实钢琴演奏的应用。该软件的宣传口号是 “将您打造成虚拟演奏家”,研发了帮助新手学习成长到殿堂级大师的进阶路径。

Concerto中华丽的琴房

Concerto中指导新人学习音乐演奏的各种辅助手段

Concerto提供了丰富的演奏场景,帮助学习者体验在不同环境中进行演奏的情景和不同的效果。下图显示的是在酒吧中演奏的场景。

在酒吧中演奏

下图显示的是在大型音乐厅中演奏的场景。这种置身于大型音乐厅,并面对成百上千的观众进行演奏,对于普通音乐爱好者来讲,能够以极低的成本获得前所未有的演奏体验;对于新手和学习者来讲,则是不可多得的学习和练习机会,将为未来的真实演奏积累经验。

在大型音乐厅中演奏

二、VR音乐制作工具

1.Exa VR Music

Exa VR Music是一款VR音乐制作软件,其宣传口号是“Exa:无限的乐器”。

Exa VR Music宣传海报

下面显示的是Exa VR Music的工作界面。左图显示的一根根柱状的东西是弦类乐器的表现方式,可以单根小柱子上敲击或者多根柱子上拖动,以演奏出单弦或者和弦的效果。右图为键盘类乐器,可以直接敲击进行弹奏,也可以采用不同的排列组合以实现不同的声音效果。

弦乐和键盘

下面左图显示的是鼓的工作界面,右图显示的是合成器,通过敲击就可以实现打鼓或者击打合成器的效果。

鼓和合成器

下图显示的是为弦乐、键盘、鼓、合成器等设置不同乐器类别及乐器声音效果的工作菜单。

工作菜单

在音乐制作过程中,创作者可以设置好音乐节奏和音色效果,然后开启录音。通过对事先设置好的不同音色及组合的键盘模式进行演奏,并将相关演奏内容录制下来形成该乐器的音轨素材。使用同样的方式也可以进行其他乐器演奏与录制,如对鼓的节奏和音色进行演奏和录制。

乐器演奏与录制

多种乐器的演奏逐一录制完成后,就可以将它们进行同步组合播放,以测试整体效果。下图显示的是两个键盘以不同的音色演奏,并且与鼓进行同步演奏。这样就可以实现一个人将多个乐器进行同步演奏,进而实现整个乐队表演的效果。

一个人同步演奏多个乐器

下图显示的是5人同时演奏5个不同乐器的组合演奏效果。事实上除了中间这位真人以外,另外4位都是其将前面录制的演奏组合到一起后呈现出来的多人演奏效果。这种个人实现多人演奏效果非常有乐队感,对于个人创作者具有独特意义。

个人创作者实现乐队演奏效果

此外,我们还可以将前面逐一录制的不同乐器的音乐素材进行整合,最终制作出十分复杂的音乐。下图显示的是音乐剪辑与合成平台,我们可以看到不同的乐器和不同的音乐素材整合在统一的平台中。

整合音乐素材

2. Lyra VR

“对于音乐或声音,我们很难在3D中将其可视化。但现在借助虚拟现实,你可以将其放在任何你想要的地方。”可视化音乐制作软件正是Lyra VR这家来自中国台湾的公司的目标所在。

LyraVR宣传海报

如果一个音乐制作人想要一个可以进行音乐创作和音乐表演的空间,不受真实世界限制而自由地试验音乐制作,那么Lyra VR将是其梦寐以求的创作工具。Lyra VR不仅提供了一种沉浸式体验音乐的全新方法,更是一个制作音乐的创新性工具,只需戴上VR设备挥动双手就可以创作出美妙的音乐。

Lyra VR中的每个器件代表一种乐器。该软件有一系列默认的器件,用户也可以使用这些器件调节出任何自己期望的音色效果的乐器,并进行演奏。用户将不同的乐器进行演奏,然后将一系列演奏的乐器组合起来,就可以创作出丰富的音乐。

下图显示的是用户在使用Lyra VR中的键盘进行音乐演奏,演奏过程被记录在空间中连续的节点上,这样就可以获得键盘的演奏旋律。

在Lyra VR中进行键盘演奏

用户可以对鼓的位置和音色进行自由的调节和排布,然后就可以开启录音进行演奏。演奏过程中的鼓声节奏被记录在空间一系列连续的节点上,这样就可以得到关于鼓的节奏素材。

在Lyra VR中进行鼓的演奏

除了演奏可以获得旋律和节奏以外,用户也可以使用VR手柄进行音乐节点的创建,然后将不同音高的节点逐一连接起来,形成新的旋律或新的节奏。编辑这些节点可以制作出循环的旋律和节奏,以便后期制作合成时使用。

制作循环旋律和节奏

此外,Lyra VR拥有丰富的音乐特效滤镜工具,用户可以对每一组音乐元素,包括旋律或节奏进行特殊效果的滤镜处理,进而得到不同的声音效果。

使用效果滤镜对声音进行特效处理

当我们制作完成一系列不同乐器和效果的旋律素材和节奏素材后,就可以进入音乐编辑合成阶段,将其编辑合成为一首完整的音乐。

将不同的音乐素材合成为完整的音乐

Lyra VR在其官方网站上重点传递了两项关于Lyra VR的信息:第一,Lyra VR是一款先锋音乐软件,致力于为那些想使用虚拟现实进行音乐呈现的音乐制作人提供下一代创作工具,以实现虚拟现实沉浸式音乐体验;第二,Lyra VR致力于创建虚拟交响乐,帮助音乐制作人将自己完全沉浸在音乐中,与自己的音乐作品进行前所未有的互动,进而打造出惊人的音乐,并且方便地与朋友、歌迷或合作者分享。

三、VR音乐游戏

1.《音盾》

《音盾》是由Dylan Fitterer开发的一款VR音乐节奏游戏。

《音盾》宣传海报

在《音盾》的体验过程中,当音乐启动,远处就会有类似外星生物的东西飞向我们。我们则手持红色和蓝色的两块盾牌,去分别阻挡红色和蓝色的飞行物。当盾牌挡住飞行物后,就会破碎并向周围飞溅。除了红色和蓝色,还会有紫色的生物飞过来,这时我们需要双手并拢联合进行阻挡。

体验VR游戏《音盾》

除了在游戏中预置的音乐以外,玩家还可以导入自己喜欢的音乐。《音盾》可以扫描任意一个MP3文件,为其难度评级并转换成游戏内容,玩家就可以将自己喜欢的音乐制作成VR游戏体验。随着选择音乐的难度加大,玩家面临的飞行物也将越来越复杂,越来越难以抵挡,这时玩家就需要更快更准地挥动音盾去迎接调整。

2.《节奏光剑》

《节奏光剑》是由Hyperbolic Magnetism工作室研发的音乐节奏游戏。该游戏在前面章节中已经有过深入的分析,这里再次提出主要有两个原因:第一,《节奏光剑》是一款非常优秀的音乐游戏,甚至可以说是全世界最优秀的沉浸式音乐体验游戏;第二,前面章节侧重于游戏玩法,而本节更侧重于音乐体验。

《节奏光剑》宣传海报

首先,从音乐体验的角度来讲,《节奏光剑》帮助大众身临其境地体验音乐的节奏和旋律,让人们在挥舞光剑的过程中翩翩起舞,使得向大众普及音乐变得前所未有的休闲和快乐。

《节奏光剑》玩家形象

其次,《节奏光剑》巧妙地将音乐和体育锻炼结合起来,让更多的人在欣赏美妙音乐的同时锻炼身体。这对于那些常坐在电脑前工作而缺少运动的群体而言,确实是一个极好的放松身心和锻炼身体的方式。

在欣赏音乐中锻炼身体