游戲配樂師分享VR游戲音頻開發(fā)的工具和技巧

    在一系列形式的沉浸式故事中，音頻都十分重要。喬治·盧卡斯曾經(jīng)說過，“聲音占體驗(yàn)的一半”。這樣的說法對(duì)虛擬現(xiàn)實(shí)，增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)而言更是如此。游戲配樂師溫妮弗雷德·菲利普（Winifred Phillips）日前分享了關(guān)于VR游戲音頻開發(fā)的工具和技巧等入門介紹，以下是映維網(wǎng)的具體整理：

    大家好！我是游戲配樂師溫妮弗雷德·菲利普（Winifred Phillips）。我最近一直忙于為工作室一系列優(yōu)秀的VR游戲創(chuàng)作配樂，包括即將于下周三（11月21日）登陸 Oculus Rift ， HTC Vive 和WMR，以及將于12月18日上架 PSVR 的第一人稱射擊游戲《Scraper：First Strike》。這個(gè)項(xiàng)目的工作肯定令我有關(guān)VR的一切產(chǎn)生了興趣。游戲即將發(fā)售，下面是開發(fā)商Labrodex工作室公布的預(yù)告片視頻，其中包含我為游戲創(chuàng)作的配樂：

    《Scraper：First Strike》只是我在過去一年中負(fù)責(zé)的眾多VR游戲之一。當(dāng)我去年剛剛開始忙于與VR開發(fā)團(tuán)隊(duì)合作的時(shí)候，我已經(jīng)撰寫了一篇提供一系列與VR音頻相關(guān)信息資源的 文章 。17年的文章用一種通用的思路來探討了音頻在虛擬現(xiàn)實(shí)體驗(yàn)中作用。來到2018年，我認(rèn)為我們可以進(jìn)一步擴(kuò)展這個(gè)主題，包括VR頭顯平臺(tái)中最先進(jìn)的技術(shù)。了解目前可用的硬件平臺(tái)可以幫助我們游戲配樂師更好地理解VR音頻正在發(fā)展的方向。

    首先，人們普遍認(rèn)為認(rèn)為VR屬于一個(gè)更大的類別，其他還包括AR增強(qiáng)現(xiàn)實(shí)和MR混合現(xiàn)實(shí)。人們通常認(rèn)為AR和MR是同義詞，但這值得商榷。由于目前行業(yè)尚未有明確的共識(shí)來區(qū)分AR與MR，我們現(xiàn)在將它們視為AR/MR類別。在本文中，我將重點(diǎn)關(guān)注每個(gè)競(jìng)爭(zhēng)平臺(tái)特有于VR和AR/MR的資源。好，下面開始吧。

    1. 用于VR和AR/MR設(shè)備的音頻

    現(xiàn)在市場(chǎng)上存在各種各樣能夠?qū)⑽覀兂两诨孟胧澜缋?，或者將奇妙魔法帶到我們房間中的頭顯設(shè)備。盡管它們中的許多在音頻創(chuàng)建和實(shí)現(xiàn)方面采用共同的基礎(chǔ)技術(shù)，但存在適用于每一個(gè)的不同工具和技術(shù)。

    2. 當(dāng)虛擬聲學(xué)遇上真實(shí)聲學(xué)

    新發(fā)售的 Magic Leap   One屬于AR/MR設(shè)備。這意味著它允許佩戴者看到現(xiàn)實(shí)世界，并同時(shí)感知疊加其上的數(shù)字影像。例如，AR/MR設(shè)備可以呈現(xiàn)微型玩具恐龍正在咖啡桌上蹣跚而行的畫面。考慮到這一點(diǎn)，為AR/MR創(chuàng)建音頻變得有點(diǎn)棘手。

    比方說，假如我們希望小恐龍?jiān)谂郎峡Х茸郎系臅緯r(shí)發(fā)出一種可怕的吼聲。如果聲音聽起來不像是發(fā)生在房間之中，并有著獨(dú)特的聲學(xué)特性，音效就無法令人信服。你必須映射真實(shí)的房間，并且必須考慮聲學(xué)計(jì)算。在為虛擬現(xiàn)實(shí)開發(fā)音效時(shí)這不是問題，因?yàn)槁曉赐耆嬖谟谔摂M世界中的環(huán)境中。

    這是一個(gè)引人入勝的問題，同時(shí)是Magic Leap認(rèn)真考慮過的問題。借助他們稱之為“Soundfield Audio”的系統(tǒng)來應(yīng)用物理計(jì)算，設(shè)備可以根據(jù)環(huán)境產(chǎn)生適當(dāng)?shù)穆晫W(xué)效果。Magic Leap還獲得了一份空間音頻技術(shù)的專利，利用佩戴者的頭部動(dòng)作來計(jì)算虛擬聲源的位置。下面這個(gè)視頻展示了Magic Leap的音樂可視化應(yīng)用程序Tónandi：

    Hololens也屬于AR/MR設(shè)備，因此面臨與Magic Leap One相同的許多問題。為了予以解決，Hololens采用空間音頻引擎來計(jì)算聲源位置，并結(jié)合個(gè)性化頭部相關(guān)傳輸函數(shù)（HRTF）。HRTF有助于本地化虛擬音景的所有聽覺組件。另外，Hololens創(chuàng)建了一個(gè)與用戶位置相匹配的房間模型，這樣聲音似乎可以在真實(shí)的墻壁反射出來并令人信服地前往佩戴者耳朵。當(dāng) 微軟 于明年年初發(fā)布下一代Hololens時(shí)，我們應(yīng)該可以期待這項(xiàng)技術(shù)得到進(jìn)一步的優(yōu)化。下面是Engadget制作的視頻，他們?cè)敿?xì)介紹了Hololens提供的音頻體驗(yàn)：

    3. 混合現(xiàn)實(shí)的 空間音效

    我們正在等待下一代的 HoloLens ，而微軟則在忙于他們WMR平臺(tái)（允許第三方設(shè)備廠商根據(jù)現(xiàn)有的VR參考設(shè)計(jì)與軟件來開發(fā)VR頭顯）。盡管WMR平臺(tái)和HoloLens存在一定的共有元素，但WMR下面的VR設(shè)備則只提供標(biāo)準(zhǔn)的VR體驗(yàn)，不具備任何AR/MR元素。HoloLens和WMR設(shè)備都采用Spatial Soud軟件開發(fā)套件來設(shè)計(jì)與實(shí)現(xiàn)定位音頻。這允許開發(fā)者通過相同的工具來為一系列的設(shè)備創(chuàng)建音景。這樣便利的條件顯然十分誘人，但HoloLens和WMR提供了非常不同的體驗(yàn)，所以音頻開發(fā)者覺得需要記住這一點(diǎn)。下面是關(guān)于Spatial Sound SDK功能介紹的一個(gè)短視頻：

    4. 虛擬設(shè)備的定位音頻

    我們現(xiàn)在繼續(xù)討論當(dāng)前VR設(shè)備正在發(fā)生的事情。眾所周知，與AR/MR頭顯不同，VR設(shè)備切斷了我們與外部世界的聯(lián)系，令我們完全沉浸在在設(shè)備生成的環(huán)境中。目前市場(chǎng)為我們提供多樣化的VR設(shè)備選擇。

    最為熱門和著名的VR頭顯是 Oculus   Rift 和HTC   Vive 。這兩種設(shè)備都依靠定位音頻技術(shù)來提供出色的聽覺體驗(yàn)，而且兩家企業(yè)都在不斷努力改進(jìn)技術(shù)。

    2018年6月，HTC Vive推出了一個(gè)用于沉浸式音頻的全新軟件開發(fā)套件。新的SDK支持更復(fù)雜的音頻技術(shù)，如更高階的環(huán)境立體學(xué)聲，更高分辨率的音頻，更精致的空間聲學(xué)，以及基于真實(shí)世界模型的HRTF，可提高定位音頻的準(zhǔn)確性。

    Oculus Rift已經(jīng)升級(jí)了現(xiàn)有的音頻SDK，從而改善非常從接近玩家位置發(fā)出的定位聲音精確度。他們將其稱之為近場(chǎng)頭相關(guān)傳輸函數(shù)（Near-Field Head-Related-Transfer-Function；HRTF）。

    他們同時(shí)提供了大型聲源的選項(xiàng)，如海洋或森林火災(zāi)。借助Volumetric Sound Sources技術(shù)，大型發(fā)聲對(duì)象可以在與其比例一致的指定半徑上投射聽覺內(nèi)容。

    下面是一段來自O(shè)C4大會(huì)的視頻，其說明了Oculus Audio SDK的近場(chǎng)頭相關(guān)傳輸函數(shù)和Volumetric Sound Sources功能：

    作為唯一的主機(jī)專用VR設(shè)備，PSVR所面向的市場(chǎng)與Rift或Vive等設(shè)備不同，因此沒有面臨同樣的競(jìng)爭(zhēng)壓力。盡管如此， 索尼 仍在繼續(xù)優(yōu)化PSVR的技術(shù)。最新型號(hào)的PSVR（去年年底推出）是一款經(jīng)過調(diào)整的版本，實(shí)現(xiàn)了一些小但有價(jià)值的改進(jìn)。其中，索尼為頭顯添加了內(nèi)置立體聲耳機(jī)，無需玩家插入單獨(dú)的耳機(jī)即可體驗(yàn)VR音頻。

    5. 一體機(jī)VR音頻

    現(xiàn)在我們快速過一篇VR一體機(jī)（即無需計(jì)算機(jī)，主機(jī)或智能手機(jī)即可運(yùn)作的設(shè)備）。這種VR頭顯提供了無線的虛擬現(xiàn)實(shí)體驗(yàn)，但它們通常不是十分強(qiáng)大和功能齊全。五款著名的VR一體機(jī)是Oculus Go，Oculus Quest，聯(lián)想Mirage Solo，HTC Vive Focus和Shadow VR。

    Oculus Go和聯(lián)想Mirage Solo，以及HTC Vive Focus和Shadow VR都已經(jīng)發(fā)售。Oculus最近發(fā)布了Quest，而設(shè)備有望在2019年春季上市。所有五款頭顯都采用了驍龍系列的高通智能手機(jī)處理器芯片，因此在這方面它們基本上采用了高端智能手機(jī)的內(nèi)部機(jī)制，而且只是簡(jiǎn)單將其整合至板載硬件中。

    實(shí)際上，高通驍龍835同時(shí)也用于 三星 Galaxy S8，Google Pixel 2和許多其他智能手機(jī)型號(hào)。由于所有五款VR一體機(jī)都采用驍龍技術(shù)，因此開發(fā)者可以選擇Qualcomm Snapdragon VR軟件開發(fā)套件，其包括用于Unity的3D音頻插件（旨在為高通驍龍?jiān)O(shè)備提供高性能音頻）。高通同時(shí)提供了一套3D音頻工具，可搭配Pro Tools等數(shù)字音頻工作站。盡管這不是唯一的選擇，但由于它們是由負(fù)責(zé)驍龍?zhí)幚砥鞯墓鹃_發(fā)，因此工具的設(shè)計(jì)和功能可能有所增益。

    6. 移動(dòng)VR音頻

    如果你在亞馬遜搜索“Mobile VR Headsets”，你將發(fā)現(xiàn)一系列令人眼花繚亂的頭顯模型，它們都圍繞“插入你的智能手機(jī)手機(jī)”進(jìn)行構(gòu)建。這種頭顯依賴于智能手機(jī)的處理技術(shù)，并且存在眾多的型號(hào)選擇。一般來說，如果存在特定于某款移動(dòng)VR頭顯型號(hào)的SDK，你應(yīng)該予以考慮。例如，Oculus Audio SDK是面向三星 Gear VR ，Oculus Go和Oculus Quest，因?yàn)檫@三款設(shè)備都是Oculus設(shè)計(jì)的VR系統(tǒng)。同樣，來自 谷歌 的全新Resonance Audio SDK是任何谷歌頭顯的優(yōu)秀選擇，如 Daydream View ， Google Cardboard 和聯(lián)想Mirage Solo等等。以下是谷歌制作的Resonance Audio SDK演示視頻：

    7. 總結(jié)

    以上就是我們對(duì)當(dāng)前VR和AR/MR平臺(tái)的討論。在下一篇文章中，我們將重點(diǎn)介紹VR游戲音頻工作者的技巧和工具。我希望你喜歡這篇文章，請(qǐng)?jiān)谙旅嬖u(píng)論欄留下你的看法。

        文章來源：映維網(wǎng) 如轉(zhuǎn)載請(qǐng)標(biāo)明出處

    原文鏈接 ： https://yivian.com/news/53322.html