Nagrania Audio w wirtualnej rzeczywistości

Jakub Korczyński oraz Maciej Uniatowicz odpowiadają na nasze pytania na temat wykorzystania Audio w VR. Wyjaśniają na czym polegają nagrania ambisoniczne i binauralne, do czego służy głowa Neumana oraz jak lokalizujemy dźwięk w przestrzeni.

Zwykle nie zdajemy sobie sprawy, jak dużą rolę odgrywa dźwięk podczas doświadczeni wirtualnej rzeczywistości oraz oglądania filmów w technologii 360. Podczas European VR Congress zapytaliśmy o nowe możliwości oraz ograniczenia tego typu nagrań.

Monika Szczurowska: Jak właściwie wykorzystywać Audio w wirtualnej rzeczywistości?

Jakub Korczyński: Jeśli chodzi o wykorzystanie Audio w VR- arze to w mojej opinii, najważniejsza jest synchronizacja obrazu z dźwiękiem. Do tej pory, większość produkcji była robiona w prostszy sposób, co spełnia swoje zadanie, póki użytkownik patrzy w punkt, który założyliśmy. Ale przecież nie jest to istotą filmów 360, czy doświadczenia VR. Istota tych doświadczeń polega na tym, że eksplorujemy pewien świat, więc mamy swobodę patrzenia w różne strony.Chcielibyśmy więc, aby dźwięk naturalnie podążał za nami. Myślę, że jest to podstawowe wykorzystanie, nad którym warto się skupić.

Czy zatem lokalizacja dźwięku w przestrzeni znacząco wpływa na nasze doznania jako użytkowników VR?

Jakub Korczyński: Jeśli jesteśmy w danej przestrzeni, świecie VR’owym to potrzebujemy różnych elementów, które budują autentyczność tego świata. Wykorzystanie dźwięku i zlokalizowanie go w różnych miejscach pomaga w stworzeniu iluzji rzeczywistości. Staramy się odtworzyć codzienną sytuację, kiedy dobiegają nas odgłosy z różnych stron i kierujemy uwagę tam, gdzie nas kieruje dźwięk. Dźwięk staje się elementem VR’owego storytellingu.

Czyli podsumowując, dzięki temu doświadczenia VR stają się dla nas bardziej realne?

Jakub Korczyński: Tak, dokładnie, zmysł wzroku zastępujemy wirtualnym światem i w ten sam sposób działamy ze słuchem. Wtedy realizm doświadczenia się zwiększa i możemy na tym tworzyć dalsze efekty – dotykowe, wprowadzanie przedmiotów, czy też rozpoznawanie zapachów. Możemy aktywować wszystkie zmysły.

Na czym polegają nagrania binauralne ambisoniczne?

Maciej Uniatowicz: Nagranie binauralne odwzorowuje sposób, w jaki słyszy człowiek. Czyli uwzględnia wpływ głowy ludzkiej, kształt oraz wpływ małżowin usznych na to, jak ten dźwięk jest odbierany. Nasz mózg na podstawie informacji, które docierają do naszych uszu oraz odbić od małżowi usznych, tłumienia przez czaszkę, jest w stanie bardzo precyzyjnie zlokalizować źródło dźwięku w przestrzeni trójwymiarowej. Tan efekt uzyskujemy właśnie przy użyciu sztucznej głowy – głowy Neumana. Dźwięk staje się przestrzenny, bardzo zbliżony do tego, w jaki sposób my słyszmy. Nagrania ambisoniczne stanowią nico inny typ nagrań i odwzorowują całą sferę dźwiękową wokół wybranego punktu w przestrzeni – tak jakby jesteśmy otoczeni przez dźwięk z każdej strony. Na nagraniu rejestruje się więc dźwięk dochodzący z każdego punktu w tej przestrzeni. Następnie umiejscawiamy słuchacza w miejscu, w którym zamontowany był mikrofon, dzięki czemu ma on pełne poczucie dźwięku przestrzennego, tak jak w rzeczywistości.

Z jakimi ograniczeniami związane są takie rozwiązania?

Jakub Korczyński: Głównym ograniczeniem, które możemy wskazać jest przemieszczanie się w przestrzeni. Najlepiej, jeśli nagranie przeprowadzamy w jakimś konkretnym punkcie. Jeśli zaczniemy chaotycznie poruszać sferą, którą nagrywamy, a ruch użytkownika będzie inny, to te dwa elementy się rozminą. Ograniczeniem jest więc obecnie przemieszczanie się w takim świecie. Jest to znacznie łatwiejsze do zrobienia, w przypadku statycznego filmu 360. W przypadku ruchu, rekomendowalibyśmy raczej bardzo delikatne przesunięcia, dzięki czemu użytkownik będzie mógł się odnaleźć. Niestety już samodzielne przemieszczanie się jest o wiele trudniejsze. W tym przypadku należy budować tą sferę praktycznie od zera z dźwięków dyskretnych.

Gdzie zastosowanie tej technologii najlepiej wpływa na użytkownika?

Jakub Korczyński: Spodziewamy się, że ta technika już wkrótce będzie dostępna dla użytkowników realizujących amatorskie nagrania. Wtedy stanie się już to pewnym standardem, jeśli chodzi o filmy 360, czy rozwiązania VR’owe. W momencie, w którym poczuje się tę różnicę płaskie nagrania będą wydawały się nienaturalne. Jeśli chodzi o zastosowanie to jest to dobre rozwiązanie przede wszystkim w temacie storytellingu, czyli właśnie prowadzenia użytkownika, kierowanie jego wzroku poprzez słuch. W tradycyjnym filmie mamy kadr, którym w łatwy sposób możemy precyzyjnie, punktowo nakierować uwagę, zrobić zbliżenie, regulować ostrość. Tutaj nie mamy takich możliwości. Musimy więc posłużyć się innymi środkami i okazuje się właśnie, że Audio jest doskonałym rozwiązaniem, które pomaga reżyserom kierować uwagę oglądającego.

Maciej Uniatowicz

Doświadczenie zdobywał na planach dokumentów, seriali fabularnych oraz reklam. Obecnie zajmuje się realizacją dźwięku na potrzeby Virtualilty360. Wielokrotnie nagrywał w technice binauralnej i ambisonicznej z wykorzystaniem dodatkowego omikrofonowania.

Jakub Korczyński
Pracował dla takich marek jak: PZU, WWF, JTI, SWISS, Burger King, ING, Hyundai RTV AGD, 4F, AZ.pl, Bloomberg Businessweek Polska, Pixers, Domodi. Obecnie zajmuje się rozwoje marek Virtuality360 i Giant Lazer, związanych z biznesowym wykorzystaniem technologii VR/AR i filmów 360. Wyprodukował filmy 360 m.in. dla MK Cafe, Militaria.pl, UNIT4.

Wywiad został zrealizowany podczas European VR Congress, którego patronem medialnym był portal MarketingLink