Jakub Korczyński oraz Maciej Uniatowicz odpowiadają na nasze pytania na temat wykorzystania Audio w VR. Wyjaśniają na czym polegają nagrania ambisoniczne i binauralne, do czego służy głowa Neumana oraz jak lokalizujemy dźwięk w przestrzeni.

Zwykle nie zdajemy sobie sprawy, jak dużą rolę odgrywa dźwięk podczas doświadczeni wirtualnej rzeczywistości oraz oglądania filmów w technologii 360. Podczas European VR Congress zapytaliśmy o nowe możliwości oraz ograniczenia tego typu nagrań.

Monika Szczurowska: Jak właściwie wykorzystywać Audio w wirtualnej rzeczywistości?

Jakub Korczyński: Jeśli chodzi o wykorzystanie Audio w VR- arze to w mojej opinii, najważniejsza jest synchronizacja obrazu z dźwiękiem. Do tej pory, większość produkcji była robiona w prostszy sposób, co spełnia swoje zadanie, póki użytkownik patrzy w punkt, który założyliśmy. Ale przecież nie jest to istotą filmów 360, czy doświadczenia VR. Istota tych doświadczeń polega na tym, że eksplorujemy pewien świat, więc mamy swobodę patrzenia w różne strony.Chcielibyśmy więc, aby dźwięk naturalnie podążał za nami. Myślę, że jest to podstawowe wykorzystanie, nad którym warto się skupić.

Czy zatem lokalizacja dźwięku w przestrzeni znacząco wpływa na nasze doznania jako użytkowników VR?

Jakub Korczyński: Jeśli jesteśmy w danej przestrzeni, świecie VR’owym to potrzebujemy różnych elementów, które budują autentyczność tego świata. Wykorzystanie dźwięku i zlokalizowanie go w różnych miejscach pomaga w stworzeniu iluzji rzeczywistości. Staramy się odtworzyć codzienną sytuację, kiedy dobiegają nas odgłosy z różnych stron i kierujemy uwagę tam, gdzie nas kieruje dźwięk. Dźwięk staje się elementem VR’owego storytellingu.

Czyli podsumowując, dzięki temu doświadczenia VR stają się dla nas bardziej realne?

Jakub Korczyński: Tak, dokładnie, zmysł wzroku zastępujemy wirtualnym światem i w ten sam sposób działamy ze słuchem. Wtedy realizm doświadczenia się zwiększa i możemy na tym tworzyć dalsze efekty – dotykowe, wprowadzanie przedmiotów, czy też rozpoznawanie zapachów. Możemy aktywować wszystkie zmysły.

Na czym polegajÄ… nagrania binauralne ambisoniczne?

Maciej Uniatowicz: Nagranie binauralne odwzorowuje sposób, w jaki sÅ‚yszy czÅ‚owiek. Czyli uwzglÄ™dnia wpÅ‚yw gÅ‚owy ludzkiej, ksztaÅ‚t oraz wpÅ‚yw małżowin usznych na to, jak ten dźwiÄ™k jest odbierany. Nasz mózg na podstawie informacji, które docierajÄ… do naszych uszu oraz odbić od małżowi usznych, tÅ‚umienia przez czaszkÄ™, jest w stanie bardzo precyzyjnie zlokalizować źródÅ‚o dźwiÄ™ku w przestrzeni trójwymiarowej. Tan efekt uzyskujemy wÅ‚aÅ›nie przy użyciu sztucznej gÅ‚owy – gÅ‚owy Neumana. DźwiÄ™k staje siÄ™ przestrzenny, bardzo zbliżony do tego, w jaki sposób my sÅ‚yszmy. Nagrania ambisoniczne stanowiÄ… nico inny typ nagraÅ„ i odwzorowujÄ… całą sferÄ™ dźwiÄ™kowÄ… wokół wybranego punktu w przestrzeni – tak jakby jesteÅ›my otoczeni przez dźwiÄ™k z każdej strony. Na nagraniu rejestruje siÄ™ wiÄ™c dźwiÄ™k dochodzÄ…cy z każdego punktu w tej przestrzeni. NastÄ™pnie umiejscawiamy sÅ‚uchacza w miejscu, w którym zamontowany byÅ‚ mikrofon, dziÄ™ki czemu ma on peÅ‚ne poczucie dźwiÄ™ku przestrzennego, tak jak w rzeczywistoÅ›ci.

Z jakimi ograniczeniami zwiÄ…zane sÄ… takie rozwiÄ…zania?

Jakub Korczyński: Głównym ograniczeniem, które możemy wskazać jest przemieszczanie się w przestrzeni. Najlepiej, jeśli nagranie przeprowadzamy w jakimś konkretnym punkcie. Jeśli zaczniemy chaotycznie poruszać sferą, którą nagrywamy, a ruch użytkownika będzie inny, to te dwa elementy się rozminą. Ograniczeniem jest więc obecnie przemieszczanie się w takim świecie. Jest to znacznie łatwiejsze do zrobienia, w przypadku statycznego filmu 360. W przypadku ruchu, rekomendowalibyśmy raczej bardzo delikatne przesunięcia, dzięki czemu użytkownik będzie mógł się odnaleźć. Niestety już samodzielne przemieszczanie się jest o wiele trudniejsze. W tym przypadku należy budować tą sferę praktycznie od zera z dźwięków dyskretnych.

Gdzie zastosowanie tej technologii najlepiej wpływa na użytkownika?

Jakub Korczyński: Spodziewamy się, że ta technika już wkrótce będzie dostępna dla użytkowników realizujących amatorskie nagrania. Wtedy stanie się już to pewnym standardem, jeśli chodzi o filmy 360, czy rozwiązania VR’owe. W momencie, w którym poczuje się tę różnicę płaskie nagrania będą wydawały się nienaturalne. Jeśli chodzi o zastosowanie to jest to dobre rozwiązanie przede wszystkim w temacie storytellingu, czyli właśnie prowadzenia użytkownika, kierowanie jego wzroku poprzez słuch. W tradycyjnym filmie mamy kadr, którym w łatwy sposób możemy precyzyjnie, punktowo nakierować uwagę, zrobić zbliżenie, regulować ostrość. Tutaj nie mamy takich możliwości. Musimy więc posłużyć się innymi środkami i okazuje się właśnie, że Audio jest doskonałym rozwiązaniem, które pomaga reżyserom kierować uwagę oglądającego.

fot. Piotr Rodzoch
fot. Piotr Rodzoch

Maciej Uniatowicz

Doświadczenie zdobywał na planach dokumentów, seriali fabularnych oraz reklam. Obecnie zajmuje się realizacją dźwięku na potrzeby Virtualilty360. Wielokrotnie nagrywał w technice binauralnej i ambisonicznej z wykorzystaniem dodatkowego omikrofonowania.

 

 

 

 

fot.Robert Cybulski
fot.Robert Cybulski

Jakub Korczyński
Pracował dla takich marek jak: PZU, WWF, JTI, SWISS, Burger King, ING, Hyundai RTV AGD, 4F, AZ.pl, Bloomberg Businessweek Polska, Pixers, Domodi. Obecnie zajmuje się rozwoje marek Virtuality360 i Giant Lazer, związanych z biznesowym wykorzystaniem technologii VR/AR i filmów 360. Wyprodukował filmy 360 m.in. dla MK Cafe, Militaria.pl, UNIT4.

Wywiad został zrealizowany podczas European VR Congress, którego patronem medialnym był portal MarketingLink


Promuj biznes na łamach MARKETINGLINK!

Zobacz możliwości reklamy w portalu


Niech Cię widzą w sieci! - Grzegorz Miłkowski