Spatial sound design: je hoort wat je ziet

Redactie Achtergrond

Archief Digital Movie 125-2019
Ruimtelijk geluid vormt een ware verrijking van de beleving in de homecinema. Na het geluid van voren, opzij, van achteren, van boven en van onderen komt er nu ook de object based geluidsontwerp. Dat is het nauwkeurig in de weergaveruimte positioneren van de afzonderlijke geluidsbronnen qua volume, karakteristieke eigenschappen, het losmaken van de rest en volgen bij beweging. Kortom, je hoort echt wat je ziet.

Het zogenaamde ‘spatial sound design en mixing’ vormt een nieuwe loot bij de ontwikkeling van onderdompelend (immersive) realistisch klinkend geluid. Dit zowel in de grote e-cinema en thuisbioscoop als bij grote muziekuitvoeringen en evenementen.

Historie
Het begon met Acoustic Enhancement (AE), galm verbeterende systemen die de geluidservaring en akoestiek met een groot aantal doelgericht geplaatste luidsprekersin lagen op een hoger belevingsniveau brengen. Dat is op zich niet geheel nieuw. In 1940 werd er bij de Disney Film en Musical Fantasia al een met de hand gestuurde multikanaals audiosensatie ten gehore gebracht. En in de jaren vijftig deed Quadraphonic sound opgang. In feite passieve geluidssystemen waarmee je met een druk op de knop de akoestische weergave verandert.
Max Bell van Dolby Laboratories kwam in 1978 met 3-kanaals Split Surround voor Superman en Apocalypse Now. Surround Sound verzorgt geluid van voren, links, rechts en van achteren. 3D surround voegt daar nog eens boven en onder aan toe. Het bestaat in verschillende configuraties, zoals Dolby Surround, Dolby Atmos, DTSX en de THX-standaard al vele jaren.
In de jaren tachtig ontwikkelde professor Berkhout (TU Delft) al een golfvorm-synthese om de ruimtelijke stereoweergave te verbeteren. Ook Philips was daar actief mee bezig. In 1999 stond er bij het Adelaide Festival Theatre een Lares-systeem met 156 luidsprekers, elk voorzien van een eigen versterker. Microfoons brachten het geluid binnen en de processor zorgde voor een tot dan toe ongekende ruimtelijke akoestiek, het juiste volume en resonantie overal in de evenementruimte en een lekkere frisheid. Iedereen was lyrisch.
Begin 2000 startte het Fraunhofer Instituut voor Digitale Media Technologie eveneens met ontwikkelingen bij ruimtelijk geluid met als latere spin-off IONOSO. En VBAB bracht de Vector Based Amplitude Panning. Een techniek voor 3D panning waarmee soundengineers een ‘geluidsdode’ congreshal omtoveren tot de akoestiek in een concertzaal. Dit alles zowel binnen als buiten bij live orkesten, popfestivals, theatershows en andere evenementen. ‘Wat je hoort is wat je ziet’, werd daarmee realiteit.
Momenteel zijn er vijf gangbare systemen voor Spatial Audio Mixing (SAM) en ruimtelijke audio enhancement: L-Acoustics L-ISA, Astro Spatial Audio, Barco IOSONO, Yamaha AFC3 en d&b Soundscape. Moderne AE- en SAM-technieken maken gebruik van netwerken zoals Dante en matrices. In de meeste gevallen is er sprake van een open standaard, bijvoorbeeld hetOpen Sound Control (OSC) netwerkprotocol, met dedicated showcontrollers, worklfow control, standaard consoles, replay en tracking. Tevens flexibel opschaalbaar.

Realistisch galmveld
Bij film en broadcast is immersive sound een stuk gemakkelijker omdat de weergavelocatie vast is en ook standaard weergavecondities heeft bijvoorbeeld 5.1. Bij live theater en podia is dat geheel anders c.q. telkens een wisselende weergavesetting. Echter het publiek/de luisteraar wil daar ook dezelfde ervaring als in de e- en homecinemaof geavanceerde VR/AR-games. En dat stimuleert om betalend publiek op deze wijze binnen te halen.
In feite draait het allemaal om ‘akoestische verbeterings-systemen’ waarbij een realistisch galmveld wordt gegenereerd met microfoons, DSP en luidsprekers. Sterk in opkomst is momenteel het concept van ‘object based audio’ waarbij elke afzonderlijke geluidsbron en/of sectie van orkesten of vocalisten precies in de immersive 3D weergaveruimte valt te plaatsen en te volgen. Naast bij grote dure producties inmiddels ook betaalbaar voor de middelgrote en reizende evenementen en de gewone e-cinema. De homecinema volgt naar verwachting binnen enkele jaren.De belangrijkste redenen hiervoor zijn de introductie van betaalbare netwerktechnologie, waarmee het aansluiten en individueel managen van meerdere luidsprekers geen probleem meer is, en het beschikbaar komen van krachtige doch betaalbare DSP processors, computers en handige user-interfaces zoals tablets.

Binauriculair horen en spatial audio

Wij mensen horen doorgaans met twee oren en ons brein maakt daar zowel een richtingsgevoelig en een bijpassend volume als ruimtelijke ervaring van.Bewegen wij ons hoofd dan verandert ook de aard van de perceptie. Bij 3D, spatial of 360 graden geluid gaat het om audiosimulatie in de (virtuele) ruimte die de luisteraar zo natuurlijk mogelijk live sound laat ervaren. Net of je er middenin staat, in ondergedompeld wordt (immersive), je het geluidspad kunt volgen (tracking), naast de spreker of acteur staat en audio-objecten de juiste afstand en klank hebben. De combinatie van richting, afstand, ruimtelijke (akoestiek) en omgevingsfactoren plus bijkomende effecten creëren zo de ‘spatial audio.’
Bij muziek betekent spatial audio het maximaal gebruikmaken van de plaats in de podiumruimte om de ervaring maximaal tot zijn recht te laten komen. In de praktijk gaat het daarbij om de vocals en de plaats met bijpassend volume van de gebruikte instrumenten of secties daarvan.
Bij de spatial e-cinema betreft het een combinatie van optimale weergave voor de hoofden van de afzonderlijke bezoekers, de soundtrack, het volgen van de audio-objecten en effecten waar je hen verwacht. Hetzelfde geldt voor VR/AR-gaming en entertainment zoals pretparken.
Onder spatialisaton verstaan we de projectie en lokalisatie van geluidbronnen in de ruimte zowel stationair als bewegend. Dat kan zowel fysiek als via simulatie.

Van panning naar immersive
Zoals gezegd is ruimtelijk geluid al lang ingeburgerd. In de praktijk gaat het om een uitbreiding van het ‘stage oriented’ geluids-versterkingsconcept. Daarbij versterk je de geluids-objecten van een optreden op een toneel offilmset via de luidsprekers links en rechts. Dit concept wordt eigenlijk al op elke analoge mengtafel toegepast: Een geluidsobject (een stem, gitaar, drums, etc.) bewerkt de geluidsman/vrouw door middel van een zogenaamde channel strip, waarmee van het object het niveau (de fader), het spectrum (het filter) en de positie (de pan potmeter) kan worden bepaald. In het begin was de panning beperkt tot het instellen van een balans tussen de linker en rechter luidspreker. Later werd daar vaak een centerluidspreker aan toegevoegd.
Met de introductie van digitale mengtafels werd het mogelijk om ook luidsprekers links, rechts en achter de luisteraars op te stellen in een ‘surround’ opstelling. Daarmee ondersteun je een ‘immersive sound’ beleving. Op de in 1995 geïntroduceerde Yamaha de 02R digitale mengtafel, vaak toegepast voor broadcast, film en dvd-producties, werd daarom een 5.1 ‘surround panner’ ingebouwd. Dit 5 kanaals mini- ‘immersive sound’ systeem werd soms ook live gebruikt, reden waarom sindsdienalle professionele Yamaha mengtafels als standaard nog steeds een 5-kanaals panner hebben. (Bron: Yamaha).

Het geluid waar de bron is
Het klassieke mono, stereo of links-centrum-rechts is en blijft alleen een weergave van de richting en plaatsing van de geluidsbronnen. 3D sound maakt het geluid echt meer ruimtelijk. Bij de onderdompeling oftewel de immersive sound komt het geluid van alle kanten. Zelfs met tracking, het automatisch kunnen volgen van de bewegende geluidsbron. Dat kan met een nauwkeurigheid van enkele centimeters.In feite het doorbreken van het traditionele stereo-effect met vast opgestelde luidsprekerrichtingen (bijvoorbeeld 5.1) naar echte live koppeling aan de geluid producerende objecten in de ruimte.
AE en Spatial Audio Mixing (SAM) doen daar nog eens een nieuwe live beleving bovenop. Stemmen van acteurs die ook rechtstreeks uit de mond van de desbetreffende performer komen. Waar ze zich ook bevinden of naar toe bewegen. Delen van de optredende band, instrumentale secties van orkesten en ook individuele instrumenten zijn door de geluidstechnicus los te maken en te positioneren in de ruimte en/of te versterken. Kortom met AE en SAM kan de soundengineer het geluid overal in optima forma naar toe sturen. In deze spreekt men ook van Immersive Hyperreal Sound.
Let op: Bij AE gaat het om de opstelling van een flink aantal luidsprekers, de constellation of speakers. In geval van SAM gaat het met name om sound design (ontwerp voor het plaatsen van audio) bij minimaal vijf afzonderlijke speakers.

Sound Scenography & soundscape
Bij de zogenaamde sound scenography gaat het om het vormgeven van een geluidsomgeving door het ruimtelijk plaatsen van meerdere luidsprekers. Doorgaans semi-3D Dolby Surround Sound voor de home- en e-cinema, virtual reality en objectbased audio. Bekende voorbeelden zijn Dolby Atmos en Sennheiser AMBEO. De hierbij beoogde doelgroepen zijn de kijkers thuis, eenvoudiger bioscoopproducties, pretparken en VR/AR videogaming zijn ook anders en veelal kleinschaliger.Een andere jargonterm en ook merknaam is Soundscape. Onder de Soundscape verstaan wij het 360 graden geluidslandschap. In feite het volledige ons omgevende geluid op diens specifieke tijd en plaats. Dat geeft het menselijk oor de echte beleving van er midden in te zitten en de positie van de geluidsbronnen te kunnen bepalen.

Van audiosignalen naar audio-objects
De term (true) object based audio is al enkele malen gevallen. In de praktijk van de Spatial processingtechniek gaat het daarbij om het toevoegen van uitgebreide metadata over de karakteristieken van het geluid en diens bron aan het audiosignaal. De eenvoudigere gekanaliseerde weergave maakt gebruik van stereo links rechts en het creëren van een fantoomluidspreker via het aansturen van delay en level. Dat gaat prima met een vaste luidsprekeropstelling als 5.1. Maar bij een andere opstelling of het uitvallen van een speaker gaat het mis!
Bij true object based gaat het om de via de software ruimtelijk voorgeprogrammeerde XYZ-coördinaten. In geval van een andere luidsprekeropstelling (plaats en aantal) of een plotselinge uitval definieert het systeem de optimale geluidsweergave live opnieuw. Je merkt daar als toehoorder vrijwel niets van. De SAM-processor met rendering verwerkt de over het netwerk (bijvoorbeeld Dante of MADI) gestuurde audio vele tientallen maal per seconde. Het eindresultaat is een exacte positionering met alle typerende karakteristieken met bijbehorende akoestische effecten voor de toegepaste luidsprekeropstelling. Bijvoorbeeld Astro en Atmos maken hier gebruik van.
Grafische Computer-aided design (CAD)-technieken zijn in gebruik voor het opstellen van 3D-plaatjes en -modellen bij het exact in de ruimte kunnen plaatsen van stemmen, gelach, instrumenten en andere geluidsbronnen. Anders gezegd het positioneren van een geluidsbron als object in een grafisch interface (het CAD-ontwerp). Uitgaande van CAD-ontwerpen kan je de bestaande eventruimte geheel akoestisch transformeren naar de optimale 3D-setting voor het weer te geven event, zoals bijvoorbeeld een musical, theaterstuk of scene based bandoptreden, pretparken en musea met live exposities. Bij wijze van spreken van de gangkast tot een kathedraal. Let wel, het blijft een 3D-plaatje en de geluidsontwerper zal de ruimtelijk mix verder zelf moeten programmeren.

Je hoort ook echt wat je ziet
Een belangrijk principe is dat standaard geluidsconfiguraties eigenlijk alleen goed werken bij het publiek dat daar ook daadwerkelijk recht voor zit. Naar de zijkanten, hoger of lager en ook te ver naar achteren kan het ruimtelijk geluidsbeeld danig verstoren. Richting, volume, pitch, galm, echo, reverb en het geluid kunnen volgen (sensory tracking) komen daarmee in het geding.
De signalen van de ogen en oren raken binnen onze hersenen in conflict. Het horen wijkt af van hetgeen de ogen zien! Een spreker, vocalist, instrument, pistoolschot, voertuig, dichtslaand portier, vallend glas, props of ander geluid makend object bevindt in onze beleving zich elders dan waar het precies zou moeten zijn. Hetgeen nog verergert als een ‘audio-object’ zich on stage of in de film verplaatst.
Je krijgt alleen een live realistische soundscape als het publiek of de kijkers per afzonderlijk individu overal in de ruimte precies op de eigen audiowenken bediend worden. Met andere woorden object based audio met de exacte daarbij behorende akoestische geluidskarakteristiek.

Geheel programmeerbaar
Heeft een geluidsbron eenmaal deze programmeerbare audiodata voor de weergaveruimte dan kan de soundengineer deze plaatsen en zich laten verplaatsen en waar nodig mixen met andere datasources voor audio. Dat kan zowel binnen als buiten de ruimte. Zo kan je bijvoorbeeld een onweersbui van buiten naar de eventruimte laten overdrijven inclusief het op het juiste moment laten neerkomen van de regen op de hoofden van de bezoekers.
De huidige generatie SAM-software en hardware is toegerust met scenario’s en kunstmatige intelligentie (AI). Niet alleen weet de netwerk-SAM-configuratie wat er volgens het eventprogramma of movie gaat gebeuren en de audioweergave in de zaal of eventomgeving daarop aanpassen. Het systeem slaat bekende programma’s (scenario’s) en configuraties op. Met een druk op de knop op te roepen plus flexibel inzetbaar voor tal van performances en locaties.
Met AI kan het bovendien ook nog eens voorspellen wat veranderingen en (on-)verwachte gebeurtenissen voor audiogevolgen zullen hebben en daarop anticiperen. De hogeschool van deze techniek gaat zelfs in realtime interactie met de gedragingen van de performers en het publiek. Dat biedt tot voor kort ongekende mogelijkheden om de eventbeleving en -sensatie te versterken. Het geluid volgt het optreden en de emotional engaged audience op de voet.

Tot slot
Genieten van spatial audio mixing en sound design kan alvast bij evenementen en de daarvoor toegeruste e-cinema’s. Ook bij grootschaliger entertainment (pretparken), bij professionele VR/AR-videogames, in theaters en musea kan je er al kennis mee maken. In de homecinema kunnen wij alvast genieten van Dolby Surround 3D en Atmos.

Ulco Schuurmans

 

Leave a Reply

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Check Also
Think Tank ‘Vision’ serie
Transcontinenta kondigt een nieuwe serie schoudertassen aan: de ‘Vision’. De Think Tank ‘Vision’ schoudertassen zijn ...