Virtual en Augment Reality met een brilletje voor iedereen

Redactie Algemeen

Archief Digital Movie 107-2016
Laadt een VR/AR 3D afspeelapp op je smartphone. Steek deze slimme telefoon in een   VR-brilletje. En je kunt 360 x 180 beeldgraden om je heen kijken. Daarmee zit je echt middenin de videofilm of de foto. Een relatief goedkoop VR-brilletje volstaat al. De apps zijn gratis net als tal van demofilmpjes en videogames. Bovendien kan je 360 graden foto’s en videofilmpjes tegenwoordig ook eenvoudig zelf maken.

360_1De termen VR en AR behoeven enige verduidelijking. VR staat voor virtuele werkelijkheid. Bij Virtual Reality bestaat het gegenereerde realistische beeld uit grafische plaatjes uit de computer, bijvoorbeeld games en simulaties. Bij Augmented Reality wordt er gebruik gemaakt van echte bestaande beelden uit de omgeving. In de praktijk loopt het allemaal een beetje door elkaar heen. VR en AR geven foto en video een extra kijkdimensie en zijn vaak ook nog interactief. De kijker kan zelf door de 360 graden 3D-omgeving bewegen of lopen. En de videogames reageren op de reacties van sensoren of afstandsbediening.
De komst van Google Glass in de vorm van een kartonnen Virtual Reality-bril heeft een ware revival van 360 graden (stereo) beeldtoepassingen tot gevolg. Iedereen kan nu met een simpel en goedkoop 3D VR-brilletje van 360 graden video en foto genieten. Daarnaast zijn er ook de Oculus Rift, Samsung Gear, Carl Zeiss en tal van goedkopere plastic VR/AR-brillen inzetbaar. N.B.: Voor AR moet je ook de omgeving en niet alleen de smartphone-display kunnen zien. In het simpelste geval is de VR/AR-bril dan aan de voorzijde open.
Behalve het bekijken via (meestal gratis) afspeelapps kun je 360 graden video en foto ook zelf aanmaken. 360_5Dit door het uit bestaand beeldmateriaal aan elkaar plakken of met een 360 graden camera opnemen. De software voor 360 graden producties heet een sticher of een assembler.

Bestond al langer
Echt nieuw is het allemaal niet met het ‘beeld rondom de kijker’. Het tonen van 360 graden beelden in foto en video stamt eigenlijk al uit de jaren vijftig. Dit was toen voorbehouden aan speciale filmbedrijven en theaters. Disney introduceerde in 1955 het Circarama (later Circle-Vision) 360° filmsysteem. Dat gebruikte negen camera’s en projecteerde ook op negen schermen. IMAX sprong daar in 1970 wereldwijd op in met het theater voorzien van een projectiekoepel voor onderdompeling van de kijkers in het beeld.
Apple voorzag al in 1994 met het QuickTime containerformaat van VR-mogelijkheden. Dat bracht het 360 graden beeld buiten het domein van grafische supercomputers en binnen het bereik van de consument. 360_15Veel meer mogelijkheden thuis dan met de voormalige Viewmaster.
Aanvankelijk bleven VR- en AR-beeld voor de consument een speeltje of hoogstens een aanvulling op videogames. Wie meer kwaliteit zocht ging naar de VR-cinema of het attractiepark. Evenementen en showtheaters gingen geleidelijk en wat bescheiden over op VR en AR voor net dat stukje extra beleving via de interactie op de smartphone, beeldcompilaties en videoclips plus op beweging reagerende beeldschermen (Kinect-technologie) en het interacteren op gezichtsemoties, oogbewegingen en hartslag.
Nieuw is de integratie in besturingssystemen zoals Microsoft Windows 10 met de hololens.

360 beeldgraden
Tegenwoordig beschikken consumentencamera’s gewoon over prima panorama-opties met stitch en 360 x 180 graden sferische view. De beeldkwaliteit haalt 2K en zelfs 4K. 360_6En met een speciale rig koppel je zo meerdere camera’s voor in totaal 360 graden opnamen aan elkaar. De professionele filmindustrie brengt nu ook Hires high-end 360 camera’s en bijbehorende objectieven uit. Bijvoorbeeld van Nokia.
Bij het sferische panoramabeeld gaat het in de naamgeving om 360 beeldgraden. Voor de kijker is dat in de praktijk maximaal 360 graden rondom en 180 graden op en neer. De volle 360 graden is voor de beleving niet altijd nodig. Je kunt bijvoorbeeld ook met 270 graden volstaan.

De kartonnen-revolutie
De eerste generatie van Google Glass deed het niet goed. Te duur, sloot niet echt aan op de eisen van de consument en werd op een aantal plaatsen op grond van privacy, veiligheid of piracy geweerd. Dit in tegenstelling tot de meer op virtuele videogames gerichte brillen zoals als de Oculus Rift.
Je kunt het Google en Apple nageven, zij hebben oog voor nieuwe veelbelovende markten buiten de slimme zoekmachines en in de Cloud.360_oculus2 VR voor iedereen compleet met bijbehorende afspeel-apps, games en zelfs streaming VR/AR-video van een relatief goede kwaliteit gaat de moderne consument bekoren. Geef ze een kartonnen brilletje van € 6,- tot € 10,- waar je de populaire smartphones insteekt en er gaat een compleet nieuwe wereld van beleving open. Reclamemakers springen hier op in met commerciële videoapps en kartonnen brilletjes in eigen (bedrukte) stijl. Op een termijn van twee jaar valt dit waarschijnlijk ook aan de poort van evenementen en cinema te verwachten.

Stevigere en betere brillen
Karton is bij veelvuldig gebruik niet duurzaam genoeg. Ook laten de instelmogelijkheden en het draagcomfort te wensen over, de lensjes zijn pover en regelmatig niet geschikt voor brildrager. Voor dertig euro heb je echter al een aanmerkelijk steviger kunststof exemplaar met draagband en betere optiek. De smartphone zit daar stevig in. Is de voorkant open dan is de bril tevens geschikt voor AR. Wie gaat gamen of door de virtuele wereld wandelt neemt daar nog een draadloze (Bluetooth) controller bij.360_17
Om eens lekker met VR/AR 360 graden te gaan experimenteren is een stevige plastic 360 graden bril met bijbehorende afspeel app voldoende. Let er op dat jouw smartphone daar zowel fysieke afmetingen en de grootte van het beeldscherm in past. En hoe werkt het klemsysteem? Een hoofdband draagt een stuk prettiger dan het op de neus (vast)houden of achter de oren klemmen. De in de betere bril gebouwde lensjes helpen bij het scheiden van de stereobeelden en het scherpstellen. Draag je een (lees-)bril probeer dan de VR-bril van te voren uit of je daarmee al goed ziet. Bekende merken voor de steviger en redelijk presterende 360 graden bril zijn Archos, ColorCross, Ritech, Homido, Durovis Dive,, HTC Vive, Hormido, Drphone en Freefly.
De prestaties van een goedkope VR/AR 360 graden bril zijn sterk afhankelijk van de gebruikte display op de smartphone, de kwaliteit van de ingebouwde lensjes en het afgespeelde bronmateriaal. Dat kan in de praktijk tegenvallen. De echte op kwaliteit bewuste gebruiker neemt VR/AR-glasses, Head Mounted Displays (HMD’s), van Oculus Rift, Samsung Gear, Fove of Carl Zeiss VR One, Sony VR of andere aanbieders van de betere 360 graden bril.360graden19
Zie ook de onderstaande tabel van de VR-Store.

Het 360 graden VR-proces
Het productieproces bij 360 graden beeld is drieledig. Stap 1 begint met de cameraset: een aparte 360 camera of een combinatie daarvan op een speciale rig. De tweede stap betreft het omzetten van de footage in sferische video, naar keuze video of foto. Daarvoor gebruik je stitch-software of een assembler. Dat kan puur softwarematig of ondersteund door een grafische processor (GPU). En de derde stap is het weergeven op een daartoe geëigende display. Doorgaans een VR-bril of -headset. Deze verwerkt de geproduceerde VR-videofile of -stream.

Cinematic VR

De heilige graal voor de toekomstige ontwikkeling van de onderdompelende videobeleving in de thuisbioscoop lijkt de VR-cinema te gaan worden. Hoogwaardige 360 graden kwaliteit valt nu gewoon zelf te genereren. 360_oculus7Daar zijn speciale camera’s of camera-arrays met rig, snelle processoren en grafische computers met geïntegreerde GPU-kaartensets, aparte software en speciale objectieven voor. Ook het geluid valt met bijbehorende immersive technieken op het 360 x 180 graden beeld aan te passen.
Dat is echter pas het halve werk! Movie making is storytelling. Zonder het juiste verhaal blijft het allemaal een maniertje of gimmick. De scenario’s en draaiboeken dient de producer naar een 360 graden VR/AR-omgeving te vertalen. Anders komt er beslist niet uit wat er in deze onderdompelingstak zit. Hetzelfde geldt voor de toepassing bij evenementen, pretparken, gaming en commercials. Ervaren aan de hand van het verhaal beleven is hetgeen er toe doet.
Bij het videofilms maken voor VR/AR zijn er bij storytelling drie belangrijke aandachtspunten:
• Het stap voor stap vertellen van het verhaal met opeenvolgende scenes voldoet niet meer. Rust en actie afwisselen lukt nog wel. Maar het cameraperspectief, beeldcompositie en overgangen zijn volstrekt anders. 360graden13Ook bestaat de niet geringe kans dat kijkers gebeurtenissen missen doordat zij elders in het blikveld plaatsvinden. Je moet de kijker actief in beeld en geluid door het filmisch verhaal leiden.
• Bij de doorsnee film of tv-productie is het kijkgedrag behoorlijk passief. Immersive voegt daar al extra sensorische en geluidssensaties aan toe. Maar bij 360 graden presentaties neemt de kijker actief deel aan het AV-gebeuren en kan dit zelfs (mede) beïnvloeden. Dat laatste door het gebruik van een afstandsbediening of gamepad en de interactie van het systeem op de bewegingen en expressies uit het publiek.
• Het grote aantal verschillende displays en formats waarin of op de 360 beelden te vertonen. Van headset en smartphone of tablet tot het big screen. Daar moet het allemaal met het verhaal optimaal tot zijn recht komen. En gaat het daarbij om een of meerdere kijkers of bezoekers?
Andere zaken om in de gaten te houden zijn de ergonomie (bijvoorbeeld voor hoofd- en oogbewegingen), het niet overprikkelen van zintuigen (misselijk worden) en de mate van user control.360_9
Het produceren van VR-cinema is inmiddels al een aparte specialistische industrie geworden, ook al in Nederland. Maar ook de BBC heeft oog voor eyetracking VR en de Fove headset biedt deze faciliteit al.

Filmtechniek
Behalve het aangepaste verhaal is ook de filmtechniek behoorlijk anders. Bewegingen van de opnemende camera’s zelf zijn de pest. Daar worden de kijkers gewoon kotsmisselijk van. Als alternatief softwarematige stabilisatie bij de postproduction.
Voor het stereo-effect zijn minimaal twee camera’s nodig. In de praktijk zet de producer veelal meerdere camera’s op een speciaal daarvoor ontworpen rig in. Dat behoeft niet echt een fortuin te kosten. Een aantal GoPro’s op een ronde rig voldoet ook aardig. Maar je kunt natuurlijk ook een RED-configuratie aanschaffen. Een correcte alignement is onmisbaar. 360_oculus1Zeker bij 3D multicamera-rigs. Speciale vissenoogobjectieven pakken de benodigde extra beeldhoek. Softwarematige stiching componeert achteraf het 360 beeld. Zeer ongewenst zijn beeldfouten, rolling shutters, onscherpte, verkeerde belichting, kleurafwijkingen en een te lage resolutie. Dat valt in dit genre juist extra op. Eenvoudiger camera’s zijn in deze bruikbaar voor smartphones en tablets maar niet voor het big screen. Een framerate van 48 bps valt voor movie aan te bevelen. Dat geeft de kijker meer rust.

Binnen ieders bereik
Zelf 360 graden films maken en bekijken komt binnen ieders bereik. Met een eenvoudig kartonnen VR-brilletje afspeel app en stich-software kan je zo al aan de slag. De afspeelbare filmpjes staan in apps of zijn gewoon te betrekken van YouTube. Daarnaast kan je ook zelf een 360 graden camera ter hand nemen. Gewoon eens lekker experimenteren voor verrassende resultaten.

Kodak SP360 camera360_kodak-pixpro-sp360-action-cam-1-hires
Dit is een solide action-cam in een onderwaterhuis met een veel grotere beeldhoek dan normaal. Opvallend is de kubusvorm met daarop een flinke bol van de supervissenoog-lens goed voor 214 beeldgraden. De levering is behoorlijk compleet met tal van bevestigingsaccessoires. Er zit al software bij voor het nabewerken van 360 graden VR video en foto. Dit programma zou echter wat moderner kunnen maar doet zijn werk naar behoren.
De besturing gaat via NFC en de Android smartphone. Even aantikken en de verbinding werkt. Andere smartphones kunnen met WiFi aan de slag. Daarnaast kan je de smartphone als extern beeldscherm gebruiken om te zien wat je precies fotografeert of filmt.
Het beeldformaat gaat uit van 1400 bij 1400 pixels in een vierkant geschoten. Let daarom goed op hoe het onderwerp in beeld staat. Anders gaat dit vertekenen. De beelduitsnede voor de supergroothoek maak je later met de software. Zowel de panoramafoto’s als videoclips kunnen er mee door. De beeldprestaties staan op het betere type actioncam. De lens is met F2.8 lekker lichtsterk. Prijs circa € 359,-.

Zelf in 360 graden schieten
Een aantal camcorders schiet eigenlijk al (deels) in supergroothoek-formaat. Tal van actioncams zoals die van GoPro werken al met een vissenoog-objectief. En met fotografische panoramashots valt met de juiste stich-software gewoon 360 graden aan elkaar te plakken. Voor 3D stereo is het nodig om met minimaal twee camera’s op te nemen.
Een wat duurdere mogelijkheid om rond om je heen te fotograferen of filmen is de aanschaf van een speciale 360 graden camera of het monteren van meerdere camera’s op een speciale rig. In dat laatste geval is weer software (stitch of assemble) nodig.360graden12

Optimaal                                              Geschikt                    Gelimiteerd
Scherm grootte (inch)          5”                                                           4.7” tot 6”                  < 4.7” of > 6”
Scherm resolutie (pixels)     Full HD (1080×1920) of hoger       HD (720×1280)        < 480×800
Processor/CPU                      Quad Core 1.6 GHz of hoger            Indien lager, test eerst enkele VR Apps of deze goed werken
Sensoren                                 Accelerometer, gyroscope                Sensoren zijn nodig voor een juiste werking!
Besturingssysteem                Android / iOS                                     Windows Phone (maar enkele Apps beschikbaar

GoPro multicam en 360
Het bekende merk bij actiecamera’s GoPro zoekt het voor 360 graden VR in een multicam-array. Je monteert daarbij meerdere camera’s op een speciale rig. De overlappende beelden zet de editor daarna om in sferische 360 graden beelden voor foto en video.
GoPro is daarbij samenwerking met Google aangegaan. Er is zelfs een open standaard voor VR sferische 360 graden video en foto, Jump genaamd, opgezet. Daar kunnen wij op korte streaming 360 graden video via internet en YouTube van verwachten.360_4
Voor de amateur wordt 16 GoPro’s op een rig een prijzige aangelegenheid. Met twee of drie GoPro’s in een vaste opstelling kom je echter ook al een aardig eindje. Een alternatief is het plaatsen van een speciale GP 360 graden lens van Eye Mirror op je camera. In combinatie met nieuwe soft- en firmware komen daar best geschikte shots uit.

Ms HoloLens: een nieuw soort Virtual Reality-bril
Microsoft heeft de ‘holografische computer’ Hololens geïntroduceerd; een soort virtualrealitybril waarmee gebruikers hologrammen in de echte wereld kunnen zien en manipuleren.
Anders dan bij VR-brillen zoals Oculus Rift is de Hololens doorzichtig, zodat dragers van de bril de echte wereld nog steeds kunnen zien. De Hololens werkt draadloos en zonder smartphone of computer. Op de glazen worden de zogenoemde hologrammen getoond, die ook met handbewegingen te manipuleren zijn.
De headset draait op Windows 10, en de software zit dan ook ingebouwd in elk Windows 10-apparaat. Microsoft spoort zijn gebruikers aan om zelf hologrammen te maken en hoopt dat uiteindelijk de hele woonkamer wordt omgetoverd tot een soort computeromgeving. Volgens Microsoft zijn apps in alle soorten en maten geschikt voor het holografische platform: van Skype, tot apps als Netflix of Spotify.
Om het platform te ondersteunen heeft Microsoft Holostudio uitgebracht, een softwarepakket waarmee hologrammen gemaakt kunnen worden.

Mobiele versus statische VR-brillen
De zogenaamde mobile glasses, mobiele VR-brillen, maken gebruik van een in te steken smartphone of ingebouwde eigen hardware. Je kunt je geheel vrij bewegen zonder verdere ondersteuning van buiten af. Een belangrijk onderscheid is of de bril eigen sensoren heeft voor het registeren van de interactie met de gebruiker of dat deze de daarvoor in de smartphone gebouwde sensoren gebruikt.
De statische (vast of stand alone) brillen maken gebruik van externe hardware, meestal een computer of spelconsole. Dergelijke brillen hebben veelal een ingebouwd beeldscherm en sensoren en zijn bedoeld voor de zwaardere games bij hogere resoluties en flitsende games. De stroomvoorziening is continu.

Rico Teta M15360_theta_m15
Met de mini 360 graden Rico Teta M15 zit je in een keer midden in de foto of video tot maximaal drie minuten. Compleet 360 graden sferisch beeld rondom met slechts een druk op de recordknop. De gemaakte opnamen zijn eenvoudig te bewerken met stitching-software, te vertonen op de smartphone en/of internet en YouTube te delen.
De camera weegt 95 gram, is leverbaar in vier kleuren en redelijk stevig en robuust uitgevoerd. Tot de belangrijkste specificaties behoren 4GB (1200 foto’s) en handmatige witbalans, ISO en sluitertijd naast volledig automatisch. De beeldkwaliteit voldoet voor smartphones, tablets en grotere computerschermen doch is niet voor de 55 inch flatscreen. De camera is te koop voor 299 euro.

Ulco Schuurmans

 

Leave a Reply

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Check Also
Nieuwe 4K UHD-ontwikkelingen: Hybride camera’s en zowel 4K Video als Foto
Archief Digital Movie 107-2016 UHD oftewel 4K is bij video in opkomst. Naast de camcorders ...