Onderzoekers in de VS hebben een methode gevonden om video’s van afzonderlijke smartphones te combineren tot een ‘4d-visualisatie’, waarin je vanuit verschillende hoeken naar dezelfde actie kunt kijken. Het is zelfs mogelijk om mensen of objecten die zichtlijnen blokkeren, volledig te wissen.
Als voorbeeld noemen de onderzoekers van Carnegie Mellon University in de VS een filmpje van een huwelijksreceptie, waarbij dansende mensen vanuit net zoveel hoeken kunnen worden gezien als dat er camera’s waren. En die ene aangeschoten gast die net voor het bruidspaar langs liep, is opeens nergens meer te bekennen.
“Maar het is ook mogelijk om personen in de ene setting op te nemen en ze vervolgens in een andere te plaatsen”, zegt Aayush Bansal, promovendus aan het Robotics Institute van de universiteit. “De enige beperking is het aantal video-feeds”, zegt Bansal, “hoe meer camerastandpunten, des te meer is er mogelijk.” Hij en zijn collega's presenteerden hun 4D-visualisatiemethode afgelopen maand op de conferentie Computer Vision en Pattern Recognition. De website TechXplore schrijft hierover.
Virtual reality ‘voor iedereen’
‘Gevirtualiseerde werkelijkheid’ is niet nieuw, maar dit soort effecten zijn tot nu toe voorbehouden aan professionele film- en special-effectstudio’s. "Het samenvoegen van platte opnamen die met meerdere amateurcamera's zijn gemaakt, tot één model dat een dynamische 3d-scène kan reconstrueren, was simpelweg nog niet mogelijk", zegt Aayush Bansal. De onderzoekers gebruikten echter vijftien gewone iPhone-camera’s om aan te tonen dat iedereen met deze techniek overweg kan.
Deep learning
In plaats van met dure studioapparatuur gingen de onderzoekers aan de slag met kunstmatige intelligentie en deep learning. Ze gebruikten een programma (convolutional neural nets) dat visuele gegevens analyseert, om de informatie van een specifieke scène te vervangen door informatie uit andere camerastandpunten. In de montage is het resultaat zodanig gemanipuleerd, dat je om de scène heen kunt kijken en dat personen of objecten in het eindresultaat compleet zijn weg gefilterd.
Hoewel deze methode de scènes niet per se in perfect 3d-detail vastlegt, kan het systeem de afspeelhoeken beperken, zodat onvolledig gereconstrueerde delen niet zichtbaar zijn en de illusie van 3d niet wordt verstoord.
In dit filmpje zie je de resultaten.
