Een computersysteem gebruikt foto’s van iemands gezicht vanuit verschillende hoeken om via reflecties de bekeken scène te reconstrueren.
Je ogen onthullen meer dan je denkt. Onderzoekers kunnen nu 3D-beelden gebruiken om een scène te reconstrueren in 3D uit de reflecties op iemands oogbollen.
Computerwetenschapper Jia-Bin Huang en collega’s van de Universiteit van Maryland ontwikkelden een computervisiemodel dat tussen de vijf en vijftien digitale foto’s neemt vanuit verschillende hoeken van iemands gezicht terwijl hij naar een scène kijkt. Vervolgens reconstrueert het model die scène aan de hand van de reflecties in de ogen.
‘Ik probeer robots te ontwikkelen die ook echt een nieuwe stap maken’
Hoe werkt vliegen? Dat lijkt een simpele vraag, maar voor luchtvaarttechnicus en bioloog David Lentink is het een levenslange zoektocht.
Neurale stralingsvelden
De methode past een techniek toe die neurale stralingsvelden (NeRF) wordt genoemd, waarbij neurale netwerken worden gebruikt om de dichtheid en kleur te bepalen van objecten die de computer ziet. NeRF werkt meestal door direct naar een scène te kijken, in plaats van naar een scène die wordt gereflecteerd in iemands oogbollen.
De versie van Huang bouwt de scène op door extrapolatie op basis van een vierkant van gemiddeld 20 bij 20 pixels in elk oog. De methode levert volgens de onderzoekers redelijke resultaten bij het weergeven van de echte objecten. Wel zijn de afbeeldingen wazig omdat het moeilijk is om de vorm van het hoornvlies weer te geven, de helder, glimmende buitenste laag aan de voorkant van de oogbol.
Lady Gaga
Bij het testen van videoclips van Miley Cyrus en Lady Gaga was de techniek in staat om de ruwe vorm van objecten in de ogen van de zangers te herkennen, maar lukte het niet om details te reconstrueren.
Het werk bouwt voort op onderzoek van computerwetenschapper Ko Nishino en Shree K. Nayar van Columbia University in New York, midden jaren nul. ‘Dat werk maakte veel indruk door te laten zien hoe het oppervlak van het hoornvlies kan worden gebruikt als een benadering van een bolle spiegel om panoramische beelden te creëren’, zegt computerwetenschapper Serge Belongie van de Universiteit van Kopenhagen.
‘Het nieuwe werk breidt dit concept uit naar 3D-reconstructie’, zegt Belongie. ‘De resultaten zijn behoorlijk indrukwekkend en zullen mensen – opnieuw – wel twee keer laten nadenken over wat ze onthullen als ze worden gefotografeerd door camera’s met een steeds hogere resolutie.’
