Op basis van hersenopnames heeft een kunstmatig intelligent systeem afbeeldingen waar een aap naar keek uitermate goed weten te reconstrueren. De AI slaagde hierin door zich te concentreren op specifieke hersengebieden.
Kunstmatige intelligentie (AI) kan nu opmerkelijk nauwkeurige reconstructies maken van waar iemand naar kijkt, op basis van opnames van diegene zijn hersenactiviteit. Deze gereconstrueerde beelden verbeteren aanzienlijk wanneer de AI leert op welke delen van de hersenen die moet letten. Dit laten informaticus Umut Güçlü en zijn team van de Radboud Universiteit in Nijmegen zien in artikel dat is verschenen op de voorpublicatiewebsite bioRxiv.
‘Voor zover ik weet, gaat het hier om de meest nauwkeurige reconstructies ooit’, zegt Güçlü.
‘Ik probeer robots te ontwikkelen die ook echt een nieuwe stap maken’
Hoe werkt vliegen? Dat lijkt een simpele vraag, maar voor luchtvaarttechnicus en bioloog David Lentink is het een levenslange zoektocht.
Hersensignalen ontcijferen
Het team van Güçlü is een van de vele groepen die wereldwijd AI-systemen gebruiken om uit hersenopnames en -scans op te maken wat dieren of mensen zien. In een eerder onderzoek gebruikte zijn team een functionele MRI-scanner (fMRI) om de hersenactiviteit van drie mensen op te nemen terwijl ze een serie foto’s te zien kregen.
In een ander onderzoek gebruikte het team geïmplanteerde elektroden om rechtstreeks de hersenactiviteit van één makaak op te nemen terwijl deze naar door AI gegenereerde beelden keek. Deze implantatie werd oorspronkelijk voor andere doeleinden uitgevoerd door een ander team, zegt Güçlü’s collega Thirza Dado, eveneens informaticus aan de Radboud Universiteit. ‘De makaak werd niet geïmplanteerd zodat we een reconstructie van zijn waarneming konden maken’, geeft ze aan. ‘Dat is geen goed argument om dieren te opereren.’
Voor hun huidige onderzoek analyseerde het team de gegevens van deze eerdere onderzoeken opnieuw met behulp van een verbeterd AI-systeem dat kan leren aan welke delen van de hersenen het de meeste aandacht moet besteden. ‘In principe leert de AI bij het interpreteren van de hersensignalen waar het zijn aandacht op moet richten’, zegt Güçlü. ‘Natuurlijk weerspiegelt dat op een bepaalde manier wat dat hersensignaal vastlegt in de omgeving.’
Van signaal naar beeld
Met de directe opnames van hersenactiviteit bij de makaak komen sommige gereconstrueerde beelden nu opmerkelijk dicht in de buurt van de beelden die de makaak zag, die waren geproduceerd door een beeldgenererende AI. Het is echter eenvoudiger om beelden te reconstrueren die door een AI zijn gemaakt dan ‘echte’ beelden, zegt Dado. Dat komt doordat je delen van het proces dat je gebruikt om de beelden te genereren kan meenemen in de AI die de beelden reconstrueert.
Bij de fMRI-scans die bij mensen waren gedaan, was er ook een duidelijke verbetering te zien na gebruik van het systeem dat zich concentreert op specifieke hersendelen, maar de gereconstrueerde beelden waren minder nauwkeurig dan die van de makaak. Dit komt deels doordat er echte foto’s werden gebruikt in die studie. Maar het reconstrueren van beelden uit fMRI-scans is ook veel moeilijker, zegt Dado.
