Een nieuw kunstmatig intelligent systeem (AI) kan aan de hand van hersenscans meten dat iemand denkt aan een specifiek concept zoals eten of slapen. Het systeem kan misschien ooit van pas komen om mensen te helpen die hun spraakvermogen hebben verloren, of om psychische stoornissen te onderzoeken.
Wanneer we een signaal uit de buitenwereld waarnemen, zoals een gesproken woord of beeld, wordt dit in de hersenen gecodeerd als een bepaald patroon van neurale activiteit. Tot dusver hadden pogingen om uit te zoeken welke woorden een specifiek neuraal signaal veroorzaakten, wisselende resultaten. Voor de meest succesvolle pogingen zijn chirurgisch geïmplanteerde elektroden nodig.
Nu heeft hersen- en computerwetenschapper Alexander Huth van de Universiteit van Texas met zijn team een AI-model ontwikkeld dat beter werkt. Het model kan woordreeksen afleiden die overeenkomen met, of sterk lijken op de signalen die tot een bepaalde hersenactiviteit leiden.
AI-assistent kan 113-hulpverlening ondersteunen
Dataspecialist Salim Salmi maakte een AI-tool die 113-hulpverleners ondersteunt.
Zelfbedachte verhalen
Eerst maakten Huth en zijn team functionele MRI-scans (fMRI-scans) van netwerken in de hersenen die verband houden met taalverwerking. Dat deden ze bij een kleine groep van mensen die 16 uur lang luisterden naar gesproken verhalen. Zo trainden ze het model om te begrijpen en te voorspellen hoe iemands hersenen op een bepaalde reeks woorden reageren.
De onderzoekers vroegen de deelnemers vervolgens naar een nieuw verhaal te luisteren. Het model probeerde dan de bijbehorende hersenopname te decoderen. Daarna vergeleken de onderzoekers de woorden uit het verhaal met de gedecodeerde versie.
Huth en zijn collega’s testten hun decoder ook op mensen die zelfbedachte verhalen vertelden en korte geluidloze films bekeken. In beide experimenten slaagde het model erin soortgelijke woorden en reeksen af te leiden.
Indrukwekkend
De volgende zin komt bijvoorbeeld uit de originele tekst van een verhaal waarnaar werd geluisterd: ‘Die avond ging ik naar boven naar wat onze slaapkamer was geweest, en niet wetend wat ik anders moest doen, deed ik het licht uit en ging ik op de vloer liggen.’
De AI vertaalde de resulterende hersenpatronen als volgt: ‘We kwamen terug in mijn kamer, ik had geen idee waar mijn bed was, ik nam aan dat ik erop zou slapen, maar in plaats daarvan ging ik op de vloer liggen.’
‘Het feit dat de decoder de essentie van de zinnen kan begrijpen, is zeer indrukwekkend’, zegt hersenwetenschapper Anna Ivanova van het Massachusetts Institute of Technology. ‘We zien echter dat het nog een lange weg te gaan heeft. Het model raadt stukjes en beetjes van de betekenis en probeert die dan samen te voegen, maar de algemene boodschap gaat meestal verloren. Dat gebeurt waarschijnlijk omdat de opgevangen hersensignalen wel weergeven aan welke concepten iemand denkt, zoals ‘praten’ of ‘eten’, maar niet hoe die concepten met elkaar samenhangen.’
Het model lijkt ook beter in het voorspellen van concrete woorden zoals ‘eten’ dan in het voorspellen van abstracte begrippen, voegt Ivanova toe.
Taalneuraal netwerk
Volgens hersenwetenschapper Jack Gallant van de University of California in Berkeley zijn er twee manieren om decoderingsmodellen te verbeteren: betere hersenopnames en krachtiger computermodellen. De fMRI-capaciteit is de afgelopen tien jaar niet veel verbeterd, maar de rekenkracht en taalmodellen van computers wel.
‘De onderzoekers hebben een volledig modern, krachtig taalneuraal netwerk ontwikkeld, en dat vervolgens gebruikt als basis voor het decoderingsmodel’, zegt Gallant. ‘Dat is de innovatie die vooral verantwoordelijk is voor zulke geweldige resultaten.’
Dergelijke computermodellen kunnen mensen die niet kunnen spreken mogelijk ooit helpen communiceren. Ook kunnen ze van pas komen voor bijvoorbeeld onderzoek naar psychische stoornissen, zegt Gallant.
Privacy
Logischerwijs spelen privacykwesties een rol bij de toegang tot iemands gedachten. Volgens Huth en zijn team is dit momenteel echter geen probleem, omdat het model nogal veel trainingsgegevens en samenwerking vereist. Als iemand in de fMRI-scanner ervoor kiest om aan andere dingen te denken – zoals tellen, een verhaal vertellen of dingen opnoemen – saboteert dat de decoder.
‘Als je niet naar enkele uren podcasts hebt geluisterd terwijl je in een MRI-scanner lag, kunnen Huth en zijn collega’s je gedachten waarschijnlijk niet decoderen – althans, nog niet’, zegt Ivanova.
