Een laptop die de woorden uitspreekt waar jij aan denkt: de ontwikkeling daarvan is een belangrijke stap vooruit voor mensen met spraakstoornissen. Neurowetenschapper Christian Herff van de Universiteit Maastricht legt uit hoe dit systeem tot stand is gekomen.
Een computer die gedachten kan lezen, hoe werkt zoiets?
‘In deze studie hebben we hersenactiviteit gemeten in een epilepsiepatiënt. Deze patiënt verbleef in een expertisecentrum, waar haar epilepsieaanvallen een aantal weken werden gemonitord met behulp van elektroden in de hersenen. Wij hebben hier handig gebruikt van gemaakt in ons onderzoek.
We hebben de epilepsiepatiënt, die dus zelf geen spraakstoornis heeft, eerst gevraagd honderd woorden hardop voor te lezen. Zo kregen we zowel audio-opnames van de woorden als van de hersensignalen op dat moment. Hiermee trainden we een machine learning-model dat audio kan voorspellen op basis van hersensignalen – zelfs als de patiënt zich de woorden alleen maar inbeeldt.’
‘Er komt een moment dat we een grieppandemie niet kunnen voorkomen’
Ron Fouchier staat aan de frontlinie in de strijd tegen de griep. Met nieuwe vaccins wil hij ons beschermen tegen toekomstige pandemieën.
Die honderd woorden, kun je daar een gesprek mee voeren?
‘De losse woorden zijn willekeurig gekozen uit een database van Nederlandse woorden. Deze lijst bestaat uit woorden die de verschillende klanken uit het Nederlands zo goed mogelijk vatten, zoals ‘fiets’, ‘vloog’ of ‘zijn’. Ze zijn daarom niet allemaal even bruikbaar in een gesprek. Maar met het algoritme dat wij gebruiken, zou in theorie elk denkbaar woord gevormd kunnen worden.’
En in de praktijk?
‘We moeten eerst meer tests uitvoeren, met meer woorden en idealiter met volle zinnen. Het is ook geen gegeven dat dit werkt voor iedereen. Maar onze algoritmen worden specifiek getraind voor elke afzonderlijke patiënt, dus hopelijk kunnen we zo vergelijkbare datamodellen opstellen voor anderen.’
Hoe verschilt dit systeem van al bestaande manieren om via een computer te communiceren?
‘Mensen met ernstige spraakstoornissen gebruiken nu vaak een eye-tracking-systeem, waarmee ze met oogbewegingen de woorden letter voor letter spellen. Hoewel deze systemen alsmaar beter worden, bijvoorbeeld door het systeem zelf het einde van een woord af te laten maken, zijn ze nog steeds relatief langzaam. Ook missen deze hulpmiddelen de natuurlijkheid van onze spraak.’
En met dit systeem hopen jullie dit gat te dichten?
‘Ons werk staat duidelijk nog in de kinderschoenen en heeft nog heel wat verbeteringen nodig voordat het gebruikt kan worden in patiënten. Maar ik geloof wel dat ons systeem op een dag mensen met ernstige spraakstoornissen in staat stelt weer te communiceren met vrienden en familie. Juist doordat de laptop het woord laat horen waar zij precies op dat moment aan denken, geven wij patiënten de volledige beheersing over hun spraak terug – inclusief intonatie, nadruk, accenten en zelfs sarcasme.’
Veel mensen met ernstige spraakstoornissen kunnen helemaal niet hardop praten. Werkt het systeem ook zonder de patiënt eerst die honderd woorden te laten voorlezen?
‘Nog niet, ons huidige systeem werkt echt op de combinatie van hersensignalen en de bijbehorende audio-opnames. Dit is een enorme uitdaging, met name bij patiënten die hun spraakvermogen al helemaal zijn verloren. We hebben een aantal ideeën over hoe we dit kunnen aanpakken, bijvoorbeeld door de patiënt zich te laten inbeelden mee te praten met een opname van iemand die de woorden hardop voorleest. Op deze manier krijgen we toch de benodigde combinatie om het systeem te trainen. Maar daar is eerst nog veel onderzoek voor nodig.’
