Amerikaanse onderzoekers hebben een herkenbare versie van Another Brick in the Wall van Pink Floyd gereconstrueerd uit hersenactiviteit die werd gemeten terwijl mensen naar dit nummer luisterden. Het is voor het eerst dat dit gelukt is met muziek. Eerder was het alleen mogelijk voor spraak.
Je hoeft voorlopig niet bang te zijn dat je niet meer stiekem naar je guilty pleasures kunt luisteren. Hersenactiviteit van waarnemingen in kaart brengen is namelijk niet eenvoudig. Voor de muzikale reconstructie moest de hersenactiviteit bijvoorbeeld gemeten worden met elektroden ín de hersenen. De onderzoekers maakten daarom gebruik van metingen bij 29 patiënten bij wie al een elektrodenmatje in de hersenen was geplaatst, om epileptische aanvallen te monitoren. Hun resultaten verschenen in het vakblad Plos Biology.
Reconstructie
De 29 deelnemers luisterden via een koptelefoon naar het 190 seconden durende nummer Another Brick in the Wall terwijl hun hersenactiviteit gemeten werd. Ze kregen daarbij de opdracht om aandachtig te luisteren, zonder op details te letten. Dit leverde metingen op van in totaal 2.668 elektroden, op verschillende plekken in de hersenen.
Heersen zwermen killerdrones straks over het slagveld?
Een luchtruim gevuld door kunstmatig intelligente killerdrones, die autonoom bepalen wie blijft leven en wie zal sterven. Hoe waarschijnlijk is dat?
De onderzoekers kozen het rocknummer omdat het rijk en complex is, met verschillende akkoorden, instrumenten en ritmes. ‘En omdat we van Pink Floyd houden’, laat neurowetenschapper Ludovic Bellier, van de Universiteit van Californië Berkeley, weten via de mail.
Met een deel van de hersenmetingen trainden de onderzoekers kunstmatig intelligente computermodellen. Die leerden zo het verband tussen hersenactiviteit en akoestiek van de muziek. Vervolgens voerden ze deze computermodellen de achtergehouden hersenactiviteit-metingen en lieten ze de modellen het bijbehorende geluidssignaal te voorspellen. ‘Om te bepalen hoe goed het model werkt, vergeleken we de grafiek-weergave van de voorspelling met die van het echte nummer’, vertelt Bellier.
Naast een computeranalyse maakten ze ook een geluidsbestand van de reconstructie, om zelf naar te luisteren. Het resultaat bleek een herkenbare versie van het nummer. De melodie en het ritme komen goed overeen met origineel. De gitaar en de zang zijn herkenbaar, al is de tekst zo sterk vervormd dat de woorden nauwelijks verstaanbaar zijn.
Muzikale hersenactiviteit
De neurowetenschappers wilden ook beter in kaart brengen hoe bepaalde delen van het brein reageren op verschillende aspecten van muziek, zoals ritme. Daarvoor deden ze analyse nogmaals, maar dan met weglating van metingen van bepaalde elektroden.
Daaruit bleek dat de reconstructie beduidend slechter werd als ze de hersenactiviteit aan de rechterkant van de hersenen (in de zogeheten gyrus temporalis superior) niet meenamen. Dat wijst op het belang van dit hersengebied bij het luisteren naar muziek. Bovendien liet het onderzoek zien dat activiteit in een subgebiedje in de gyrus temporalis superior gerelateerd lijkt te zijn aan ritme, in dit geval het gitaarritme in het nummer.
‘Het is een ingenieus project waarbij een sterk verzwakt of vervormd signaal opgepikt kan worden uit een matrix van meetpunten in de hersenen’, zegt muziekcognitieonderzoeker Henkjan Honing van de Universiteit van Amsterdam. ‘Maar het vertelt niet echt veel nieuws over de neurocognitie van muziek. Wat ze beschrijven over de anatomie van het muzikale brein is zoals verwacht uit eerder onderzoek.’
Spraakcomputer
Behalve een beter begrip van de manier waarop onze hersenen muziek verwerken, hopen de onderzoekers ook dat deze kennis gebruikt kan worden om spraakcomputers te verbeteren. Bij spraak gaat het namelijk niet alleen om de taal, maar ook om ritme en melodie, zegt Bellier. ‘Dezelfde zin, op een andere manier uitgesproken, kan een heel andere betekenis hebben.’
