Blinde mensen maken vaak gebruik van geluid om hun omgeving te verkennen. Sommige mensen maken zelfs gebruik van echolocatie om te voorkomen dat ze ergens tegen aanlopen. Het overdragen van visuele informatie door middel van geluid wordt nu toegepast in een nieuw hulpmiddel.
Onderzoekers van het California Institute of Technology (Caltech) in Pasadena hebben een intelligente bril ontwikkeld die beeld kan omvormen naar geluid. Wie de bril gebruikt, begrijpt intuïtief – zonder training – wat de geluiden betekenen.
Pixels
Het apparaat heet vOICe, waarbij OIC staat voor ‘Oh! I See’. Het is een donkere bril met camera die verbonden is aan een computer. Het algoritme dat wordt gebruikt, werd in 1992 al ontwikkeld door de Nederlandse natuurkundige Peter Meijer.
‘Bij mannen ruikt het meer naar kaas, bij vrouwen naar ui’: verrassende verhalen over microben
Ze zitten op je neus, op je bord, in je darmen, onder je voeten. Te klein om met het blote oog te zien, met oneindig veel en ...
vOICe zet pixels uit het videobeeld om in geluid. Daarbij maakt het gebruik van verschil in volume en toonhoogte. Een groep donkere pixels op de bodem van het camerazicht klinkt als een lage toon. Een lichte groep pixels boven in beeld klinkt als een hoge toon.
Zintuigen
Noelle Stiles en haar collega Shinsuke Shimojo van Caltech zeggen dat de manier waarop de bril beeld omzet naar geluid, lijkt op de manier waarop mensen gegevens uit andere zintuigen verwerken.
Bij het ontwikkelen van de bril werd hulp ingeschakeld van een groep ziende vrijwilligers. Deze mensen moesten een textuur voelen en een geluid kiezen dat daar volgens hen daarbij past. Het patroon van de keuzes die deze mensen maakten, werd gebruikt in het algoritme. Het resultaat was dat andere mensen de signalen gevoelsmatig konden begrijpen.
Training
Toen blinde mensen het hulpmiddel voor het eerst gebruikten, konden zij hiermee even goed overweg als mensen die een training hadden gevolgd. Zowel getrainde als ongetrainde mensen begrepen hun omgeving 33 procent beter dan mensen zonder bril.
Als onderdeel van het experiment werd de codering omgekeerd. Hierdoor gaf een lage toon een object aan dat hoog in beeld was, en andersom. Het was nu voor de vrijwilligers veel moeilijker om beeld aan geluid te linken.
Hersenactiviteit
‘Dit onderzoek laat zien dat niet alleen de hoeveelheid informatie die je aanbiedt belangrijk is. Het gaat ook om de manier waarop je dat doet en of mensen er intuïtief iets van begrijpen,’ zegt Ione Fine van de universiteit van Washington in Seattle.
Fine wijst erop dat er wel een verschil is wanneer vOICe in het lab gebruikt wordt om patronen te onderscheiden en wanneer je het gebruikt om de echte wereld te begrijpen. Maar ze zegt dat dit werk uiteindelijk voor betere hulpmiddelen kan zorgen. Voor het gebruiken van gangbare hulpmiddelen is veel training nodig. ‘Het is veel beter wanneer je een hulpmiddel intuïtief en gemakkelijk kunt gebruiken,’ zegt ze.
Stiles en Shinsuke gebruiken nu MRI-data om hersenactiviteit te analyseren. Daarmee willen ze het systeem verbeteren.
vOICe is ook te proberen zonder bril, met een Android-app.
Altijd op de hoogte blijven van het laatste wetenschapsnieuws? Meld je nu aan voor de New Scientist nieuwsbrief.
Lees ook: