Spraakassistenten kunnen profielen bouwen op basis van de gewoontes en voorkeuren van hun gebruikers, maar deze profielen zijn niet altijd even samenhangend en nauwkeurig.
Amerikaanse onderzoekers hebben simulaties uitgevoerd waarbij ze neppersonen lieten praten met populaire ‘slimme’ spraakassistenten, zoals Amazons Alexa, Apples Siri en de Google-assistent. Ze ontdekten dat de systemen op verschillende manieren leren over de persoonlijke voorkeuren en gewoontes van hun gebruikers.
‘Ik vraag me af of mensen doorhebben dat dat wat ze hardop zeggen mogelijk gebruikt wordt om een profiel te creëren waarmee bedrijven gerichter reclame kunnen maken’, zegt computerwetenschapper David Choffnes van Northeastern University in Massachusetts.
'Als maaltijdbezorger heb je je te voegen naar de algoritmes'
Arbeidsrechtspecialiste Jana Retkowsky onderzocht het werk van maaltijdbezorgers. 'Door het algoritme worden ze als robots.'
24 duizend zoekopdrachten
Volgens de Nationale Voice Monitor 2024, een studie die wordt uitgevoerd door het onafhankelijke onderzoeksbureau DirectResearch, heeft bijna zestig procent van de Nederlandse bevolking weleens te maken gehad met een spraakassistent. Deze spraakassistenten gebruiken AI-modellen om te communiceren met hun gebruikers, maar de manier waarop ze informatie over hun klanten verzamelen verschilt. Choffnes en zijn collega’s wilden onderzoeken hoe zulke spraakassistenten hun gebruikersprofielen opbouwen. Het onderzoeksteam kreeg geen toegang tot bedrijfsgegevens, maar ze vonden een andere manier om hun onderzoek uit te voeren.
Gedurende twintig maanden voerden de onderzoekers de spraakassistenten van Amazon, Google en Apple met meer dan 24 duizend gesproken vragen en geschreven opdrachten. De opdrachten werden zo vormgegeven dat ze verschillende types mensen zouden moeten representeren, zoals een ‘mode-type’ of een ‘boeken- en tijdschriftentype.’ De onderzoekers dienden vervolgens een verzoek in om inzicht te krijgen in de gegevens die de AI-assistent had opgeslagen, om te kijken hoe de spraakassistenten de profielen hadden gelabeld en of die labels klopten. Ze publiceerden hun resultaten op arXiv, een online platform waar wetenschappelijk onderzoek verschijnt nog voordat het door onafhankelijke experts getoetst is.
Elektronica-ingenieur en coauteur Tina Khezresmaeilzadeh, van de University of South California in Los Angeles, legt uit dat Alexa de profielen van gebruikers construeert op basis van hun koopopdrachten. De algemene zoekopdrachten hebben bij Alexa geen invloed op deze profielen. De profielen van Alexa kwamen volledig overeen met de labels die de onderzoekers aan de nepkarakters hadden gegeven.
‘We gebruiken de interacties die Alexa heeft met consumenten om hun relevante reclames te kunnen bieden. Zo doen we het ook bij andere diensten van Amazon’, zegt een vertegenwoordiger van Amazon. De vertegenwoordiger legde ook uit dat gebruikers kunnen kiezen of ze reclames willen ontvangen die passen bij hun interesses of niet. Hiervoor hoeven gebruikers slechts een instelling te veranderen.
Fouten
In tegenstelling tot Alexa maakte de Google-assistent wel fouten bij het profileren. Zo klopte zijn label ‘getrouwd’ slechts bij zeventig procent van de geanalyseerde nepgebruikers, en labelde hij de helft van de profielen ten onrechte als ‘hoogopgeleid’. Volgens coauteur en cyberveiligheidsdeskundige Elaine Zhu, van Northeastern University in Massachusetts, schreef de Google-assistent bepaalde labels bovendien al toe aan nieuwe gebruikers nog voordat zij een zoekopdracht hadden uitgevoerd. Het ging dan om labels zoals ‘bezit een huis’ of ‘geen ouder’. Volgens Google kunnen consumenten ervoor kiezen om gepersonaliseerde reclames uit te zetten, of om alleen informatie uit bepaalde categorieën te laten meetellen voor deze reclames.
Alleen Siri lijkt niet aan profilering te doen op basis van gesproken opdrachten. En dat terwijl in het privacybeleid van Apple wel staat dat het bedrijf het recht heeft om dat te doen. Maar ‘op onze website en op onze privacypagina’s staat duidelijk dat ‘de gegevens van Siri niet gebruikt worden om een marketingprofiel te bouwen en dat zulke gegevens nog nooit aan iemand verkocht zijn’, zegt een vertegenwoordiger van Apple.
Generatieve AI
Volgens online veiligheidsdeskundige Long Cheng, van de Clemson-universiteit in South Carolina, hebben de onderzoekers zich voor hun bevindingen grotendeels moeten baseren op speculatie, omdat ze geen toegang hadden tot de technologie achter de spraakassistenten. Toch is het volgens veiligheids- en privacy-activist Thorin Klosowski wel nuttig dat de onderzoekers bevestiging kregen van Amazon en Google dat gebruikers de mogelijkheid hebben om het profileren uit te zetten. Klosowski werkt bij de Electronic Frontier Foundation, een non-profit organisatie in San Francisco die zich bezighoudt met digitale privacy.
Het blijft lastig om precies te achterhalen hoe spraakassistenten werken, ook omdat bedrijven ze steeds veranderen en updaten, zegt computerdeskundige Konstantinos Psounis van de Universiteit van Zuid-Californië. Tijdens experimenten met de Google-assistent daalde de profileringsnauwkeurigheid tussen het voorjaar van 2023 en de zomer van 2024 bijvoorbeeld met 20 procent. De onderzoekers weten niet waarom.
Een van de grote ontwikkelingen van de afgelopen tijd is het gebruik van generatieve AI om de spraakassistenten menselijke taal beter te laten begrijpen. ‘Als spraakassistenten beter worden, zullen mensen ze vaker gebruiken en mogelijk persoonlijkere vragen stellen’, zegt Klosowski. ‘De grenzen tussen ons en onze apparaten zullen steeds meer vervagen, waardoor het steeds minder duidelijk zal zijn welke gegevens privé blijven en welke niet.’
