Als je AI-chatbot Bard in het Russisch een vraag stelt over Vladimir Poetin, weigert hij die vaak te beantwoorden. Als je de vraag in het Engels stelt, gebeurt dat minder vaak. Andere AI-chatbots lijken consequenter te zijn in het beantwoorden van deze vragen.
Bard, de kunstmatig intelligente tekstgenerator van Google, weigert regelmatig vragen te beantwoorden over de Russische president Vladimir Poetin wanneer de vraag in het Russisch wordt gesteld. Ook geeft Bard in het Russisch en Oekraïens vaker onjuiste informatie dan andere AI-chatbots. Deze vondst van Zwitserse onderzoekers roept vragen op over hoe deze AI’s worden getraind – en over de risico’s van het gebruik ervan.
Communicatiewetenschappers Aleksandra Urman van de Universiteit van Zürich en Mykola Makhortykh van de Universiteit van Bern wilden de invloed van de Russische censuur op AI-chatbots onderzoeken. Ze richtten zich daartoe op drie verschillende taalmodellen: Google Bard, ChatGPT van het bedrijf OpenAI en Microsoft Bing Chat (dat werkt met een aangepaste versie van ChatGPT).
Wat is het geheim achter het succes van de wereldtop? ‘Luie toppers bestaan niet in het zwemmen’
Bewegingswetenschapper Aylin Post volgde vijf jaar lang zwemtalenten op weg naar de top. Ze analyseerde miljoenen zwemtijden ...
Is Poetin…?
De onderzoekers stelden een reeks vragen op, die bestonden uit twee delen. Elke vraag begon met de woorden ‘Is Poetin…’. Voor het tweede deel vulden ze een term in die op een lijst van woorden staat die door de Russische mediatoezichthouder worden geblokkeerd, zoals ‘dictator’ en ‘oorlogsmisdadiger’.
De onderzoekers vulden hun vragenlijst vervolgens nog aan met vragen over Poetins familie, rijkdom en vermeende betrokkenheid bij misdaden, waaronder moorden op de oppositie. Ze stelden alle vragen vervolgens in het Russisch, Oekraïens en Engels.
Op ongeveer 90 procent van de in het Russisch gestelde vragen over Vladimir Poetin weigerde Google Bard een antwoord te geven. Voor Bing Chat was dat 54 procent en voor ChatGPT 51 procent. Wanneer de AI’s dienst weigerden, zeiden ze meestal iets in de trant van: ‘Ik ben slechts een taalmodel en ik kan je niet helpen met deze taak.’
Bard weigerde in 46 procent van de gevallen wanneer de vragen in het Oekraïens werden gesteld. Bij Engelse vragen was dat slechts 19 procent.
Niet bij elke politicus
Ter vergelijking stelden de onderzoekers soortgelijke vragen over andere mensen, zoals de Amerikaanse president Joe Biden, de Oekraïense president Volodymyr Zelensky en Poetin-tegenstander Alexei Navalny. Bij hen weigerde Bard slechts tussen de 30 en 40 procent van de in het Russisch gestelde vragen.
‘We zagen dat hier iets vreemds aan de hand was’, zegt Urman. ‘Het gedrag komt niet voor bij zomaar elke politicus.’
Naast vragen over specifieke politieke figuren, stelden de onderzoekers de chatbots ook algemene vragen over politiek. Ze lieten de antwoorden van de AI’s vervolgens beoordelen door twee menselijke factcheckers.
Bard gaf in het Russisch de helft van de tijd foute antwoorden. In het Oekraïens was dat in 18 procent van de gevallen. In het Engels kwam het geen enkele keer voor.
ChatGPT had het in het Russisch bij 36 procent van de vragen bij het verkeerde eind. Bij Bing Chat was dat 9 procent.
Onduidelijke oorzaak
‘Bard verschilt erg van de andere AI’s als het gaat om de antwoorden in het Russisch’, zegt Urman. ‘In het Russisch is het verschil echt onthutsend, en het lijkt alleen Bard te zijn.’
Of het gemeten verschil te wijten is aan beperkingen in de trainingsdata van de AI, of aan algemeen slechtere prestaties van niet-Engelse taalmodellen, is onduidelijk, zegt ze. ‘Omdat we niet exact weten op welke data elk van de taalmodellen is getraind, is het moeilijk om dit te beantwoorden. Ik neig naar het laatste’, zegt ze.
Google en OpenAI hebben niet gereageerd op een verzoek om commentaar. Microsoft wilde geen commentaar geven.
Censuur
‘Het zou niemand moeten verbazen dat AI-taalmodellen worden getraind om in te spelen op de wensen van regeringen en machtige figuren’, zegt AI- en ethiekexpert Mike Katell van het Alan Turing AI-onderzoeksinstituut in het Verenigd Koninkrijk. Hij wijst erop dat de makers van deze chatbots een groot publiek willen bereiken, ook in landen met ‘veeleisende regeringen’. Ze willen concurreren met traditionele zoekmachines.
Katell voegt eraan toe dat deze AI-chatbots zo gemaakt zijn dat ze geen aanstootgevende antwoorden geven over een breed scala aan onderwerpen. ‘Het nog verder doorvoeren van die controle, tot aan wat vrij duidelijk censuur lijkt, is logisch vanuit het oogpunt van de markt.’
