Militaire drones hebben vorig jaar mogelijk autonoom mensen aangevallen, zo blijkt uit een rapport van de Verenigde Naties. Dat zou de eerste keer zijn.
De details van het incident, dat plaatsvond in Libië, zijn nog niet vrijgegeven. Het is onduidelijk of er slachtoffers zijn gevallen. Maar de gebeurtenis lijkt te bewijzen dat internationale pogingen om dodelijke autonome wapens – ofwel killerrobots – te verbieden voordat ze gebruikt worden, mogelijk al te laat zijn.
De robot waar het om gaat, is van het Turkse bedrijf STM. Het is een Kargu-2-quadcopter: een drone met vier propellers. Hij is uitgerust met explosieven.
‘Er komt een moment dat we een grieppandemie niet kunnen voorkomen’
Ron Fouchier staat aan de frontlinie in de strijd tegen de griep. Met nieuwe vaccins wil hij ons beschermen tegen toekomstige pandemieën.
De quadcopter kan handmatig bestuurd worden, maar heeft ook een autonome modus. Wanneer hij autonoom vliegt, gebruikt hij zijn camera’s en kunstmatige intelligentie om doelwitten te vinden en te identificeren. De drone kan aanvallen door op het doelwit af te vliegen en zichzelf tot ontploffing te brengen. STM beweert dat de robot beschikt over geavanceerde object- en gezichtsherkenningstechnieken. Het bedrijf heeft niet gereageerd op een verzoek om commentaar.
Opgejaagd
De aanval is genoemd in een in maart 2021 gepubliceerd rapport van de VN-veiligheidsraad over Libië. Het rapport beschrijft een conflict in de burgeroorlog die in maart 2020 uitbrak tussen strijdkrachten van de Regering van Nationaal Akkoord (GNA), die inmiddels is ontbonden, en strijdkrachten van Khalifa Haftar, commandant van het Libische nationale leger.
In het rapport staat dat de terugtrekkende Haftar-troepen werden ‘opgejaagd’ door autonoom vliegende Kargu-2 drones, die ‘zeer effectief’ waren. ‘De dodelijke autonome wapensystemen waren geprogrammeerd om doelen aan te vallen zonder dat er dataverbinding nodig was tussen een menselijke piloot en de munitie’, stelt het rapport. Het spreekt van een echt ‘fire, forget and find‘-systeem. Ofwel: de drones konden doelen zoeken en aanvallen zonder dat er een mens aan te pas kwam.
Het panel van deskundigen dat het rapport opstelde, zegt dat deze informatie afkomstig is van een vertrouwelijke bron en weigerde verdere details bekend te maken aan New Scientist.
Zorgen
Zak Kallenborn van het Amerikaanse consortium voor onderzoek naar terrorisme zegt dat dit de eerste keer zou kunnen zijn dat autonome drones mensen hebben gevonden en aangevallen. VN-besprekingen over de omgang met dergelijke autonome wapens zijn herhaaldelijk uitgesteld, waardoor deze wapens momenteel niet verboden zijn. Veel landen pleiten echter voor een algeheel verbod.
Kallenborn is bezorgd over het herkenningssysteem dat Kargu-2 gebruikt. ‘Hoe kwetsbaar is het objectherkenningssysteem?’, vraagt hij zich af. ‘En hoe vaak identificeert het de verkeerde doelen?’ Hoewel er geen openbare informatie is over de kunstmatige intelligentie van de drone, hebben onderzoekers eerder vastgesteld dat de herkenningsalgoritmen niet feilloos zijn: zo zien ze soms een schildpad per ongeluk aan voor een geweer.
Arthur Holland van het Zwitserse instituut voor ontwapeningsonderzoek in Genève uit ook zijn bezorgdheid. ‘Of zo’n systeem deze functies betrouwbaar en precies kan uitvoeren onder complexe en dynamische omstandigheden, is een compleet open vraag’, zegt hij.
Technologie wacht niet
Jack Watling van het Royal United Services Institute, een Britse denktank op het gebied van defensie, vraagt zich af of de Kargu-2-drones werkelijk in een autonome modus stonden. Alleen de mensen die de drones bedienden kunnen dit zeker weten. Dit onderstreept waarom het moeilijk is wetten op te stellen voor zulke drones: terwijl chemische wapens of landmijnen overduidelijk verboden zijn, kunnen autonome wapens niet gemakkelijk onderscheiden worden van wapens die door een piloot worden bestuurd.
‘Dit toont niet aan dat autonome wapens onmogelijk te reguleren zijn’, zegt Holland. ‘Maar het laat wel zien dat de discussie urgent en belangrijk is. De technologie wacht niet op ons.’
