Het
gaat om (semi)-autonome wapens, van gericht afluisteren tot de inzet
van killer robots. In deze militaire toepassingen wordt veelal
kunstmatige intelligentie (AI) gebruikt. De voorstanders zullen er op
wijzen dat militaire technologie met AI ook ingezet kunnen worden om
onderzeese kabels te beschermen of om mijnen te ruimen na een
conflict. Maar anderzijds inzet (op afstand) tegen geradicaliseerde
minderheden in landen zoals Pakistan, Jemen, Somalië, Afghanistan,
Irak en anderen vergroot de kloof tussen overheid en die groepen. Ook
daar wordt AI gebruikt om doelen te bepalen. Het verminderd het
geweld niet maar verdiept het. Het maakt de wereld dus onveiliger.
Het ingaan op lokale grieven, het versterken van lokaal bestuur en
cultuur zou beter werken dan die inzet, zo haalt de schrijver
professor internationale relaties en veelzijdig en invloedrijk
schrijver Akbar
Ahmed aan.
Misschien is het verminderen van conflicten
niet de reden dat er al zoveel miljarden in de ontwikkeling is
gestoken, maar gaat het vooral om het achter de horizon opdoemende –
en schijnbaar niet te vermijden – conflict met China. Als dit zo is
dan veranderd ook de inzet van de technologie in het politieke debat.
Dan wordt het eten of gegeten worden; als eerste toeslaan of te laat
komen. Von Clauzewitz noemde als het tweede principe van strategische
planning 'snelheid van handelen', en daarbij niet dralen zo stelde
hij. (On War, boek acht, hoofdstuk 9) In die zin alleen al is AI een
geschenk voor militairen van de groot- en supermachten in de
voorbereiding op een oorlog. We zien die ontwikkeling al. Recentelijk
werd de productie
voor de Oekraïne van killer drones opgevoerd. De Switchblade
600, brengen moderne techniek en AI samen, de drones zijn in
staat automatisch doelen te herkennen.
De andere kant gebruikt ze ook, uit Iran. De ontwikkeling is geen toekomst model, maar het begin is al
gemaakt.
Wapenwedloop
We
stevenen af op een AI-wapenwedloop tussen de Verenigde Staten en zijn
tegenstanders. Die ontwikkeling is groter dan alles wat we tot nu toe
hebben gezien. Alleen al het gegeven dat de CIA organisatie voor
investeringen in technologie bedrijven, het zogenaamde In-Q-Tel in
2014 325 bedrijven financierde die voorheen geen band met de
militaire en inlichtingen organisaties hadden, wijst hier op. In 2019
gaf de Verenigde Staten al 9,7 miljard dollar uit aan de ontwikkeling
van robotsystemen (evenveel als de militaire uitgaven van België en
Denemarken samen). Het gaat er niet om of door AI-wapens er komen,
maar hoeveel autonomie er zal zijn. Tussen helemaal niets en volledig
liggen honderden mogelijkheden. Velen dringen aan op een verbod van
volledig autonome wapens. Dat is nog lang niet genoeg. Duidelijke
afspraken op een terrein waar bijvoorbeeld geschoven kan worden met
een begrip als 'betekenisvolle menselijke controle' zijn er nog niet
en tussen die controle en het wapen volledig autonoom laten opereren
staat vaak alleen een opdracht, vergelijkbaar met het omzetten van
een hendeltje. Dat kan niet goed gaan. Die afspraken moeten er komen.
Hoop of
zwartkijken
Het
boek van González werpt dystopische ideeën ver van zich en sluit
juist af met een positieve noot, er is veel verzet binnen de wereld
van de technologiereuzen tegen medewerking aan militaire projecten.
Zonder protest en verzet wordt de zogenaamde onvermijdelijkheid van
AI-toepassingen en robotwapens een zich zelf vervullende
voorspelling, stelt de schrijver.
Hij
geeft een ellenlange opsomming van activiteiten tegen de wapens. Het
is niet moeilijk hier wekelijks een of meerdere nieuwe protesten aan
toe te voegen. Overigens moet je daar ook wel een beetje doorheen
kijken. Begin oktober stuurden zes tech bedrijven een brief waarin ze
vroegen hun producten niet te bewapenen. Een week later verschijnt in
de Military Times een artikel waarin dit beleefde verzoek op zijn
waarde beoordeeld wordt. In het artikel wordt er fijntjes op gewezen
dat een robot van een van de zes al
bewapend is.
Antropologie
De schrijver heeft een technische opleiding
gevolgd, maar voelde zich daarna toch beter thuis bij een studie
antropologie. Niet vaak kom je zoveel antropologen tegen in een boek
over militaire technologie als hier. Ze vervullen twee rollen.
Allereerst om de bijzondere wereld van de
militair-industrieel-politiek-wetenschappelijkcomplex (MISC) stam te
bestuderen. Anderzijds zijn antropologen ook deel geworden van de
militaire industrie. Dat loopt uiteen van de leiding van grote
projecten binnen het wetenschaplijkstudiecentrum voor de krijgsmacht
van de Verenigde Staten, het Defense Adanced Research Projects Agency
(DARPA), door Adam Russell (de rugbyer die bijna een heel hoofdstuk
vult en sociale wetenschappen acceptabel maakte in de omgeving van
harde techneuten) tot een ingehuurde kracht, Scott Attran, die
uitzoekt waarom mensen zich inlaten met geweld en radicaliseren.
Andere sociale wetenschappers houden zich bezig met het menselijk
lichaam. Dat kan gaan om prestatie verhogende activiteiten of
aanpassingen aan het menselijk lichaam. (Over dat laatste schreef ik
in een andere bespreking al eens. Een VPRO-zomergast,
psychiater en filosoof vertelde in 2015 hoe hij er voor had bedankt
mee te werken aan het veranderen van het brein binnen een DARPA
programma.) González verwacht evenwel dat de werving van sociale
wetenschappers door het MISC steeds krachtiger zal worden aangepakt.
Kennis als dual-use
Het boek gaat niet over
explosieven, zelfs niet over chips, transistoren, chemicaliën en
andere producten van de industrie. Het gaat enigszins over hightech,
maar toch vooral over kennis als product. Zelfs cultuur wordt gezien
als een bruikbaar fabricaat in de geciteerde woorden van antropoloog
Kerry Fosher, werkzaam in militaire kringen. Opvallend is dat
González de term dual-use (producten voor tweeërlei gebruik:
militaire en civiel) hanteert voor veel van wat in Silicon Valley
wordt ontwikkelt, én ook voor kennis. Een virtuele bril kan je
gebruiken om spelletjes te spelen, maar ook als piloot of
infanterist. Sociale wetenschappen kunnen ingezet worden om mensen te
beïnvloeden of manipuleren, maar ook als een effectief middel om
polarisatie te verminderen. Meestal is het middel niet goed of fout;
het gaat er om hoe je het inzet. Het zijn de intenties van
ontwikkeling of aanschaf wat de beoordeling of beperkingen moet
bepalen.
Inmiddels is er een militarisering van de sociale
wetenschappen gaande. Opgegroeid met tanks, marineschepen,
bommenwerpers en chemische wapens is het nog steeds geen gesneden
koek om zo over militaire productie en dual-use te denken. Het is wel
noodzaak het blikveld te verbreden, want dat is de realiteit van de
militaire ontwikkelingen. Het gaat bijvoorbeeld om programma's die
data opslurpen en op grond daarvan de toekomst voorspellen, 'de
sociale radar' genoemd. De wereldwijd gegenereerde data voedt
controle- en observatiesystemen en dat is al routine. Dat de
gemiddelde mens ruim
drie uur per dag het mobieltje gebruikt, is alleen maar handig
bij het in kaart brengen van mensen om dreigingsanalyses voor de
toekomst te maken. Er zijn al vele honderden miljoenen dollars in
deze glazen bol gestoken, de heilige graal voor veiligheidselite,
maar er is nauwelijks bewijs dat ze werkt. Toch gaan die
investeringen door.
Deze ontwikkelingen zijn gedreven door
toegenomen militarisering en techno-optimisme. Het internet smeed
deze beide delen aaneen. Militarisme is volgens de schrijver: “een
wijdlopig proces waarin de culturele normen, beleid, dominante
ideologieën, en instituties binnen de samenleving zich richten naar
militaire macht en worden gevormd door oorlog.” (Hier een
andere omschrijving.) Techno-optimisme “is het idee dat
wetenschappelijke en technologische verbeteringen ingewikkelde
sociale, economische en milieuproblemen op zullen lossen,”
aldus de auteur van het boek. Hij voegt daar aan toe dat het vooral
de belanghebbende ondernemers en wetenschappers zijn die dit naar
voren schuiven. In de Verenigde Staten speelt nog een ander idee een
drijvende kracht. Dat is het idee dat het land fundamenteel anders is
en superieur ten opzichte van andere staten. Daarom mocht het Westen
onomstreden, onder hoede van Washington, ook als eerste een
cyberinterventie uitvoeren, drones met kunstmatige intelligentie
inzetten en zelfs voor het gooien van atoombommen was een
rechtvaardiging (maar dat laatste is een categorie apart).
Onderscheid
Het boek behandeld een zeer breed terrein. Van het oogsten van
sociale media gegevens om doelgericht mensen te beïnvloeden, tot de
inzet van drones met raketten. AI en big data zijn de overkoepelende
elementen, maar toch is psychologische oorlogsvoering wat anders dan
het doelgericht vermoorden van tegenstanders op basis van een door
algoritmen bepaald dreigingsbeeld, of het benaderen van groepen om
voor Trump, de Keniaanse president Kenyata of Brexit te kiezen. Dit
had de schrijver duidelijker kunnen onderscheiden. Dit had ook het
zicht op de overeenkomsten versterkt. Het verband wordt wel
beschreven in zin als deze: “De raakvlakken tussen Cambridge
Analytica/SCL en de kampioenen van van het Pentagon in
opstandsbestrijding op basis van data en cyber-oorlog leidde tot
verontrustende vragen toen dit aan het licht kwam.” De
verschillende elementen vullen elkaar aan en het uit elkaar trekken
is voor bestudering zinnig, maar in de realiteit zijn het toch
verschillende kanten van een zelfde ontwikkeling.
Wat ook mist zijn militair praktische zaken. Is een
verdediging tegen heel snel van over de horizon inkomende raketten of
zwermen drones vergelijkbaar met het zelf afvuren van een zwerm
killerdrones die op basis van een programma doelwitten kiest? Dit nog
los van de context; verdedig je de eigen middelen tijdens een
offensieve operatie of is het anderzijds een defensieve actie.
Militair onderzoek
Het
internet is een vinding gefinancierd door het ARPA (destijds nog
zonder de D van Militair). Dit directe verband helpt bij het
begrijpen waarom big data – inclusief vangst op de sociale media –
zo makkelijk een wapen is geworden. Het is niet alleen het militaire
establishment, maar ook Silicon Valley dat belang heeft bij de
ontwikkeling van autonome wapens. González laat zien dat de
vermeende en vaak genoemde kloof tussen Big Tech en Pentagon niet op
feiten berust maar veeleer een kunstmatig onderscheid is. Niet voor
niets heeft het Amerikaanse leger vestigingen in de regio. Het gaat
hier bijvoorbeeld om de Defense Innovation Unit Experimental (DIUx),
bedoeld om werving en nauwe samenwerking te organiseren.
Overigens
is het niet alleen in de Verenigde Staten zo dat de militaire
industrie zich op deze technologie richt. Ook het Nederlandse leger
opent vestigingen bij technische universiteiten om zo de jonge
deskundigen binnen te halen, het zogenaamde Military
INnovation by Doing (MIND) program gestart in Rotterdam
uitgebreid naar de universiteiten van Enschede en Eindhoven (en op
Delft en Leiden is het nog even wachten.)
Naast het Pentagon
zit ook Lockheed Martin in de Valley; het is er zelfs de grootste
werkgever, dus niet een bedrijf als Apple, maar de met afstand
grootste wapenfabrikant van de wereld. Je kan er op wachten dat
Amazon Raytheon koopt, schrijft González.
Overigens ook hier
zetelt Thales dicht bij de studenten van de drie technische
universiteiten.
Het bouwen van een wereld als een
scheepje in een fles, het Worldwide Integrated Early Warning System
(W-ICEWS) is voorlopig het grootste systeem dat werd opgezet in 2006
en al snel onder leiding kwam te staan van Lockheed Martin. Een bizar
project onder de magische mantel van de wetenschap. Je kan er over
grappen, maar het is kennis die met al zijn falen wordt ingezet om
doelgericht mensen uit te schakelen, te doden, te vermoorden.
Problemen
Er
kleven nogal wat problemen aan de technologisering van oorlog. Er is
het bekende voorbeeld van dronepiloten die vanuit hun gevechtsacties
naar huis rijden als hun 'werk' er op zit. Ze komen dan thuis bij
partner en kinderen. Van het doden van tegenstanders op 16.000 km
afstand naar de eettafel met grapjes, smalltalk en afspraken over de
was en boodschappen. Het is voor vele piloten niet te behappen. Maar
er is veelheid aan psychologie gerelateerde problemen rond de nieuwe
wapens. Militairen vertrouwen niet vanzelfsprekend op hun
robotwapens; sterker nog dat vertrouwen creëren is een enorm
ingewikkeld proces. Doen die wapens wel wat militairen van ze moeten
kunnen verwachten of juist niet zoals de semiautonome raketten die
tijdens de Golfoorlog (2003) eigen vliegers neerhaalden. Hoe groot is
de kans dat ze door de tegenstander gehackt worden? Zijn ze niet
vooral extra ballast die ook nog eens een paar ogen en handen binden
die je dan tijdens een gevechtsmissie kwijt bent? Sociale
wetenschappers zijn noodzakelijk om dergelijke weerstanden te lijf te
gaan. Bedieningsgemak maakt dat (killer)robots eerder geaccepteerd
worden, zo bleek bijvoorbeeld. Het boek bevat ook een voorbeeld van
een robot die bermbommen ruimde tot dat hij er een teveel tegenkwam.
Boomer, zijn bijnaam, werd ter aarde besteld alsof het een mens met
persoonlijkheid was. Dat is niet nieuw. Mensen geven voorwerpen al
veel langer menselijke trekken, zoals kano's en voertuigen en dat
geldt zeker civiele robots, een vorm van techno-animisme. Maar
weerstand is er niet alleen in militaire kringen, maar ook in de
maatschappij. De Nederlandse militaire kennis- en
onderzoeksinstellingen (TNO, Marin, NLR) hebben een programma rond
maatschappelijke acceptatie van Kunstmatige Intelligentie. zo
vertelde Minister van Defensie Ollongren onlangs tijdens het debat
rond autonome wapens (zie video).
Video Tweede Kamer van debat Autonome wapens, 5 oktober 2022.
Dodelijke
fouten
Machines
en de software zijn niet foutloos. Soms zijn die fouten marginaal,
maar vaak ook groot, ook in de meest geavanceerde systemen. Toch gaat
de ontwikkeling door alsof er niets aan het handje is. Als een fout
in de software wordt geschreven kan het jaren duren voordat dit tot
een falen leidt. Spoken in de machine heet dit treffend. Is het niet
de techniek dan zijn het de gebruikers ervan die een foute
inschatting maken, eigen troepen als vijand zien, een feest als
verzameling
tegenstanders etc. Dat is te verwachten. De techniek versterkt het
gevoel dat je alles ziet, alles hoort, alles weet, en dus de juiste
beslissingen neemt. Maar het tegenovergestelde is eerder het geval,
de fog
of war
wordt dikker, aldus González. Burgers zijn heel vaak het
slachtoffer. Drones van de Verenigde Staten doodden tussen de 8.500
en 12.000 mensen in Afghanistan,
Pakistan, Somalië, en Jemen, waaronder 1.700
burgers (400 waren kinderen),
zo haalt de schrijver het Bureau for Investigative Journalism aan. Je
hebt geen psycholoog, socioloog of antropoloog nodig om te begrijpen
dat dit de politieke situatie niet kalmeert, maar dat het de kans op
een oplaaiende veenbrand van woede veel groter maakt.
Techniek
met een geschiedenis
Algoritmes
zijn bovendien geen neutraal technologisch product. Ze zijn gebed in
de culturele en sociale bagage van samenlevingen met een geschiedenis
en dus ook met misvattingen en vooroordelen. Als je ze inzet is de
kans niet denkbeeldig dat je fouten maakt. Het blijkt bijvoorbeeld
dat mensen met een donkerder gezicht vaker als verdacht aangemerkt
worden dan met een lichter gekleurd gelaat. Onderklasse, vrouwen, en
etnische minderheden lopen grotere risico's dan de dominante witte
mannen uit de middenklasse, blijkt uit onderzoek. Er is een verband
tussen geschiedenis, data, cultuur en algoritmes. Het wordt pas een
probleem als je niet wilt zien dat hier geen sprake is van objectieve
feiten en formules. Dit wordt nog problematischer als je deze
technologie los laat op situaties in landen die je slecht kent, zoals
“steden en
sociale verbanden in Afrika, Latijns-Amerika, Azië of het
Midden-Oosten.” En
onthoud alsjeblieft “mensen
zijn niet gewoonweg een verzameling van data stippen,”
het zijn wezens met oneindig veel mogelijkheden en eigenaardigheden.
Dat kan onhandig zijn voor de verwerking in programma's, maar het is
wel wie we echt zijn. Ergens in het boek wordt het handelen van
financiële deskundigen opgevoerd, die allerlei producten
ontwikkelden, die ingewikkeld leken en pas toen de financiële crisis
van 2008 zich ontrolde werden bestudeerd. We moesten wel. Maar toen
zaten we al in de prut. Zo moeten we ook nu niet denken het is te
ingewikkeld, anders zitten we straks opgescheept met de techniek van
deskundigen die niet kunnen of willen begrijpen hoe schadelijk hun
producten kunnen zijn. En dat geldt niet alleen voor China, maar ook
voor het Westen.
Hindernis
De
schrijver stelt dat een verbod op autonome wapens door de Verenigde
Naties wenselijk is. In de Nederlandse Volkskrant
stond een voorstel waarom en hoe dit aan te pakken (overigens was
ook Salima Belhaj van D66 tijdens een debat over autonome wapens
duidelijk over een route). Het is een aanpak die de methode van de
campagne tegen anti-personeelsmijnen volgt van de jaren tachtig en
negentig van de vorige eeuw en de evengoed of minder geslaagde
campagnes tegen omstreden wapens die volgden. De hindernis daarbij
wordt in het boek wel eens genoemd. De techniek is als koren op de
militaire molen. De Chinese en Russische dreiging wordt gebruikt om
het dringende en onvermijdelijke van dergelijke wapens te bepleiten.
Daarmee wordt het militaire establishment in brede zin een machtige
tegenstander.
De autonome wapens maken een verschil op het
slagveld en je kan je moeilijk een digitaal Pearl harbour veroorloven
door ze buiten te sluiten. Om met de woorden van
VVD en CDA defensiewoordvoerders Valstar en Boswijk tijdens het
debat over
autonome wapens te spreken: “Als
wij roomser zijn dan de paus, kan dat desastreuze gevolgen hebben.”
De Nederlandse Minister van Defensie Ollongren ziet ook voordelen.
Minister Hoekstra van Buitenlandse Zaken wil niet voor de troepen
uitlopen en dan de Amerikanen te hulp roepen als we ze nodig hebben.
Allen benadrukken dat ze zich wel aan eht internationaal recht zullen
houden. Het is een redenering die te volgen is, maar juist omdat de
ontwikkeling zo ingrijpend is, is het nodig dat er verboden komen op
autonome wapens vergelijkbaar met die voor NBC-wapens en beperkingen
op het gebruik van niet volledig autonome wapens vergelijkbaar met
die op omstreden wapens. We moeten dan wel zoeken naar een wereld met
meer samenwerking in plaats van een wereld met meer polarisatie.
Anders gaat het inderdaad niet lukken. Makkelijk zal dit niet zijn.
Zo lang autonome wapens een militair voordeel op kunnen
leveren, hoge militaire uitgaven noodzakelijk maken (wat een schare
aan goed betaalde lobbyisten oplevert) en de spanningen tussen Oost
en West met de dag verder worden opgejaagd, zal een campagne
tegenargumenten opleveren,* wat bramen weg vijlen, maar een kant op
gaan waar al die campagnes goed geïnformeerd tegen strijden.
Wetenschappelijke ontwikkelingen vallen immers niet te stoppen, zoals
de Nederlandse Minister van Defensie stelde. Wat dan? Er is niet één
antwoord. De antropologische invalshoek van Virtual War en de manier
van vertellen geven veel stof tot nadenken. Op grond van de ideeën
van González lijkt een verbreding van de samenwerking tussen sociale
en technische disciplines, tussen regio's, sociale lagen, tussen een
Myanmarese vrijheidsstrijder, een Russische deserteur, een moeder uit
Charkov, een klimaatvluchteling uit Kiribati, een Koerd uit Syrië
en een student uit Eindhoven van groot belang. Luister naar elkaars kritiek om het leven op deze
planeet te verbeteren. En inderdaad geautomatiseerde oorlog past daar
niet in. We zijn niet gediend met een wapenwedloop 3.0. Ontwapening
en ontspanning, diplomatie en verzet tegen ontwikkelingen die slechts
de belangen een elite in Oost en West en Noord en Zuid dienen zijn de
noodzakelijke ingrediënten. Goed geïnformeerd dat wel, maar slechts
een technocratische aanpak zal mislukken. Net zoals de landmijnen
bleven liggen daar waar men dat nodig vond ondanks het verbod. Hier
zullen dergelijke lacunes oneindig veel schadelijker zijn.
*
Alleen al in de afgelopen week kwamen twee boek aankondigen in mijn
virtuele omgeving voorbij: Christopher Sabatini, 'Reclaiming Human Rights in a Changing World Order,' en Thomas
Reinhold & Niklas Schörnig (red) 'Armament, Arms Control
and Artificial Intelligence. The Janus-faced Nature of Machine
Learning in the Military Realm'.
