Skip to content
Advertenties

Juist automatiseren zet de deur open voor willekeur

Het gaat niet om privacy. We betreden een tijdperk waarin machines onze politieke en maatschappelijke beslissingen nemen. Dan kun je zeggen dat zo’n ontwikkeling inbreuk pleegt op je privacy, maar dat is net zoiets als zeggen dat een dijkdoorbraak slecht is voor het telefoonverkeer. Het is waar, en het is zeker niet onbelangrijk, maar het is niet het hele verhaal.

Het gaat niet om privacy, want het gaat ook om rechtszekerheid, identiteit, eigendom, het vermoeden van onschuld, rechtsgelijkheid en anti-discriminatie, vrijheid van meningsuiting, autonomie, contractvrijheid, kortom, het rechtsstelsel in zijn geheel. Dat moet fundamenteel opnieuw worden doordacht nu de samenleving wordt gestuurd door data en algoritmes. Kom je dat ergens vertellen, dan knikt het gehoor instemmend. Ja, dat moet vanwege de privacy. Nee, niet vanwege de privacy.

Twee weken geleden stuitte ik op algoritmes die oorlogsmisdaden vervolgen. Dat leek me een radicale omwenteling in het recht, maar vreemd genoeg bleek er nauwelijks iets over te vinden. De Italiaanse Beatrice Martini schreef vorig jaar bij uitzondering een blogpost, The Ethics of Algorithms, waarin ze deze ontwikkeling kort noemt. Algoritmes en statistieken, schrijft ze, worden gebruikt om bewijs te leveren voor oorlogsmisdaden en genocide – „prove responsibilities behind war crimes and highlight violence patterns able to constitute proof in genocide trials”. Tjonge, dat is nogal wat.

Het verontrustende aan dit soort revoluties in het rechtsdenken is niet het gebruik van data en algoritmes op zich. Het is de naïviteit van de gebruikers. De kinderlijke gedachte van politici en juristen dat inzet van machines vanzelf leidt tot objectiviteit. Terwijl juist automatiseren de deur open zet voor willekeur.

Gebruikt de politie data en algoritmes om misdaad te voorspellen, dan versterkt ze daarmee al gauw haar eigen vooringenomenheid. Houdt ze jonge zwarte mannen vaker aan dan anderen, dan zal ze dat op basis van data-analyse nóg vaker gaan doen. Het voorspellen van misdaad, zeggen de critici in koor, maakt niet alleen inbreuk op de privacy, het gaat vooral ook in tegen de rechtsgelijkheid en het vermoeden van onschuld.

Data en algoritmes zijn het probleem niet, het is de gebruiker

Zo komen gaandeweg alle rechtsbeginselen in het geding als machines onze politieke beslissingen nemen. De vrijheid van meningsuiting, bijvoorbeeld, wordt allang niet meer begrensd door discussie over de komiek Böhmermann, maar door algoritmes. Die houden uitspraken via de sociale media in de gaten; aan de hand van hun eigen definities speuren ze naar tekens van extremisme en fundamentalisme. Zij bepalen wat toelaatbaar is en wat niet.

Erg objectief wordt het natuurlijk niet, als je een wezenlijk publieke taak laat overnemen door mediabedrijven. Private algoritmes houden politietoezicht, begrenzen de vrijheid van meningsuiting en bepalen wie een actieve bedreiging van terrorisme vormt. Zo oefenen bedrijven politieke invloed uit en daarmee verwerven ze een macht die ze voorlopig niet opgeven.

Wanneer het gaat om oorlog, nemen algoritmes de touwtjes in handen. Je hangt een paar satellieten boven een etnisch conflict en de software maakt een analyse van de data. Met een beetje profilering en categorisering kan een algoritme vervolgens zelfstandig tot doden overgaan. Het publiek lijkt nog te denken dat drones worden bediend door een schuldbewust mannetje of vrouwtje op afstand. Maar zo’n mannetje of vrouwtje hoeft niet meer. De software kan het allemaal zelf.

Als vervolgingsinstanties voorts claimen dat algoritmes ook het bewijs van genocide kunnen leveren, verwijzen ze graag naar Patrick Ball van de Human Rights Data Analysis Group in Mannheim. Maar expert Patrick Ball zegt juist het tegenovergestelde. „Technology tends to amplify bias, it does not ameliorate it”, zegt hij op YouTube in de 48ste minuut van het filmpje Digital Echoes: Understanding Patterns of Mass Violence with Data and Statistics.

Technologie versterkt fouten en vooroordelen. Voor bewijs in individuele gevallen kun je oorlogsbeelden van omstanders prima gebruiken, maar naar patronen speuren met crowd sourcing maakt de ‘selection bias’ sterker. Je krijgt alleen maar meer data uit de bekende gebieden, niet uit de zwarte gaten.

Volgens Ball kan vooringenomenheid in de data beleid flink de verkeerde kant opsturen. Big data, zegt hij, kun je gebruiken in de private sector, waar je over alle data beschikt, maar niet in de onoverzichtelijkheid van de sociale wereld. Beleidsmakers halen Patrick Ball vervolgens graag aan als ze zeggen hoe bruikbaar data en algoritmes zijn bij rechtsvervolging. Zoals ik al zei: data en algoritmes zijn niet het probleem. De gebruikers zijn het probleem.

Bron: Juist automatiseren zet de deur open voor willekeur – NRC

Advertenties

2 Comments »

  1. Ja is vreselijk toch 😱
    Satelieten die bepalen of er een slachting onder mensen moet plaatsvinden. Onbemande vliegtuigen ( of drones) die gaan bombaderen.
    Ik snap helemaal niks van deze gekke wereld waar we in leven

    Like

    • Tot een paar jaar geleden snapte ik er ook niets van, maar ik weet nu dat dit alles te maken heeft met het vestigen van de nieuwe wereld orde door een kleine club elite. Zij hebben zich als doel gesteld, totale wereld controle. En zijn hiermee volop aan het voorbereiden. En wat je niet kunt hebben als je totale controle wilt, is een bevolking die tegen sputtert. Dan is technologie die gewoon doet wat er gevraagd wordt veel beter en makkelijker.

      Deze elite heeft geen geweten en schuwt dus niets om hun doel te bereiken met inderdaad drone aanvallen, aanslagen ( zoals in Brussel en Parijs) en het opzetten van bevolkingen tegen elkaar. Het met opzet veroorzaken van vluchteling stromen door oorlogen te starten in die gebieden.

      Als je eenmaal ziet wat er aan de hand is is het patroon erg doorzichtig en valt in alles op hoe zij werken.

      Maar vergeet niet zij zijn met heel weinig en wij met heel veel. Een massaal NEE tegen deze zaken zal hun macht direct breken. Maar dan moeten we allemaal wel inzien wat er aan de hand is en niet dom met de meute meelopen.

      Het is dus inderdaad een hele gekke wereld, maar ik hoop dat je door je er in te verdiepen wel beter begrijpt hoe het komt en wat de ellende veroorzaakt.

      Like

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers liken dit: