Een dystopische wereld: van literair bedenksel tot de werkelijkheid van nu?
Deel 12B: In de wurggreep van algoritmen?

Civis Mundi Digitaal #126

door Maarten Rutgers

Aan het einde van deel 12A werd de vraag gesteld hoe het verder gaat of moet met onze democratie. In de vijf besproken romans is daar een duidelijk beeld van geschetst. De democratie wordt ondermijnd en terzijde geschoven. De technologie speelt hierbij de hoofdrol.

Politiek is onnodig!

Het verbaast dus niemand meer dat ook in de huidige werkelijkheid nagedacht wordt over de mogelijkheid om de democratie door kunstmatige intelligentie te laten ondersteunen. Dit gaat inderdaad zover dat verkiezingen overbodig zouden kunnen zijn. Bij Eggers vinden we dit schaf-de-politiek-af-scenario helder beschreven. Hiermee komt bij hem de macht bij de Big Five te liggen. Hij maakt in Het Alles de te verwachten stap dat deze uiteindelijk samen zullen gaan en daarmee een monopolie vestigen, hetgeen hun geconcentreerde macht tot vrijwel in het oneindige doet toenemen.

Ook Cressman laat in zijn roman Reality 2048^TM Watching big mother zien dat de investeringsmaatschappij achter de infotainmentindustrie successievelijk alle andere grote bedrijven, waaronder farmaceuten, gezondheidszorginstellingen, zelfs overheidsinstellingen en nog veel meer, overneemt en daarmee het totale beleid gaat bepalen. Bij hem leest de overheid, het gezag, of toch de industrie, uit je chip af wat je wensen zijn, welke keuzes je belasten, en sorteert dus voor en levert oplossingen en aandacht die bij jou past.

In Forsters De Machine staat stil is het honderd jaar eerder in feite al zover. De Machine beheerst alles, er is niets anders meer dan de Machine. In Forsters tijd werd gedacht dat het een slecht verzinsel was en dat het nooit zover zou komen. Intussen zouden we beter moeten weten, maar ondanks de waarschuwingen die al heel lang geuit worden doen we nog steeds of het allemaal wel meevalt. We staan iedere dag opnieuw vol enthousiasme onze gegevens af en laten toe dat de techreuzen ons volgen. Het lijkt maar weinig mensen iets te kunnen schelen wat er met hun gegevens verder gedaan wordt.

We vergeten totaal dat “de grote techbedrijven ons bestuderen om ons te manipuleren. Het is hun verdienmodel” zoals de Britse mensenrechtadvocate Susie Alegre in een interview in de NRC[1] zegt. Meredith Whittaker, nu hoogleraar aan de Universiteit van New York en voormalige medewerker van Google, formuleert het in een interview[2] enigszins anders: “alle techfirma’s leven van het monitoren van hun gebruikers. […] Alles wat ze ontwikkelen is erop gebaseerd - inclusief kunstmatige intelligentie. […] Wat nieuw is aan kunstmatige intelligentie is niet wetenschappelijke technologie maar het bewakingsmonopolie van de techfirma’s. […] en technologie die rechtstreeks voortkomt uit het bewakingsmonopolie van techfirma’s. En dat het hen in staat stelt door te dringen tot nieuwe gebieden - de gezondheidszorg, het onderwijs, de rechtshandhaving - en nog meer groei en winst te genereren.”

Het resultaat is hetzelfde. De techreuzen verdienen aan onze onoplettendheid, aan onze opgaan in de digitale wereld. En ze zorgen er met lobbyen[3] voor dat ze hun handelswijze zo veel mogelijk ongestoord kunnen voortzetten en uitbreiden. En natuurlijk komen bij het ter discussie stellen twee oude adagia terug: je kunt nu eenmaal niet meer zonder internet en sociale media en ik heb toch niets te verbergen. Deze laatste uitspraak wordt door Juli Zeh – we kwamen haar al eerder tegen – in een van haar essays[4] “een synoniem voor ‘ik doe wat men van mij verlangt’” genoemd. En verder is haar opvatting dat “het daarmee een bankroetverklaring aan het idee van het autonome individu is.” Op andere wijze laat zij hier zien dat onze onderwerping aan algoritmen en alles wat ermee samenhangt ons menszijn, onze samenleving ter discussie stelt. Wij leveren vrijwillig onze autonomie en onze vrijheid in aan techreuzen, die graag de maatschappij bepalen en daarmee het democratisch gehalte. Hier is de eerdergenoemde Shosanna Zuboff eveneens weer duidelijk en waarschuwt, “het gevaar van het surveillancekapitalisme voor de democratie schuilt ook – en misschien wel vooral – in de ideologie van de techondernemers.” Immers, wat staan zij voor, wat willen zij. En daar zijn zij niet altijd even duidelijk over.

Hier schuilt dan ook het gevaar dat Han[5] als “vloeibare democratie” benoemt, een democratie “die ten langen leste verkommert tot een democratie van de ‘like’-knoppen.” We kwamen dit al tegen in de bespreking van Eggers The Circle in CM 123. Juli Zeh gaat nog een stap verder in Das Turbo-Ich[6] en laat zien dat in het digitale tijdperk de mens tot een “turbo-ik” wordt, voortdurend door de algoritmen gekieteld en steeds egocentrischer geworden. “Het internet is een ik-machine. De grootste narcisme-generator van de hele wereld.” Hierbij past dat de mens de politiek alleen nog ziet als een mechanisme dat hem ten dienste staat. Wanneer dat niet het geval is en zo is het in de werkelijkheid nog steeds – “je moet wat doen in plaats van iets te krijgen” – wendt hij zich af van de politiek. Dit bevordert de ontwikkeling tot wat Han de “digitale postdemocratie” noemt, een democratie waarin “Big Data en kunstmatige intelligentie de voor de samenleving relevante beslissingen nemen.”

netkwesties.nl

Algoritmisch gedreven democratie?

In De Cirkel wordt het idee geopperd dat als iedereen maar is aangesloten bij de Cirkel verkiezingen onnodig worden. In de originele Engelse tekst heet dit nieuwe systeem ‘demoxie’; in de Nederlandse vertaling doemocratie[7]. Moritz Leuenberger, voormalig lid van de Zwitserse ‘Bundesrat’ – de Zwitserse regering – en bestuurslid van TA-Swiss (Centrum Beoordeling Effecten van Technologie) – spreekt[8] bij een dergelijk systeem sarcastisch over “duim omhoog, duim omlaag, een schattige emoji, maar onbruikbaar voor democratische beslissingen.”

Toch is het niet verbazingwekkend dat er in werkelijkheid al onderzoek gedaan is naar de mogelijkheid om algoritmen rechtstreeks bij verkiezingen in te zetten. Dit staat geheel los van de diverse opties om kiezers via digitale netwerken te beïnvloeden in hun keuze. Deepmind – we kwamen deze firma al tegen in de bespreking van Cressmans boek in CM 124 – heeft een algoritme ontwikkeld waarmee in een spelsituatie de kloof tussen veel vermogenden en minder vermogenden kleiner wordt en het vermogen beter verdeeld raakt. Zelfs meelifters worden uitgesloten. Het enthousiasme van de spelers in een groot experiment was dermate groot dat voor hen het algoritme ook voor verkiezingen ingezet mag worden. Maar, willen we dat echt?

Onderzoek van de Universiteit Sankt Gallen laat in vier landen, Zwitserland, Griekenland, Singapore en de Verenigde Staten, zien dat men aldaar nog niet zover is. De meeste instemming (37%) werd verkregen in Singapore. Ongetwijfeld hangt dit resultaat samen met de staatsvorm en de invloed die burgers aldaar hebben op de gang van zaken[9]. Dit garandeert overigens niet dat in de toekomst niet toch algoritmen ingezet worden in plaats van verkiezingen. Het wordt te berde gebracht, er wordt over nagedacht en meestal leidt dit ten langen leste tot de introductie ervan. Nick Bostrom noemt in Superintelligence, besproken in CM 125, dat mogelijke technologische ontwikkelingen er vroeg of laat komen en moeilijk zijn tegen te houden. Een uitzondering vormen gentech reguleringen door de wetenschappelijke gemeenschap zelf, vanwege de onbekende en onverantwoorde risico’s.

Bij de in deel 12A al ten tonele verschenen Miriam Rasch zien we in haar boek Frictie[10] het thema politiek ook aan de orde komen. Vele smaakmakers hebben visioenen van een toekomst, waarin de politiek uitgespeeld is. Ze hebben het over “de onwenselijkheid van de politiek.” Zij citeert de eerdergenoemde Stanley Fish die in een van zijn columns in de New York Times[11] over het onderwerp schrijft. De belofte van de techies is volgens hem “terug naar het paradijs!” Het gaat Fish volgens haar om “de fundamentele claim van de apostelen van de techsector, een claim, aldus Fish, ‘zo fundamenteel dat ze zich er merendeels niet bewust van zijn – dat politiek geëlimineerd kan worden’.

De enige functie van politiek is volgens hen orde scheppen in een chaotische wereld. Als de technologie eenmaal de imperfecties van onze huidige maatschappij heeft opgelost, zal politiek overbodig zijn geworden. Politiek is in deze optiek niet iets wat bij het (samen)leven hoort, maar een project voor het solutionisme.” De laatste term stamt van de in deel 12A genoemde Morozov en beschrijft het geloof dat alle problemen technologische oplossingen kennen.

Al in 2013 – in een interview[12] met Ian Tucker van The Guardian – “kritiseert Morozov wat hij ‘oplossingsdenken’ noemt – het idee dat met de juiste code, algoritmen en robots de technologie alle problemen van de mensheid kan oplossen en het leven in feite ‘wrijvingsloos’ en probleemloos kan maken. Morozov stelt dat “deze drang om imperfectie uit te bannen en alles ‘efficiënt’ te maken andere wegen naar vooruitgang afsluit en uiteindelijk leidt tot een algoritme-gedreven wereld waarin Silicon Valley, in plaats van gekozen regeringen, de vorm van de toekomst bepaalt.”

Rasch geeft aan dat ons door het gebruik van data een “ultieme keuzevrijheid geleverd wordt,” omdat deze uiteindelijk ”samenvalt met het verdwijnen van keuzes op zich, omdat wat je wenst zonder tussenkomst uit te lezen zal zijn uit je dataprofiel.” De in deel 12A genoemde Yogeshwar is van mening: “het consequente gebruik van deze middelen [algoritmen ter beïnvloeding MR] in de politieke wereld betekent het einde van de democratie.”

Hier ontstaat een vorm van totalitarisme – een algoritmocratie[13] of algocratie[14], waarbij algoritmen en kunstmatige intelligentie ons leven bepalen, omdat met algoritmen de mening van de kiezer al bepaald is. Deze wereld waarin we sluipenderwijs en als het ware slaapwandelend verzeild geraakt zijn zonder nog te weten hoe we er weer aan kunnen ontkomen, kun je al transhumaan noemen.

Le Dataisme ou la religion d’un nouveau Monde – PSYCHE CLIC. psycheclic.com

Dataïsme

Miriam Rasch geeft aan dat “de drang om via grootschalige dataverzameling te komen tot geoptimaliseerde kennis en controle” sinds 2013 dataïsme genoemd wordt. In de geloofsleer van het dataïsme wordt als uitgangspunt genomen dat “data neutrale elementen zijn,” waarin de gehele wereld vertaald kan worden. Dit betekent ook dat meer beter is dan minder; hoe meer data hoe beter. “Data moeten de wereld voorspelbaar maken.” Hieraan ontleent het dataïsme zijn gezag.

Han – reeds genoemd in deel 12A – noemt het in Infokratie[15] “totalitarisme zonder ideologie.” De toekomst is nu inherent onzeker en leven met onzekerheid is lastig en daarmee ongewenst. De mens heeft behoefte aan zekerheid. Het gebruik van algoritmes zou het leven gemakkelijker en aangenamer maken. We zien dat terug in enkele van de hier besproken romans. Alles is er op gericht geen reuring te hebben; geen verrassingen te ondergaan; geen risico’s te lopen; dus ook het nadenken erover te ontmoedigen of zelfs heftig te onderdrukken. Het is de voorspelbare wereld die ons wordt voorgeschoteld en beloofd door het dataïsme. De huidige werkelijkheid moet gedataficeerd worden om een voorspelbare toekomst te kunnen leveren. Hiermee wordt dataïsme “een geloof van predestinatie”.

Deze “vanzelfsprekende overtuigingen […] zetten een rem op echte ethische reflectie,” schrijft Rasch. Ze is er niet gerust op. Het leidt tot defaitisme. In een interview[16] zegt hoogleraar klinische psychologie aan de Universiteit Gent Mattias Desmet: “Dit ganse dataïsme – het geloof dat alles uiteindelijk te herleiden is tot informatie en deel is van een onvermijdelijke ontwikkeling – is dramatisch op menselijk vlak en absurd op intellectueel vlak.” Voor beiden geldt, dat als dergelijke overtuigingen als vanzelfsprekend gezien worden, er des te meer aanleiding is kritisch te zijn en de nodige vraagtekens te plaatsen.

En toch bewegen we in een andere richting. We lopen mee en zijn ervan overtuigd dat informatie ons zekerheid geeft over onze toekomst. Om met Juli Zeh te spreken, die zeer kritisch en soms ook wat cynisch is over deze ontwikkeling, “Big Data is eigenlijk niets anders dan een kristallen bol die ertoe dient de toekomst te voorspellen.” Ze gaat hier nog verder op in en geeft aan dat we nu weliswaar Big Data hebben, maar dat dit min of meer de voortzetting is van wat we vroeger hadden. “Zieners, priester of orakels” […] waarvan de voorspellingen in de oude mythen betrokkenen meestal in het ongeluk stortten.” Of we nu betere resultaten mogen verwachten? Dat zal nog niet meevallen als we Rodney Brooks, voormalig hoogleraar robotica aan MIT, volgen[17]: “De toekomst voorspellen is echt moeilijk, zeker op voorhand.” Achteraf is altijd alles duidelijk!

Are you there God? It’s me, robot. Photograph: Ociacia/Getty Images/iStockphoto

De nieuwe gnosis

Rasch opnieuw. “De voorspellende kracht van data, hun werking en hun waarde, lijken boven alle twijfel verheven te zijn.” Het leidt ertoe “de huidige wereld als betreurenswaardig tussenstation op weg naar iets beters” te zien.

Rafael Capurro, filosoof en voormalig hoogleraar informatiewetenschap aan de Hogeschool voor Media in Stuttgart schrijft[18] dat de machine, de computer, heden ten dage anders dan vroeger, niet alleen gebruikt wordt om de natuur te domineren, maar om deze “te controleren en alles dat bestaat te simuleren. […] Concepten als virtuele werkelijkheid, kunstmatige intelligentie en virtueel leven zijn signalen van deze verandering.” Hij is kritisch over deze ontwikkeling. Het plaatst de realiteit in een ander daglicht en verandert hierdoor de wereld waarin wij leven.

Hij vervolgt: “dit is de spiegel waarin we de realiteit een lagere status zien krijgen dan de virtualiteit van het artificiële. […] De werkelijkheid is slechts een uitdrukking van computationele virtualiteit. Het kunstmatige is het reële. […] Computationele kunstmatigheid imiteert de natuur niet. Het simuleert het zelfs niet. Het is precies andersom. Het natuurlijke lijkt juist een mogelijke simulatie van het kunstmatige te zijn.”

eze gedachtegang voert ertoe dat kunstmatige intelligentie als hogerstaand moet worden gezien dan de menselijke intelligentie. “In een geseculariseerde en technologische beschaving neemt de mythe van de "super AI" de plaats in van het goddelijke. Dit is, naar mijn mening, een nieuwe vorm van gnosis”, aldus Capurro. Ook Han wijst op “de goddelijke blik van Big Data”. Het gaat zelfs zover dat er kortdurend, enkele jaren, een religieuze organisatie – ‘Way of the Future’ – heeft bestaan met als doel[19] “het ontwikkelen en bevorderen van de realisatie van een Godheid gebaseerd op kunstmatige intelligentie en door begrip en aanbidding van deze Godheid bijdragen aan de verbetering van de samenleving."

Rodney Brooks[20] is er eveneens duidelijk en enigszins cynisch over dat we er nog lang niet zijn, als hij zijn blog afsluit met “het blijkt dat het construeren van goden echt heel moeilijk is. Zelfs als ze naar ons evenbeeld zijn.” Superintelligentie als bovenmenselijke intelligentie is een fantoombeeld; een wensdroom; de haalbaarheid ervan is nog lichtjaren weg, als het al mogelijk is.

Capurro en Han blijven kritisch en waarschuwend. De mens is degene die de software schrijft en die daarmee ook bepaalt welke mogelijkheden door de software verder ontwikkeld kunnen worden, ook al onttrekt dit zich aan de waarneming van de programmeurs en anderen. Toch zijn de adepten van een verdere ontwikkeling van kunstmatige intelligentie er zeker van dat het voor de mens beter zal zijn, is Rasch’ mening.

De mens zal als “biologisch algoritme samensmelten met digitale algoritmen”aarmee staan we aan de vooravond van een nieuwe mens, een transhumane mens. Zij geloven hier heilig in. Ze gebruiken religieuze taal die als we Rasch volgen doet denken aan een zeker mysticisme, aan “mystieke extase”, aan mystieke ervaringen[21]. Er is dan ook per definitie geen discussie meer mogelijk. Twijfel is echter de essentie van wetenschap, evenals het discours.

Hiermee plaatst het dataïsme zich buiten het discours en dus buiten de wetenschap. Dataïsme is het geloof in het data verzamelen en geen nieuwe of volgende stap in de moderne wetenschap. Vandaar dat een kritische houding rond data en het gebruik ervan, rond algoritmen en het gebruik ervan en rond kunstmatige intelligentie in het algemeen zeer op zijn plaats is.

hiddenchampion.nl

Ethiek

In de al jaren lopende discussie over kunstmatige intelligentie en hoe er gebruik van te maken komt regelmatig ethiek om de hoek kijken. Er zijn intussen door diverse partijen, waaronder techreuzen, ethische beginselen en richtlijnen gepubliceerd. Al te juichend moeten we hier niet over zijn[22]. Lastig is verder dat niemand weet wat het betekent wanneer kunstmatige intelligentie ethisch is, laat staan dat men het eens is over het begrip kunstmatige intelligentie. Desondanks is er de roep om ethische kunstmatige intelligentie.

Het vraagstuk “of het gebruik van kunstmatige intelligentie op bepaalde terreinen eigenlijk wel ethisch kan zijn[23]”, is eveneens bij lange na niet opgelost. Ethiek blijkt wel een thema voor de techreuzen te zijn, hoewel dat bij hen in de kinderschoenen staat, want eigenlijk is voor hen ethiek alleen maar optioneel, volgens Alegre. Ethische overwegingen zijn altijd achteraf en dus vrijwel altijd te laat of niet meer van invloed. De voldongen feiten dwingen ons ethische normen aan te passen in plaats van omgekeerd.

De techreuzen rommelen hier maar wat aan en blijven in de marge bezig. Wat hier de invloed van ethische overwegingen is blijft in het duister gehuld. Bijna allemaal geven ze aan ethisch afwegingen mee te nemen in hun besluitvorming. Daartoe hebben ze ethische commissies e.d. ingesteld. De samenstelling ervan is vrijwel altijd onbekend. Onduidelijk ook is wat er aan adviezen wordt gevraagd en opgesteld of wat ermee gedaan wordt. Het lijkt een doekje voor het bloeden schrijft journalist James Vincent[24]. In haar genoemde boek gaat Rasch in op deze problematiek “De vraag naar ethiek schept vooral meer chaos” Er zijn dermate vele belangen en belanghebbenden bij “die hele onoverzichtelijkheid van het hyperobject”die daardoor “de onderliggende vragen in de mist hullen.”

Voortdurend duiken er problemen op die eerst aandacht vragen, die eerst opgelost moeten worden. Het gaat nooit de diepte in. “Ethiek wordt ondertussen vooral lippendienst bewezen,” is haar stelling. Ze waarschuwt dat alles erop gericht is ethiek als overbodig te zien. “Als de ethiek is geautomatiseerd […] zal een post-ethisch tijdperk aanbreken. Om die post-ethische staat van zijn te bereiken, moet de ethiek nu al terzijde worden geschoven.”

Je hoeft er dus al helemaal niet meer aan te beginnen. Laat maar, de algoritmen weten ook raad met de ethiek. De uiterste consequentie van kunstmatige intelligentie is dat deze zelf de bijbehorende ethiek voor zijn rekening neemt. Daarmee is ethiek niet overbodig, doch inherent aan algoritmen geworden. Niets aan de hand dus, we kunnen rustig verder slapen. Het is niet voor niets dat Rasch ons waarschuwt.

Objectiviteit

Opmerkelijk is dat aan kunstmatige intelligentie objectiviteit wordt toegeschreven, terwijl de mens altijd subjectief zou zijn. We zien dit in de besproken romans ook terugkeren en op diverse wijzen uitgewerkt worden. Bij Eggers is bijvoorbeeld de beoordeling van kunstwerken, literatuur, films overgelaten aan algoritmen. In Het Alles worden aan recensies percentages – overigens door mensen vastgesteld – gekoppeld, waardoor er een geaggregeerde score kan worden vastgesteld. Hierdoor krijg je duidelijkheid.

Bij Eggers klinkt dat zo: “duidelijkheid is objectiviteit.” Deze manier van kijken is “democratischer en meer egalitair.” Deze toegevoegde waarde is niet subjectief. Eggers hoofdpersoon concludeert hier: “Subjectiviteit is gewoon objectiviteit in afwachting van data.”

Ook bij beoordelingen van mensen, van studieresultaten wordt overgestapt op kunstmatige intelligentie. Immers, “mensen zijn falende vooroordelen op twee benen, geneigd tot het maken van fouten […].” En verder: “niemand wil door een mens worden beoordeeld. Te pijnlijk.” Overal dus beoordelingen door computers. “Het subjectieve werd volledig uitgebannen.” Vooruitgang dus?

Hieraan kan genoegzaam getwijfeld worden. De mens is verantwoordelijk voor zijn handelen en zijn oordelen, maar hoe zit dat bij algoritmen? Meredith Whittaker geeft hier aan dat “zij die kunstmatige intelligentie gebruiken, beslissingen nemen over andere mensen zonder daarvoor verantwoordelijkheid te nemen.” Kortom, de beslissingen overlaten aan algoritmen verlost ons van verantwoordelijkheden. Voor velen wellicht een plezierige gedachte?

In Piet Ransijns bespreking[25] van het recent verschenen boek Van Aristoteles tot algoritme: Filosofie van de kunstmatige intelligentie van Guido van der Knaap in CM 123 komt al duidelijk aan de orde welke problemen inherent zijn aan de toenemende introductie en gebruik van algoritmen en kunstmatige intelligentie. Een nadrukkelijk probleem is en blijft de vermeende objectiviteit van de algoritmische uitslag, zeker wanneer de beslissing aan het systeem gelaten wordt, zoals boven gesteld.

Anders gezegd, de uitslag van de algoritmische berekening wordt niet meer ter discussie gesteld. Niemand is verantwoordelijk en aansprakelijk. Het creëert een werkelijkheid, terwijl wij niet kunnen weten hoe deze tot stand gekomen is. Verraderlijk is volgens Han dat “algoritmen argumenten nabootsen”, terwijl er geen discussie op basis van argumenten wordt gevoerd. Daartoe zijn algoritmen per definitie niet in staat. Er ontstaat, aldus de Italiaanse wiskundige Giuseppe Longo, geciteerd door Rasch een “valse objectiviteit, […] een imitatie van de werkelijkheid.”

Het is verwonderlijk dat systemen objectiviteit toegedacht wordt terwijl deze door mensen worden geprogrammeerd. Hiermee is altijd bias ingebouwd, waarschuwt Susie Alegre. En als het erom gaat menselijke beslissingen te vervangen door AI “is het resultaat niet minder bias, maar geautomatiseerde, allang vergeten bias met grote effecten. […] Technologie wordt aangeprezen als een middel om je te ontdoen van menselijke bias en discriminatie. Maar in werkelijkheid verergert het alleen maar.” Als je dit weet is er mogelijkerwijs iets aan te doen, maar het probleem van machine bias is daarmee nog niet opgelost[26].

Artificial Intelligence - Delivering Results Or Taking Over? cxoinsightme.com

Kritische overwegingen

In alle vijf romans zien we dat een meer of minder uitgesproken vorm van transhumanisme aan de orde komt. Wellicht bij Forster het minst te onderkennen. Stephenson laat het verdekt zien met een virus dat zowel mensen als computers bevalt. Bij Cressman stuurt het algoritme of de controleur via chips de mens aan. Eggers gaat het verst, zoals we al zagen in de bespreking van De Cirkel. In Het Alles gaat hij op dezelfde weg voort.

Zien we in deze romans een aanzet tot een cyborg-maatschappij? De adepten zien nog veel meer mogelijkheden, samensmelting van mens en machine, van biologisch algoritme met digitaal algoritme. Er is echter een groot risico mee verbonden, waarop Alegre ons wijst. “Als we die technologische ontwikkeling toestaan die rechtstreeks toegang geeft tot de hersenen, lopen uw rechten gevaar, of het nu uw hersenen zijn die worden gehackt of die van iemand anders. De techno-optimistische droom van een samensmelting van mens en technologie betekent het einde van de vrijheid van denken zolang anderen de technologie beheersen zoals nu het geval is.” En ze gaat verder: “wanneer de mensheid wordt gereduceerd tot een machine, gaat de logica van de mensenrechten verloren.”

De romans van Eggers en Cressman laten zien hoe belangrijk het gevonden wordt dat je actief bent op sociale media en voortdurend reageert op hetgeen aangeboden wordt en hetgeen er om je heen gebeurt. Je gedrag met reacties op deze dingen, je hoeveel ‘likes’ bepalen niet alleen je sociale status, maar ook de waardering die je van anderen krijgt via je ‘ratings’. Hoe meer je reageert hoe enthousiaster het algoritme aan je terug rapporteert. Het suggereert een objectieve waardering van je gedrag.

Rasch is kritisch over ons bevangen zijn door sociale media. We zijn erin verstrikt geraakt. Sociale media zijn zo ingericht dat ze “een spiegeling zijn van het kapitalistische groeimodel. [..] Ze beantwoorden aan een menselijke drang tot groei. Het is bevredigend om de getallen te zien stijgen, om zelf mee te stijgen, om te kunnen controleren of er nog leven in je zit, op alle terreinen. […] Bovendien is het meer van de metrics gekoppeld aan status en reputatie. In die zin werkt het als een persoonlijk kapitalistisch groeimodel voor iedereen. […] Zonder ratings word je niet gezien. […] Rating is daarmee een kwestie van lijfsbehoud.”

Juli Zeh spreekt van “rating-waan” in haar bijdrage Das Turbo-Ich en waarschuwt. “De effecten zijn fataal. Hier is namelijk een paradoxaal mechanisme te zien […] geen uitgesproken individualisme, maar een groeiend conformisme.” Er is sprake van een soort groepsdwang, je moet meedoen. In Egger’ Het Alles wordt zelfs de reactietijd als criterium voor gewenst en goed gedrag meegenomen bij de beoordelingen van Everyones, de medewerkers van The Every. Wie niet meedoet aan dit ‘ratingspel’ valt buiten de boot of nog erger wordt er uit geduwd.

In deze vermeende objectivering van gedrag schuilen nog veel meer addertjes onder het gras, waarop Rasch ons wijst. Bestaat objectieve informatie in die zin wel? Het feit dat we getalsmatige informatie verstrekken houdt de schijn op van objectiviteit. Data zijn niet spontaan aanwezig; er moet iets voor gedaan worden om ze te verkrijgen. Rasch opnieuw, “ze liggen niet klaar om opgeraapt te worden, zoals kiezelstenen of schelpen, sprokkelhout of kievitseieren, als hooi dat na de oogst geraapt kan worden.” De getallen zijn uiteindelijk door mensen vastgesteld of worden op grond van algoritmen opgesteld en daarmee “zijn ze altijd geconstrueerd, gefabriceerd.”

Rasch gaat zover ze “schepsels” te noemen, schepsels in een andere zin dan de levende natuur. Vergeet niet, algoritmen zijn door mensen ontworpen en geen objectieve standaarden; ze zijn dus per definitie niet neutraal. “Ze zijn schepselen van de mens en geen instrumenten van een godgelijke objectiviteit.” Ze zijn gebaseerd op door mensen opgestelde rekenregels, waarmee overigens zonder tussenkomst van mensen verdere algoritmen berekend kunnen worden. Hierdoor treedt ook het fenomeen van de “algoritmic bias” op. Dit “probleem kan niet worden opgelost met genoeg tijd en voldoende data.”

Haar opgeheven vinger wijst eigenlijk op het feit dat algoritmes door mensen geschreven software zijn, waarbij de resultaten van de berekeningen die door deze software worden geproduceerd gedeeltelijk kunnen worden getoetst en soms geheel niet. Daarmee is het dan onduidelijk hoe het resultaat tot stand gekomen is. Als de software uitgebreid en complex is en door meerder programmeurs ontwikkeld, weten zelfs de programmeurs niet meer hoe de vork in de steel steekt. Het geheel is een ‘black box’ geworden. Waardoor dit precies tot stand komt kent meerdere verklaringen[27].

Dit leidt tot vele discussies over het gebruik van software, van algoritmes, en vooral daar waar een resultaat van de berekeningen niet ter discussie kan worden gesteld, hetgeen in meer en meer situaties voorkomt. Dit is voor de mens niet acceptabel, “het voelt niet goed om niet te weten uit welke hoge hoed de machine haar beslissing tovert” geeft wetenschapsjournaliste Kathrin Passig[28] aan. Het antwoord, ‘de computer heeft vastgesteld dat’, is frustrerend, weinig behulpzaam en waarschijnlijk ook nog discriminerend.

Deze laatste uitspraak heeft te maken met het feit dat in de software waarmee de berekeningen worden gemaakt aannames en waarderingen van de opstellers persoonlijk zijn verwerkt. Een tweede probleem is dat software hardware nodig heeft. En ook hier is het intussen niet meer mogelijk door de mens na te laten gaan of de hardware conform ontwerp gebouwd is. Dit is nu eveneens het domein van de algoritmen geworden en dus een black box.

Een derde punt is het al genoemde solutionisme. De overweldigende drang om uitsluitend technologische oplossingen te accepteren voor vrijwel ieder vraagstuk is “een ideologie met tekortkomingen die ieder (sociaal) probleem opvat als een ‘bug’ die om een ‘fix’ door technologie vraagt”, zoals in de Inleiding van het Automating Society Report 2020[29] staat.

Dit type oplossingen hebben hun honk in wat de sciencefiction schrijver Arthur C. Clarke in 1973[30] typeerde als zijn derde wet. Deze luidt: “Elke in voldoende mate geavanceerde technologie is niet te onderscheiden van magie.” En zoals dat met magie is, het reguleren ervan is moeilijk, zo niet onmogelijk. Laten we daarnaast niet vergeten dat er allerhande misvattingen bestaan over de reikwijdte van technologie[31] en drogredenen om het te gebruiken. Dit alles is genoeg om met grote behoedzaamheid en achterdocht om te gaan met kunstmatige intelligentie.

Ten slotte

Alle vijf boeken tonen ons wat nieuwe technologische mogelijkheden voor veranderingen in de wereld teweeg kunnen brengen. De nadruk ligt hier op kunnen. Dystopische romans mogen niet gezien worden als “prognoses. Ze willen de toekomst niet voorspellen, maar op kritieke ontwikkelingen in de huidige tijd wijzen”, aldus Juli Zeh[32].

Forster’s wereld is ver weg, maar heel indringend, gerekend naar het moment van verschijnen. Stephenson’s wereld is dichterbij, maar meer futuristisch, gewelddadig, en stemt zeer tot nadenken. Egger’ nieuwe wereld lijkt dichterbij te zijn dan die van Cressman, maar niets is hier zeker. In alle vijf wordt de mens ‘weggecijferd’, wordt de mens tot een data leverend en door data bepaald object, tot “datavee” of nog erger “een miezerige dataset”[33]. Het zijn krijgt een ander karakter in deze digitale-virtuele wereld die onze werkelijkheid aan het vervangen is. Rasch citeert hier Rafael Capurro die spreekt van “‘esse est computari’, zijn is berekend worden.”

Alle vijf waarschuwen ons voor wat kan gebeuren, voor wat al (bijna) werkelijkheid is, voor wat verder weg lijkt, maar zeker niet onmogelijk is. De werkelijkheid is zoals we gezien hebben zelf bijna dystopisch. Of wellicht toch al geheel? Juli Zeh: “dystopische fantasieën en werkelijkheid zijn elkaar in de laatste jaren zeer veel nader gekomen”. Een verontrustende gedachte.

Noten