Replicatie ter discussie

Civis Mundi Digitaal #69

door Bert Laeyendecker

De wetenschap was onlangs weer in het nieuws en de koppen logen er niet om. Trouw kwam met: “Opnieuw valt de wetenschap (curs. L) door de mand” en (nog sterker) “Ook alfa’s machteloos zonder computer”. Daarbij stak de NRC gunstig af met “Kijken naar beeld ‘De Denker’ maakt je toch niet minder religieus”, al begreep ik niet onmiddellijk hoe iemand op dat idee gekomen kon zijn. De strekking van de bijdragen betrof de in Nature, Human Behaviour gepubliceerde constatering dat nogal wat empirisch onderzoek in economie, psychologie en de “gehele sociale wetenschap” blijkt te rammelen. Bij replicatie met gebruik van dezelfde methoden (observatie en experiment) en onder vergelijkbare omstandigheden hield een hoog percentage ervan namelijk geen stand. Trouw sprak daarom zelfs van een “replicatie crisis”. Vermeldenswaard is, dat in 2015 de Nijmeegse klinisch psycholoog Jan Derksen van een andere crisis sprak: juist als gevolg van het gebruik van deze natuurwetenschappelijke methoden. Die tegenstelling is hier relevant, zoals nog blijken zal.

Hoe overeind te blijven in de nieuwsmarkt?

Volgens de ombudsman van de NRC zijn aandikkende koppen een soort darwinistische noodzaak om overeind te blijven in de nieuwsmarkt maar of dat de onzin rechtvaardigt dat alfa’s zonder computer machteloos zouden zijn, denk ik toch niet. Ik heb zelf zeer veel gemak gehad van mijn computer, maar het had ook zonder gekund. Dergelijke koppen dragen niet bij aan een realistisch beeld van de wetenschap. Daarmee zeg ik niet dat kritiek op het gebrek aan replicatie niet deugt of niet geuit zou mogen worden. Of dat replicatie van onderzoek overbodig zou zijn. Gelukkig werd er ter verklaring van dat tekortschieten op allerlei factoren gewezen die de condities voor onderzoek aan de universiteiten betreffen. Maar het is op zijn zachtst gezegd problematisch dat de betrouwbaarheid van ‘wetenschap’ (die term wordt ook in het algemeen gebruikt) gekoppeld wordt aan een herhaling van de observaties en experimenten. Dan wordt aan “de wetenschap” het stramien van de natuurwetenschappelijke methodologie opgelegd. Dat deprecieert de betrouwbaarheid – en ook ‘bruikbaarheid’ – van de resultaten van alfa- en gammawetenschappen.

Dat laatste is niet ongewoon. Toen ik in de jaren tachtig lid was van adviescommissies van het toenmalige ZWO was de verdeling van geld over de drie disciplinaire richtingen opvallend scheef en toen het bestuur een minieme verschuiving ten gunste van alfa- en gammadisciplines voorstelde, kwamen er woedende reacties uit de bètahoek die zich mede baseerden op dergelijke overtuigingen. En al jarenlang wordt er gewezen op de stiefmoederlijke behandeling van alfa- en gammawetenschappen aan universiteiten waar zgn. kleine studies het leven moesten laten.

Ook de KNAW heeft zich met het replicatieprobleem beziggehouden. Zij publiceerde in januari 2018 de nota Replication Studies. Improving reproducibility of the empirical sciences. Daarin wordt ook slordig met de terminologie omgesprongen. Hoewel in de titel en in de voettekst “empirische wetenschappen” staat, gaat het herhaaldelijk over wetenschap, wetenschappelijke vooruitgang, onderzoek zonder specificatie. De eerste alinea in de conclusies en aanbevelingen loopt als volgt:

“Improve study methods: Researchers should conduct research more rigorously by strengthening standardisation, quality control, evidence-based guidelines and checklists, validation studies and internal replications. Institutions should provide researchers with more training and support for rigorous study design, research practices that improve reproducibility, and the appropriate analysis and interpretation of the results of studies.

Wetenschap niet identiek met betawetenschappen

Het is niet alleen de terminologie. De eerste regels van het voorwoord geven luid en duidelijk zowel het belang van het probleem aan als het standpunt van de KNAW:

“Scientific knowledge can only grow if researchers can trust the results of earlier studies. Researchers should therefore conduct studies using systematic, rigorous methods and report in detail on how they have achieved their results. This allows other researchers to appraise results critically and to repeat a study to see whether they can reproduce its results. Being able to reproduce results is important, not only because it aids scientific progress, but also because non-reproducible results waste resources, can harm individuals and society, and may erode public trust in science”^[1].

Replicatieonderzoek, omschreven als a study that is an independent repetition of an earlier, published study, using similar methods and conducted under similar circumstances (curs. in origineel)^[2] is derhalve en “will always be a normal and essential part of science”^[3].

De vraag rijst onmiddellijk of deze uitspraak voor alle disciplines van de empirische wetenschap geldt omdat de geschiedwetenschap toch ook een empirische wetenschap is. De KNAW lijkt na het voorwoord in dat opzicht wel enig gas terug te nemen met het volgende:

“Because the discussion about reproducibility has been most prominent in the medical sciences, life sciences and psychology, the analyses in this report are based mainly on experiences within these disciplines”. Dat is, dunkt mij, toch een beperkte keuze uit het hele wetenschappelijke veld. Maar dan volgt: “The question is to what extent these analyses apply to other scientific disciplines. On the one hand, it could be argued that all scientific disciplines based on systematic observations (be it of elementary particles, mouse brains, human behaviour, historical events^[4] or poetry (curs. L) and whether by quantitative or qualitative methods) should, in principle (curs. L), aim to generate reproducible results. On the other hand the importance attributed to reproducibility, and certainly the scope of what can be replicated, may differ significantly between disciplines. For example, mouse brains and human behaviour can be manipulated experimentally, but unique phenomena such as historical events and poems cannot be repeated (although even in the case of unique phenomena (curs.L) it is possible to repeat parts of scientific studies. to test their reproducibility”^[5].

Tenzij hier met ‘science’ de meer beperkte Engelse opvatting van ‘science’ doorklinkt^[6] klinkt dat nogal generaliserend of op zijn minst verwarrend. Want onder wetenschap vallen toch ook disciplines als theologie, filosofie, recht en taalwetenschap^[7]. Er zijn ook secties voor in de KNAW. Maar waarom zouden die “in principe” langs de maatstaf van de bètawetenschappen moeten wordt gelegd.

Replicatie: de enige manier voor kritische toetsing van resultaten

Al direct dringt zich de vraag op of replicatie dan de enige manier van kritische toetsing van resultaten is. Die vraag krijgt een extra accent omdat replicatie in diverse alfa- en gammadisciplines vaak onmogelijk is of praktisch ronduit onuitvoerbaar. Wat moet men zich voorstellen bij replicatie van, bijvoorbeeld, L. de Jong, Het koninkrijk van Nederland in de Tweede Wereldoorlog, of, op kleinere schaal Het lege land van A. van der Woud, of Maerlands wereld (F. van Oostrom). Frühes Mönchtum in Frankreich (F, Prinz), La naissance du purgatoire (J. Le Goff), , Law and Revolution (H.J. Berman), en Reason and Society in the Middle Ages (A. Murray) om er maar enkele te noemen. Die getuigen tussen haakjes niet direct van machteloosheid in het toenmalige computerloze tijdperk. En dit betreft een empirische wetenschap.

In theologie en filosofie ligt dat anders; de meeste van hun resultaten lenen zich überhaupt niet voor replicatie, al zou men het met Philosophische Untersuchungen van L. Wittgenstein, de Kritiek der reine Vernunft van I. Kant, Der Römerbrief van K. Barth en De sacramentele heilseconomie van E. Schillebeeckx eens kunnen proberen. Toch was en is in al die gevallen wel degelijk kritiek mogelijk, en wel vanuit de ‘scientific community’ die analyseert, kritiseert en argumenteert. Vanuit de Middeleeuwen kennen we de officiële Disputationes en dergelijke kritische debatten vinden nog steeds plaats. Replicatie mag dan een “normaal en essentieel onderdeel van de wetenschap” genoemd worden; het kritische debat is dat niet minder en het is zeker niet minder effectief.

Terzijde mag overigens worden opgewerkt dat ook omstreden publicaties zeer gunstig voor de vooruitgang van de wetenschap kunnen zijn. Als voorbeeld zou Max Webers Die protestantische Ethik und der Geist des Kapitalismus kunnen gelden. Er zijn niet zoveel studies te noemen die tot een dergelijke gigantische hoeveelheid historische en sociologische onderzoekingen hebben geleid.

Door replicatie verkregen vooralsnog zekere kennis waardevoller?

Op de tweede plaats mag gevraagd worden of de door replicatie verkregen, vooralsnog zekere kennis waardevoller is voor de samenleving dan de kennis die is neergelegd in werken zoals hierboven genoemd. In het Rapport staat dat kennis de samenleving ten goede moet komen en dat: “ non-reproducible results waste resources, can harm individuals and society, and may erode public trust in science”. Maar dat ‘ten goede komen’ doelt, gezien de aard van de in het bijzonder genoemde disciplines toch vooral op toepasbare kennis, dus ‘instrumentele kennis’. Die geniet hoge waardering. Niet alleen in dit rapport want – het is maar een voorbeeld – in 2011 zei de toenmalige toenmalige minister Verhage dat fundamenteel onderzoek beter moest aansluiten bij negen economische topsectoren Dan is het blijkbaar pas echt ‘nuttig’’. Dat past goed bij een al veel langer speurbare tendens, de verwerving en toepassing van kennis zo sterk mogelijk aan elkaar te binden. Ook de neiging van opdrachtgevers om resultaten op maat te snijden van beleidsplannen is daar een uiting van. Dat is ook allang bekend^[8] maar kwam onlangs ook in kranten weer eens aan bod: Is de wetenschap wel voldoende onafhankelijk?

Oriënterende kennis

Er is echter ook een ander soort kennis, de zo genoemde ‘oriënterende kennis’. Die biedt levensoriëntatie omdat die, o.a., gericht is op de zin van de doeleinden waarvoor de instrumentele kennis wordt ingezet^[9]. Aan die kennis dragen de alfa- en gammawetenschappen in aanzienlijke mate bij. Die hadden en hebben vooral met ‘Bildung’ te maken, waarvoor tegenwoordig ook weer aandacht is, in der zin dat er een tekort daarvan in het onderwijs gesignaleerd wordt.

Ik beweer hier niet dat dit alles in het rapport ontkend zou worden. Maar het zou een evenwichtiger indruk hebben gemaakt als dit aspect ook, al was het maar in een terzijde, duidelijk aan de orde zou zijn gesteld. Namelijk dat er ook andere methoden zijn in andere typen wetenschap die tot degelijke en waardevolle inzichten kunnen leiden. Maar het tegendeel lijkt het geval, getuige de opmerkelijke, door mij gecursiveerde passage: although even in the case of unique phenomena (curs.L) it is possible to repeat parts of scientific studies to test their reproducibility”. Als ’t effe kan…ja dan.

Hoe verhouden theorie en empirie zich tot elkaar?

Nog enkele aanverwante zaken. De eerste betreft de verhouding van theorie en empirie. Feiten krijgen hun betekenis in het kader van een theorie. Dat heeft vaak geleid tot een verzelfstandiging van theoretici en onderzoekers. In mijn vak, de sociologie, houden theoretici zich bezig met problemen als, bijvoorbeeld, de aard en de bruikbaarheid van ‘paradigma’s (Het is een polyparadigmatische discipline) en de daarbinnen uitgewerkte theorieën om de maatschappij beter te begrijpen. Dat is vaak werk van langere adem. Belangrijke theoretici als Talcott Parsons en Niklas Luhmann hebben zelf weinig of geen empirisch onderzoek verricht maar wel een reeks van boekpublicaties het licht doen zien. Is voor dezulken nog plaats op de huidige universiteiten waar iedere medewerker elk jaar ter verantwoording van zijn productie of het uitblijven daarvan geroepen wordt? Niet iedereen kan het zich, als Luhmann bij zijn benoeming in Bielefeld, permitteren ,op de vraag naar zijn werkplan met vermelding van doel, tijd en kosten, te antwoorden: “Eine Theorie der Gesellschaft, Laufzeit dreizig Jahren, Kosten keine”. Toen hij te vroeg overleed, had hij meer dan dertig boeken op zijn naam die in dat werkplan pasten. Dat is uniek en kan niet als voorbeeld gelden. Maar de andere kant ben ik de laatste jaren regelmatig tegen gekomen.

Sinds ik in 1989 lid werd van de KNAW heb ik vele jaren zoals elk lid deel genomen aan het selectieproces voor nieuwe leden. Daartoe dienen dan o.a. Memories van aanbevelingen die geschreven worden nadat vakgenoten het over de kandidaten eens geworden zijn. Die Memories waren toen zeker niet lang en er stonden vaak boekpublicaties op. Hoewel nu al vele jaren rustend lid zonder stemrecht, krijg ik die nog elk jaar. Nu echter zijn vele Memories van aanbeveling een pak van tien tot twintig A-4’s met vrijwel uitsluitend artikelen, soms met één auteur en meestal twee tot soms acht auteurs, waaronder de genomineerde. Steekproefsgewijs heb ik eens naar boeken op die lijsten gezocht, zonder resultaat. Aannemende dat al de genoemde publicaties aan ‘peers’ zijn voorgelegd, rijst de vraag of al die benodigde ‘peers’ hun werk goed doen of gaan sommigen, zelf verzuipend in het werk, gaan lijken op moderne toezichthouders in het bedrijfs- en bankwezen. Maar toelatingscriteria en onderzoekspraktijk versterken elkaar zo wel. De vraag wat er van al die onderzoekingen beklijft, is ook niet helemaal ongerechtvaardigd. Toen ik in Amsterdam ging studeren trof ik in de Oudemanhuispoort karretjes aan met tweedehands  boeken waaronder heel veel natuurwetenschappelijke dissertaties. Zij hadden, zo werd gezegd, een houdbaarheidsdatum van gemiddeld een jaar. Hoe zou het nu zijn?

Verdringing van de waarderationaliteit door de functionele rationaliteit

Deze trend instrumentele kennis waardevoller en betrouwbaarder te beschouwen dan oriënterende kennis, is een aspect van de toenemende verdringing van de waarderationaliteit door de functionele rationaliteit die Weber al begin 20^e eeuw signaleerde, door Karl Mannheim in de jaren dertig duidelijk werd onderkend en na de Tweede Wereldoorlog het pregnantst door de Frankfurters werd beklemtoond en kritisch geanalyseerd. Nu is die maar al te duidelijk zichtbaar in bureaucratisering en juridisering in de samenleving en in de instrumentalisering van kennis. Met dat laatste is overigens uitzonderlijk veel bereikt waarvoor we dankbaar moeten zijn. Maar er is ook een prijs voor betaald die steeds meer wordt beseft, verlies aan visie, aan levensoriëntatie, zingeving, en aan de verheldering (Aufklärung, Luhmann) van de samenleving^[10].