Meedoen aan de statuscompetitie in de wetenschap vergroot de kans op dubieuze onderzoekspraktijken

In de wetenschap horen integriteit en waarheidsvinding voorop te staan. Maar hoe organiseer je universiteiten en andere onderzoeksorganisaties zo dat zulke zaken ook worden bevorderd?

In ieder geval lijkt het verstandig om ervoor te zorgen dat de statuscompetitie tussen onderzoekers binnen de perken blijft. Want daarmee zou je de kans vergroten dat onderzoekers door oneigenlijke doelen worden gemotiveerd. Status, dus, en door anderen erkend en bewonderd willen worden en anderen willen aftroeven en willen verslaan.

Wat universiteiten in werkelijkheid hebben gedaan is het tegenovergestelde. Door de prestatie-eisen op te voeren hebben ze een publicatiedruk laten ontstaan, die uitdrukkelijk uitnodigt tot statuscompetitie.

En daarmee tot onderzoekspraktijken die moeilijk zijn te rijmen met integriteit en waarheidsvinding. Denk even terug aan de affaire-Stapel en het naar aanleiding daarvan uitgebrachte rapport van de Commissie-Levelt: Bevordert publicatiedruk onderzoekscultuur van sloppyness en fraude? De affaire-Stapel.

Maar is het wel zo dat statuscompetitie de kans op dubieuze onderzoekpraktijken vergroot? Ja, de nieuwe studie Dark Pathways to Achievement in Science. Researchers’ Achievement Goals Predict Engagement in Questionable Research Practices verschaft aanwijzingen in die richting.

Junior psychologie-onderzoekers die lid waren van de Deutsche Gesellschaft für Psychologie en die aan een universiteit werkzaam waren, kregen de vraag voorgelegd of ze zich wel eens aan of meer van negen dubieuze onderzoekpraktijken hadden bezondigd, zoals het presenteren van een onverwacht resultaat als van te voren voorspeld, en of ze zich wel eens aan fraude hadden schuldig gemaakt (het vervalsen van data). Dat zulke praktijken in de sterk competitieve Duitse universitaire cultuur inderdaad niet zeldzaam zijn, bleek eruit dat 85,71 procent van de ondervraagden melding maakte van tenminste een dubieuze onderzoekspraktijk.

De onderzoekers was ook gevraagd of ze zich in hun werk meer lieten leiden door het streven zoveel mogelijk hun eigen kennis en competenties te vergroten of meer door het streven op anderen zo competent mogelijk over te komen. Het eerste streven kun je zien als een intrinsiek motief en het tweede als een statuscompetitiemotief.

Het bleek toen dat dubieuze onderzoekpraktijken significant meer werden gemeld door degenen die meer werden geleid door het statuscompetitiemotief en minder door degenen die meer werden geleid door het intrinsieke motief van het vergroten van eigen kennis en competenties.

Er was ook een Donkere Drie-vragenlijst afgenomen, om narcisme, psychopathie en Machiavellianisme te meten. Opvallend was dat degenen die hoger scoorden op narcisme meer het statuscompetitiemotief aanhingen.

Bevordert publicatiedruk onderzoekscultuur van sloppyness en fraude? De affaire-Stapel

De Commissie-Levelt, die de fraude door de sociaal-psycholoog Diederik Stapel onderzocht en daarvan gisteren verslag uitbracht, is ook nagegaan in hoeverre de werkwijze van Stapel onderdeel was van een onderzoekscultuur, dus niet alleen maar een geïsoleerd incident is. Hierover is de conclusie van de Commissie glashelder:

Het gaat om een meer algemeen falen van de wetenschappelijke kritiek en om een onderzoekscultuur die te zeer gericht is op het onkritisch vaststellen van het eigen gelijk en, zoals uit de gesprekken met de Commissies bleek, op het vinden van interessante maar theoretisch oppervlakkige ad hoc resultaten. (p. 49 van het eindrapport)

De Commissies kunnen niet anders concluderen dan dat er van laag tot hoog sprake was van een algemene veronachtzaming van fundamentele wetenschappelijke standaarden en methodologische eisen. (p. 55) 

Die cultuur zoals die uit de bevindingen van de Commissie naar voren komt, kun je beschrijven als een waarin het doel, publiceren, de middelen heiligt. Waarin van alles gedaan mag worden om interessante resultaten te behalen en gepubliceerd te krijgen, ook als dat met wetenschappelijke eisen van transparantie, controleerbaarheid en repliceerbaarheid onverenigbaar is. Het verzinnen van data en het rapporteren van niet uitgevoerd onderzoek, waar Stapel zo bedreven in was, blijkt een extreem geval te zijn van een gedragspatroon dat veel meer voorkwam.

Hoe kan zo een cultuur ontstaan? In een tak van sport die juist het bestaansrecht ontleent aan de idealen van integriteit en waarheidsvinding? Waarvan het de bedoeling is om mensen aan te trekken die het als een roeping voelen om die idealen te verwezenlijken? (Ik denk even aan Max Webers Wissenschaft als Beruf, waarvan net een nieuwe Nederlandse vertaling is verschenen en waarop ik aan het slot terugkom.)

Is deze cultuur bevorderd door de sterk toegenomen publicatiedruk aan de universiteiten? Die publicatiedruk heeft er toe geleid dat onderzoekers meer worden afgerekend op de meetbare resultaten van hun werk (hun output). Dat kan, net als in de bankensector waar prestatiebeloning en bonussen werden ingevoerd, leiden tot een oriëntatie op het gemeten eindproduct samen met een puur instrumentele houding tegenover de middelen waarmee dat tot stand is gekomen. En het is bekend dat daarmee in de bankensector fraude en onethisch gedrag in de hand zijn gewerkt. Zie ook nog eens dit bericht en dit bericht.

Nu is aan de universiteiten de financiële beloning niet direct gekoppeld aan de prestaties (de publicaties), maar het prestige en de reputatie zijn dat wel. (Trouwens, uit het eindrapport van de Commissie-Levelt blijkt dat de "top-onderzoeker" Stapel behoorlijk financieel werd "gefaciliteerd".)

Het zou dus goed kunnen dat die publicatiedruk een rol heeft gespeeld. Wat zegt de Commissie-Levelt daarover? Het woord publicatiedruk komt op twee plekken in het eindrapport voor, hier:

In gesprekken met betrokkenen en met de heer Stapel kwam duidelijk naar voren dat veel van de hiervoor genoemde procedures, die overigens door hen niet als onzorgvuldig onderzoek werden gekwalificeerd, vooral gericht waren op een snelle positieve afhandeling van dataverzameling, -analyse en -rapportage, met het oog op het halen van publicatiecriteria. Ook het nauwelijks uitvoeren van replicatieonderzoek kan hieronder worden gerangschikt. De publicatiedruk werd door velen genoemd als belangrijke oorzakelijke verklaring voor de door hen gevolgde werkwijzen. De Commissies doen geen uitspraak over of deze verklaring steek houdt, dan wel alleen als excuus wordt gebezigd. Het verdient aanbeveling hiernaar in groter verband nader onderzoek te verrichten.( p. 53)

en hier:

Visitatiecommissies die de sociale psychologie hebben beoordeeld hebben er onvoldoende blijk van gegeven een aantal van de in dit rapport gesignaleerde feiten te hebben doorzien. Te denken valt aan het onkritisch volgen van de door tijdschriften verrichte beoordelingen zowel op het punt van de methodologie als de bijdrage aan de theorievorming. Een ander aandachtspunt in dit verband is voorts in hoeverre de visitatiecommissies bijdragen aan het in stand houden van de veronderstelde grote publicatiedruk en daarmee verbonden conventies. Met name betreft dit conventies ten aanzien van het aantal, de volgorde en de verantwoordelijkheid van de coauteurs en het meervoudig publiceren van soortgelijke onderzoeksresultaten.

De Commissies adviseren de VSNU extra aandacht te besteden aan die aspecten van het SEP-protocol die de inhoudelijke kwaliteit voorop stellen. (p. 63)

Hoewel de Commissie dus zelf geen standpunt inneemt, dringt ze wel aan op nader onderzoek naar de ongewenst effecten van die publicatiedruk. En ze vindt dat die Visitatiecommissies niet alleen maar publicaties moeten tellen, maar ook moeten beoordelen naar inhoudelijke kwaliteit.

Dat de Commissie het punt van die publicatiedruk serieus genoeg neemt om nader onderzoek aan te bevelen, lijkt mij van groot belang. Want als je een keer prestaties beoordeelt op grond van gemeten output, dan zet je een proces in werking waarmee de onderzoekers die daarmee het beste scoren, aan de top van de statushiërarchie terecht komen. En zij zijn dus ook precies degenen die bij het in standhouden van dit beoordelingssysteem belang hebben. Als er dus terechte kritiek op het systeem mogelijk is, dan is de kans klein dat die kritiek gehoor vindt. De Commissie heeft gelijk om nader onderzoek te laten doen.

Datzelfde proces van het ontstaan van die statushiërarchie zorgt er trouwens ook voor dat verdenkingen van wangedrag van "top-onderzoekers" niet gemakkelijk gemeld worden. De Commissie maakt zich juist daarover behoorlijk druk:

Er zijn in 2010 en 2011 drie meldingen verricht aan leden van de wetenschappelijke staf binnen de psychologie. De eerste twee hebben in eerste of tweede instantie niet geleid tot follow-up. Daarin heeft de haast onaantastbare positie van de heer Stapel wellicht een rol gespeeld. De derde melding, aan de departementsvoorzitter en buitengewoon zorgvuldig voorbereid door een drietal jonge en zeker in hun positie kwetsbare klokkenluiders, is wel direct professioneel opgepakt met het bekende resultaat.
Ook bij collega-hoogleraren zijn gedurende het laatste jaar tweemaal verdenkingen gerezen ten aanzien van door de heer Stapel aangereikte data. Aan die verdenkingen is geen follow-up gegeven. De Commissie concludeert dat de drie jonge klokkenluiders meer moed, alertheid en speurzin hebben getoond dan zittende hoogleraren. (p.46-47)

Ja, als je statushiërarchieën laat ontstaan, dan heb je die "onaantastbare posities" er altijd gratis en voor niets bij. En die kunnen heel subtiel werken. Ik had zelf enige twijfel toen ik dat destijds net verschenen Science-artikel las waarin het (gefingeerde) onderzoek naar het verband tussen chaos en geneigdheid tot discriminatie werd gerapporteerd. Hoe kon dat, op het Utrechtse Centraal Station, zijn uitgevoerd? Hoe kon je precies tellen hoeveel plekken stationsbezoekers van iemand met een donkere huidskleur af gaan zitten? Als de nabijgelegen plekken wisselend bezet kunnen zijn? Ik zocht in het artikel en in het Supplement naar nadere uitleg, maar vond die niet. Maar mijn twijfel werd volledig overheerst door ontzag voor het prestige van de onderzoekers.

Wat dat nadere onderzoek zal uitwijzen, ik weet het niet. Rudi Wielers wijst in zijn bespreking in Sociologie Magazine van de nieuwe vertaling van Webers Wissenschaft als Beruf op het gevaar dat door de affaire-Stapel niet de publicatiedruk wordt verminderd, maar dat de universitaire bureaucratie door meer en meer regels gaat proberen om desondanks integer gedrag af te dwingen:

Op dergelijke regels zit geen inhoudelijk geïnteresseerde wetenschapper te wachten, en die regels zullen het bedrijven van wetenschap ook bepaald niet aantrekkelijker maken. Een wetenschappelijke praktijk, waarin goede trouw moet worden afgedwongen door bureaucratische regels, is geen prettig vooruitzicht.

Een terugkeer van het door Weber benoemde ideaal van wetenschap als beargumenteerde bezinning over de werkelijkheid zou daarom meer dan welkom zijn. Het zou helpen voorkomen dat collega’s de verkeerde afslag nemen, en wetenschap waarschijnlijk ook voor jonge mensen weer tot een aantrekkelijke praktijk kunnen maken. We zouden als wetenschappers moeten beginnen dat ideaal uit te dragen.