dinsdag 12 februari 2019

Hoe de replicatiecrisis op te lossen? Over het belang van een overkoepelend theoretisch kader, over diepte en over videogames

Dit is een wat wetenschapstheoretisch bericht, maar als je toch doorleest tot het eind, kom je daar een concreet voorbeeld tegen van waar het om gaat.
Michael Muthukrishna en Joseph Henrich gaan in hun pas verschenen A problem in theory in op de replicatiecrisis in de psychologie en de sociale wetenschappen. Die replicatiecrisis slaat erop dat de resultaten van veel onderzoek niet in stand blijven als het onderzoek gerepliceerd wordt. Dat wil zeggen, als het onderzoek herhaald wordt met zoveel mogelijk dezelfde opzet, maar met nieuwe proefpersonen.

Die crisis kan verschillende oorzaken hebben die liggen op het terrein van de selectie van studies voor publicatie (gebrek aan pre-registratie) en van statistiek en methodologie. Maar Muthukrishna en Henrich vragen aandacht voor een fundamentelere oorzaak: het gebrek aan een overkoepelend, integrerend, theoretisch kader in de psychologie en de sociale wetenschappen (hierna aangeduid als sociale wetenschappen, want de psychologie van een groepsdier is natuurlijk altijd een sociale wetenschap).

Door het ontbreken van zo een algemenere theorie is er eigenlijk bij elke sociaalwetenschappelijke studie weinig zicht op mogelijk van invloed zijnde factoren die het resultaat kunnen hebben beïnvloed. Zo een factor kan in in de ene studie toevallig geen rol hebben gespeeld, maar kan in een replicatie ineens opduiken, omdat de omstandigheden van de eerste studie nooit perfect herhaald kunnen worden. Een algemener theoretisch kader had het dan gemakkelijker gemaakt om voor zulke factoren al vanaf het begin oog te hebben.

Eigenlijk is een "niet gelukte" replicatie vaak een geval waarin we leren, of zouden moeten leren, dat een eerder onderzoeksresultaat slechts onder bepaalde voorwaarden opgaat. In feite ontwikkelt zich zo de wetenschap: door het ontdekken van de voorwaarden waaronder wel of niet een theorie opgaat, kunnen we komen we tot een diepere theorie.  
Denk aan Karl Poppers wetenschapstheorie, in het bijzonder aan het hoofdstuk The Aim of Science uit zijn Objective Knowledge. An Evolutionary Approach (1973), waarin hij groei van kennis analyseert als een toenemende diepte van theorieën. Ik ging daar op in in mijn Verklaring en Interpretatie in de Sociologie, waaruit dit citaat (p. 52):
Poppers verklaringsmodel houdt in dat groei van kennis niet uitsluitend of zelfs niet in de eerste plaats geschiedt door het vinden van informatievere wetten waaruit bekende, minder informatieve wetten kunnen worden afgeleid, maar door het vinden van diepere wetten, waaruit de onwaarheid van de bekende wetten kan worden afgeleid. (Of, nauwkeuriger, waaruit kan worden afgeleid onder welke voorwaarden de bekende wetten wél en onder welke voorwaarden ze niet tot de juiste voorspellingen leiden.)
Zonder overigens Karl Popper aan te halen, leggen Muthukrishna en Henrich uit hoe de sociale wetenschappen beter een toename van diepte, in plaats van een losse hoeveelheid onderzoeksresultaten, zouden kunnen realiseren. Het zou daarbij helpen om onderzoek meer te laten leiden door een algemeen, overkoepelend theoretisch kader. En het kader dat zij voorstellen is dat van de dual-inheritance theory, ook wel aangeduid als de culture–gene co-evolutionary theory.

Die theorie ziet, in het kort, het menselijke gedrag als een resultaat van evolutie, inclusief het inzicht dat mensen cultuur zijn gaan ontwikkelen en dat die cultuur zich weer cumulatief ontwikkelt. Menselijk gedrag is volgens dat kader een product van zowel genetische als van culturele overerving.

Die culturele overerving slaat erop dat mensen erop geselecteerd zijn om zich te conformeren aan het gedrag dat in hun omgeving het meeste voorkomt. Anders gezegd, dat mensen naast een individueel leerproces ook heel sterk een sociaal leerproces kennen. Denk ook aan mijn Dual Mode-theorie, met de verwachting dat mensen bij de "keuze" tussen gemeenschapsgedrag en statuscompetitiegedrag geneigd zijn zich te laten leiden door wat ze in hun sociale omgeving het meest waarnemen.

Hoe zo'n overkoepelend theoretisch kader de replicatiecrisis zou kunnen oplossen, is met een concreet voorbeeld wat duidelijker te maken.

Neem het vele onderzoek naar de vraag of het spelen van videogames, waarin vaak geweld voorkomt, mensen agressiever maakt. Lees de berichten op dit blog achter het label games. Als je naar al dat onderzoek zou kijken vanuit de ad hoc-theorie "spelen van videogames maakt mensen agressiever", dan zou blijken dat dat soms wel klopt en soms ook niet. Studies waarin de theorie wel klopt, kunnen dus niet gerepliceerd worden.

Zo is er het pas verschenen overzicht van onderzoek dat als uitkomst heeft dat het spelen van videogames in het geheel geen lange termijn-gevolgen heeft voor de mate van agressiviteit. Je kunt dat zien als een verwerping van de theorie.

Maar je kunt ook als overkoepelend theoretisch kader hanteren dat mensen in hun gedrag beïnvloed worden door het gedrag waar ze het meest mee in aanraking komen. (Denk weer aan de Dual Mode-theorie.) Met de bijkomende veronderstelling dat spelers van videogames het agressieve gedrag in die games zien als een aanwijzing voor de mate waarin gedrag ook in het echt voorkomt.

Volgens dat kader moet je dan ook rekening houden met de sociale omgeving waarmee spelers van videogames in het echte leven in aanraking komen. En omdat het vooral jongeren zijn die videogames spelen, kun je dan verwachten dat zeker op de langere termijn die echte sociale omgeving, die meestal minder gewelddadig is dan die videogames, een relatief grotere rol gaat spelen in de beïnvloeding van hun gedrag.

Met die algemenere theorie van de beïnvloeding door de sociale omgeving kun je dus verklaren dat het spelen van videogames op korte termijn wel en op langere termijn juist niet tot meer agressief gedrag leidt. Met die algemenere theorie heb je dus aan diepte gewonnen in vergelijking met de ad hoc-theorie dat videogames leiden tot meer agressief gedrag.

Geen opmerkingen: