‘Uw onderzoek bevat geen trucs achteraf. Wij accepteren het vóóraf.’ Dat is het idee achter Ware Wetenschap, een project dat we gisteren bij de Volkskrant hebben gelanceerd. Maar hoe werkt het precies?
Een ‘geniaal idee’, een ‘mooi project’, een ‘supergoed initiatief’. Juichend waren de eerste reacties op ons (nou goed, mijn) plan om een journalistiek experiment te doen met zogeheten ‘slow science’.
Het komt hierop neer: we maken een afspraak met elkaar. U vertelt ons wat u wil onderzoeken en hoe u dat exact wilt doen. En wij beloven dat we er na afloop over schrijven in de krant, ongeacht de uitkomst!
Koop je straks megagrote labdiamanten bij de Hema?
Labdiamanten zijn net zo mooi als natuurlijke diamanten en nu hun productiekosten dalen, veroveren ze de juwelenmarkt. Sebastiaan van de Water zocht u ...
Er zijn ook nog veel vragen, en die moet ik toch ergens beantwoorden. Dus… daar gaan we.
Waarom eigenlijk #warewetenschap?
De laatste jaren is duidelijk geworden dat de wetenschapsbeoefening een vervelend probleem heeft: resultaten van experimenten worden vaak achteraf opgepoetst. Proefpersonen en metingen worden geschrapt, onderzoeksgroepen worden in handige subgroepen verdeeld, als statistische analysemethode A niet werkt, grijpt men naar methode B – enzovoorts.
Dat is begrijpelijk en geoorloofd, maar het leidt ook tot wat experts ‘verificatie-’ of ‘confirmatievertekening’ noemen. Bedoeld of onbedoeld gaat de wetenschapper op zoek naar mooie, significante resultaten. Dat zou nog niet eens zo erg zijn als men volledig openheid van zaken gaf, maar in praktijk hebben de vakbladen daarvoor vaak geen ruimte.
Dat beperkt zich heus niet tot de sociale psychologie (die ermee in opspraak kwam); zelf heb ik eens een mooi voorbeeld uit de geneeskunde aan het licht gebracht.
Ware wetenschap wil de vaak jonge, idealistische wetenschappers die hier iets aan willen doen steunen in hun strijd tegen onzichtbaar gemanipuleer met de cijfers achteraf.
Hoe werkt het?
Een prikkelend idee komt van de Britse psycholoog Chris Chambers (zie hier). In Nederland is het op de kaart gezet door onder meer Eric-Jan Wagenmakers (u leest zijn betoog hier).
Het werkt zo: een onderzoeker bedenkt vóóraf tot in detail wat en hoe hij wil gaan analyseren. Dat legt hij minutieus vast. In feite doet hij zijn onderzoek al, maar zónder de metingen. Die komen pas helemaal op het laatst. Het gevolg is dat keuzes achteraf uitblijven.
Maar dat kan toch niet voor ieder onderzoek?
Inderdaad. Ware wetenschap werkt alléén bij toetsend onderzoek, dus onderzoek waarbij een hypothese wordt getoetst. En dan alleen nog als er een heldere analyse bij komt kijken, liefst in kwantitatieve zin.
Dat is trouwens een van de doelen. Onder meer Wagenmakers wijst erop dat er duidelijker onderscheid moet zijn tussen exploratief onderzoek en toetsend onderzoek. Een probleem is inderdaad dat die twee door elkaar lopen. Neem het medische onderzoek dat ik eerder noemde: het is in feite een experiment dat een hypothese toetst – maar het mondt uit in ‘exploratie’, gegrasduin in de data.
Zeker, soms is bewerking achteraf nodig. Maar mensen als Wagenmakers en Chambers wijzen erop dat het al scheelt als wetenschappers daar in elk geval duidelijk en volledig over zijn.
Wat heeft de Volkskrant ermee te maken?
Als er iemand is die doet aan ‘oppoetsen achteraf’, zijn de media het wel. Wij zitten dan ook aan het einde van het proces, aan de output-kant: we staan onder de boom der kennis en vangen het lekkerste fruit op.
Ware wetenschap is voor ons dan ook een journalistiek experiment, om te zien of het ook anders kan.
Voor wie is #warewetenschap bestemd?
Iedere actieve wetenschapper in elke wetenschapstak kan meedoen. Ja: mits u een toetsend experiment in gedachten heeft. En bereid bent om uw onderzoeksaanpak en analysemethode vóóraf in detail vast te leggen, in samenspraak met onze redactie en de methodologen die ons adviseren.
BELANGRIJK: Ook projecten waar vertrouwelijkheid aan de orde is (zoals patiëntenonderzoek, of patentgevoelig onderzoek) zijn welkom. Als kwaliteitskrant zijn we gewend discreet met vertrouwelijke informatie om te gaan en afspraken te maken over wat er wel en niet ‘voor de krant’ is.
De eerste stap: aanmelden
De eerste stap bestaat uit een ordinaire, korte ‘pitch’, die u VOOR 15 JANUARI opstuurt aan warewetenschap@volkskrant.nl.
Deze pitch hoeft nog géén gedetailleerde informatie te bevatten. Het gaat ons om een algemene indruk van het onderwerp, de geschiktheid en de ‘afzender’ – we mikken op een diverse samenstelling van de projecten die we gaan volgen.
We selecteren daarbij zoals journalisten altijd selecteren: is dit onderzoek iets voor onze lezers? Is er maatschappelijke relevantie, of kun je van dit onderzoek een belangrijke ‘andere kijk’ verwachten?
Een goede tegenwerping kwam op Twitter van een zekere @Ebsje. Ik citeer:
‘Dat komt over als yet another popularity contest. Men moet ‘pitchen’. Bang dat populaire onderzoeken voorrang krijgen. Een journalistiek ‘irrelevant’ onderzoek krijgt waarschijnlijk geen kans, journalistiek relevant (lees ‘smeuïg’) onderzoek wel. Which brings us back to Stapel en zijn mediagenieke onderzoeken.’
Ten dele is dat waar. Onderzoek dat ‘alleen voor specialisten’ is, maakt minder kans dan onderzoek dat voor de lezers van de Volkskrant interessant is.
Maar zoals ik @Ebsje op Twitter antwoordde: ook in een ideale wereld blijven kranten kranten. Vakbladen zijn er om af te wegen of een onderzoek ‘wetenschappelijk belangrijk’ is, wij beoordelen of een onderzoek ‘belangrijk voor onze lezers’ is.
Dat is overigens wél iets anders dan ‘smeuïg, mediageniek’ onderzoek. Als krant die wetenschap serieus neemt, schrijven we ook over wetenschapsinhoudelijke onderwerpen, zoals medische behandelingen, het klimaat, evolutie, quantummechanica of sterrenkunde.
Het gaat ons erom of onze wetenschappelijk geïnteresseerde, maar algemene lezers een onderwerp boeiend genoeg vinden.
De tweede stap: selectie en afspraken
Uit de aanmeldingen willen we enkele onderzoeksvoorstellen selecteren. Drie of vijf of tien – we zijn nog aan het bekijken wat bij ons de mogelijkheden zijn.
Met de selectie gaan we in gesprek. We willen dan graag de details van het onderzoek weten. Vooral willen we met u vastleggen hoe u uw analyse denkt te gaan doen. Dat wordt nogal technisch: welke cut-off-waarden gaat u gebruiken, welke outliers wilt u schrappen, welke p-waarden gaat u hanteren, welke subgroepen wilt u gebruiken, welke regressies wilt u uitvoeren en welke statistische technieken wilt u daarbij gebruiken? Ook willen we weten hoe en waar u uw ruwe data wilt onderbrengen: een voorwaarde voor deelname!
Eigenlijk nodigen we u uit om uw onderzoek alvast ‘droog’ te verrichten, zonder metingen. Daarbij laten we ons bijstaan door methodologen ‘uit het veld’. Daarna leggen we het gedetailleerde protocol vast, met het oog op de concurrentie waarschijnlijk niet openbaar.
Liefst ronden we deze fase af met een artikel in de krant, maar dat zal uiteraard afhangen van de uitkomst van onze besprekingen en de vraag of er vertrouwelijkheid in het geding is.
Ook ónze beloftes zullen we in deze fase goed vastleggen. Wanneer en hoe eindigt het project af? Hoe gaan we om met vertrouwelijke informatie? Uiteraard moeten we hierover duidelijke afspraken maken.
De derde stap: het lange wachten
We beseffen ons terdege dat het meeste onderzoek jaren duurt. We denken nog na hoe we deze fase van ‘winterslaap’ doorkomen.
In elk geval zullen we op gezette tijden contact met u zoeken – en uiteraard kan dat omgekeerd ook. Maar wat we in deze tijd precies ‘met elkaar doen’, is nu nog even een open vraag en zal deel uitmaken van het overleg met de deelnemers.
In elk geval denken we aan een website, een beetje naar model van het Volkskrant-project patiënt in beeld, dat ook is gericht op het langdurig volgen van een dossier (in dit geval: patiënten met een zeldzame ziekte).
De vierde stap: u bent zo ver
Als u uw metingen en analyse af heeft, komen we weer bij elkaar. We controleren dan of uw werkwijze voldoet aan het protocol dat we hebben afgesproken.
In het ideale geval is dat zo: we publiceren dan, ONGEACHT DE UITKOMST VAN UW ONDERZOEK, een groot redactioneel artikel van ~800 woorden over uw onderzoek in de krant.
Een andere mogelijkheid is dat u bent afgeweken van het protocol. In dat geval zullen we u vragen om alsnog een ‘schaduwstudie’ uit te voeren volgens protocol. Overleg zal moeten uitwijzen of we wel of niet overgaan tot publicatie van een artikel over uw onderzoek.
Het kan gebeuren dat uw onderzoek om wat voor reden dan ook is gestaakt, of een andere wending heeft genomen. Daarvoor hebben wij uiteraard begrip.
Of misschien ronden we uw afgebroken, mislukte of onvoltooide onderzoek (in overleg) eveneens af met een 800-woorden-artikel. Afgebroken onderzoek is óók onderdeel van ‘ware wetenschap’. Mislukking is ook een uitkomst die de wetenschap verder kan brengen.
Tenslotte: de afronding
Uiteindelijk willen we terugblikken op het project, in een afrondend overzichtsartikel in de krant. Een reflectie: hoe gaat ‘ware wetenschap’ in zijn werk? Is het te doen? En wat is de rol van de journalistiek in het geheel?
En wie weet wat er nog meer gebeurt. We zijn erg voor een ‘open-ended aanpak’. Als ‘warewetenschap’ uitgroeit tot, laten we zeggen, een televisieprogramma, een kledinglijn en een themapretpark, moet je daar geen nee tegen zeggen.
Laten we eerst maar eens bij het begin beginnen. Doet u mee?
