Validiteit en betrouwbaarheid: uitleg, soorten en voorbeelden voor je scriptie

Validiteit gaat over de vraag of je meet wat je wilt meten en of je conclusies kloppen. Betrouwbaarheid gaat over de vraag of je resultaten niet van toeval afhangen: levert hetzelfde onderzoek, op dezelfde manier uitgevoerd, vergelijkbare uitkomsten op? Het zijn twee belangrijke kwaliteitscriteria voor onderzoek, en in je methodesectie laat je zien hoe je met allebei bent omgegaan.

Wat zijn validiteit en betrouwbaarheid?

Nel Verhoeven geeft in Wat is onderzoek? (2022) twee korte definities. Betrouwbaarheid is ‘de mate waarin onderzoek vrij is van toevallige fouten’, validiteit ‘de mate waarin onderzoek vrij is van systematische fouten’. Een toevallige fout verschilt per keer: een respondent die een vraag verkeerd leest, of een interview in een rumoerige kantine. Een systematische fout wijst steeds dezelfde kant op: een vraag die sociaal wenselijke antwoorden uitlokt, of een steekproef met alleen de meest betrokken studenten. Herhaal je het onderzoek, dan valt een toevallige fout anders uit, maar een systematische fout komt gewoon terug.

Voor validiteit kom je ook het woord geldigheid tegen, bijvoorbeeld in het Basisboek kwalitatief onderzoek van Baarda e.a. (2021). Het betekent hetzelfde. In een scriptie gebruik je de begrippen op twee niveaus: voor je meetinstrument, zoals een vragenlijst of topiclijst, en voor je onderzoek als geheel, van steekproef tot conclusie.

Interne, externe en begripsvaliditeit

Er bestaan veel soorten validiteit. Verhoeven (2022) licht er drie uit:

• Interne validiteit: kun je de juiste conclusies trekken? Vooral bij een verklarende vraag gaat het erom of het verband dat je vindt echt komt door de oorzaak die je noemt. Stel dat studenten die een bijlescursus volgen hogere cijfers halen. Misschien komt dat door de cursus, maar misschien schreven vooral gemotiveerde studenten zich in. Zolang je die tweede verklaring niet kunt uitsluiten, is de interne validiteit zwak.
• Begripsvaliditeit: meet je wat je wilt meten? Wil je studiestress onderzoeken en vraag je alleen naar het aantal studie-uren per week, dan meet je iets anders. Begripsvaliditeit begint bij je operationalisatie: hoe vertaal je een begrip uit de theorie naar vragen of observaties?
• Externe validiteit: voor wie gelden je resultaten? Baarda e.a. (2021) omschrijven het als de vraag ‘in welke mate kun je de onderzoeksresultaten generaliseren naar de beoogde populatie?’ Verhoeven onderscheidt statistische generalisatie, met een representatieve steekproef en een statistische toets, van inhoudelijke generalisatie: je gaat na of je resultaten bruikbaar zijn in vergelijkbare situaties die je niet hebt onderzocht.

In een kwalitatieve interviewstudie toets je meestal geen oorzaken. Interne validiteit gaat daar vooral over de vraag of je interpretaties kloppen met wat je deelnemers bedoelden. Externe validiteit gaat dan over inhoudelijke generalisatie: acht interviews zeggen niets over een populatie, maar wel iets over vergelijkbare situaties, als je de context goed beschrijft.

Betrouwbaarheid: test-hertest, interbeoordelaars en interne consistentie

Betrouwbaarheid betekent dat je onderzoek herhaalbaar is: wie het op dezelfde manier opnieuw doet, komt tot vergelijkbare resultaten. Je kunt dat op drie manieren nagaan.

• Test-hertest: dezelfde mensen vullen dezelfde vragenlijst na een tijd opnieuw in. Is er intussen niets veranderd, dan horen de antwoorden ongeveer gelijk te zijn. Kies de tussenpoos met zorg: te kort en mensen onthouden hun antwoorden, te lang en er kan echt iets veranderd zijn.
• Interbeoordelaarsbetrouwbaarheid: twee mensen beoordelen of coderen hetzelfde materiaal onafhankelijk van elkaar en vergelijken de uitkomst. De overeenstemming druk je uit in een percentage of in Cohens kappa. Hoe je dat bij interviews aanpakt, lees je in de gids over coderen.
• Interne consistentie: meet je één begrip met meerdere vragen, zoals een schaal voor studiestress, dan horen die vragen samen te hangen. Daarvoor bereken je meestal Cronbachs alfa. Welke waarde voldoende is, staat niet voor elk onderzoek vast. Volg je methodenboek en vraag je begeleider wat er in jouw opleiding gebruikelijk is.

Validiteit en betrouwbaarheid: het verschil

Het verschil zie je het snelst als je ze naast elkaar zet:

Een meting kan betrouwbaar zijn zonder valide te zijn. Een weegschaal die elke keer precies twee kilo te veel aanwijst, geeft bij herhaling hetzelfde resultaat, maar nooit het juiste. Zo kan ook een vragenlijst stabiel iets anders meten dan je bedoelt. Andersom gaat het niet: een meting die bij elke herhaling iets anders oplevert, kan ook niet zuiver meten wat je bedoelt. Verhoeven (2022) behandelt betrouwbaarheid daarom als voorwaarde voor validiteit.

Kwaliteit in kwalitatief onderzoek: de criteria van Lincoln en Guba

Een open interview kun je niet precies herhalen. Op een ander moment of met een andere interviewer wordt het een ander gesprek. Veel kwalitatieve onderzoekers gebruiken daarom aangepaste criteria. De bekendste komen van Yvonna Lincoln en Egon Guba, die in Naturalistic Inquiry (1985) vier criteria voorstelden waarmee je laat zien dat je bevindingen te vertrouwen zijn (trustworthiness). Korstjens en Moser zetten ze met de bijbehorende strategieën op een rij in een praktisch artikel in het European Journal of General Practice (2018):

Let op het woord betrouwbaarheid. In dit rijtje staat het voor dependability, de consistentie van je onderzoeksproces, en niet voor test-hertest. Zet daarom de Engelse term erbij. Kies ook één set begrippen voor je hele scriptie: validiteit en betrouwbaarheid zoals je methodenboek ze uitlegt, of de vier criteria van Lincoln en Guba. Wie de sets door elkaar gebruikt, maakt het een beoordelaar moeilijk.

Gebruik je meer dan één bron of methode om hetzelfde verschijnsel te bekijken, dan versterkt dat de geloofwaardigheid. Hoe dat werkt, lees je in de gids over triangulatie.

Member check en audit trail in de praktijk

Bij een member check leg je je gegevens, categorieën of interpretaties terug bij de mensen van wie ze komen. Dat kan een transcript van hun eigen interview zijn, een samenvatting of je voorlopige thema’s. Kies een vorm die je deelnemers kunnen beoordelen: Korstjens en Moser (2018) wijzen erop dat een schriftelijke member check niet altijd mogelijk is bij deelnemers die moeite hebben met lezen. Spreek vooraf af wat je doet als iemand het niet eens is met je interpretatie, en zet in je informatiebrief dat je deelnemers materiaal terugstuurt.

Een audit trail is het spoor van je onderzoek: een volledig verslag van je beslissingen, van werving tot conclusie. Verhoeven noemt een onderzoekslogboek als manier om precies vast te leggen wat je onderzoekt, en zo’n logboek is ook een goede basis voor een audit trail. Houd daarin bij:

• elke beslissing met datum en reden, zoals een vraag die je na het proefinterview schrapt;
• de versies van je topiclijst en je codeboom;
• je memo’s en wat je met je begeleider besprak;
• hoe je de data opslaat en wanneer je ze pseudonimiseert.

De basis van je audit trail zijn je transcripten. Werk je interviews letterlijk uit als je methode daarom vraagt, en zet bij elk citaat het interview en de tijdcode, bijvoorbeeld (R4, 00:18:20). Dan kan je begeleider elk citaat terugvinden. Check eerst de regels van je onderwijsinstelling: een stem maakt deelnemers herkenbaar, en Spirelight biedt geen verwerkersovereenkomst aan. Mag het van je instelling, dan maak je met Spirelight letterlijke transcripten met tijdcodes. ‘Word for word’ en ‘Cleaned up’ geven bij Nederlandstalige opnames hetzelfde concept: je verbetert het terwijl je meeluistert, controleert stopklanken als ‘uhm’ en bewaart de Word-export bij je audit trail.

Validiteit en betrouwbaarheid in je methodesectie

Kwaliteit voeg je niet achteraf toe. In je methodesectie laat je zien hoe je er tijdens je onderzoek aan hebt gewerkt. Deze volgorde past bij de meeste scripties:

1. 1

   Kies je begrippen en noem je bron

   Zeg of je validiteit en betrouwbaarheid gebruikt of de criteria van Lincoln en Guba, en op welk handboek je je baseert. Houd die keuze in de hele tekst vast.
2. 2

   Beschrijf je dataverzameling navolgbaar

   Hoe je je respondenten koos, welke vragen je stelde en hoe je opnam en uitwerkte. Topiclijst of vragenlijst gaan in de bijlage.
3. 3

   Laat zien hoe je consequent analyseerde

   Je codeboom of codeerschema, een tweede codeur of het gesprek met je begeleider, en hoe vaak je je codes herzag.
4. 4

   Noem wat je deed voor validiteit of geloofwaardigheid

   Bijvoorbeeld een proefinterview, een member check of meer dan één bron. Schrijf ook op wat het opleverde.
5. 5

   Wees eerlijk over generaliseren

   Zeg voor wie je resultaten gelden en voor wie niet. Beschrijf de context zo dat de lezer zelf kan beoordelen of ze overdraagbaar zijn.
6. 6

   Reflecteer op je eigen rol en noem de beperkingen

   Wat breng je zelf mee, hoe ging je daarmee om, en welke zwakke plekken heeft je onderzoek? Een eerlijke beperking overtuigt meer dan een vage.

Verzonnen voorbeeld: kwaliteit in een interviewstudie

Het onderzoek, de deelnemers en het citaat hieronder zijn verzonnen. Het voorbeeld laat zien hoe je de criteria van Lincoln en Guba in één scriptie uitwerkt.

Noor gebruikt één set begrippen, onderbouwt elk criterium met iets wat ze echt deed en claimt niet meer dan acht interviews kunnen dragen. Dat is precies wat een beoordelaar in je methodesectie wil terugzien.