Validitet och reliabilitet: så bedömer du kvaliteten i din studie

Validitet handlar om huruvida du undersöker det som du säger att du undersöker. Reliabilitet handlar om huruvida resultaten blir desamma om undersökningen görs om, alltså om en ny mätning, ett nytt tillfälle eller en annan bedömare skulle ge samma resultat. De två begreppen är de vanligaste kriterierna för kvaliteten i en studie, och i kvalitativ forskning kompletteras eller ersätts de ofta av begrepp som trovärdighet och överförbarhet.

Vad är validitet och reliabilitet?

Skillnaden syns tydligast i ett exempel. En enkätfråga om hur många timmar studenterna läser per vecka kan ge ungefär samma svar varje gång du ställer den. Då är den reliabel. Men om studenterna svarar med hur mycket de tycker att de borde läsa, snarare än hur mycket de faktiskt läser, mäter frågan fel sak. Då brister validiteten.

Därför brukar man säga att reliabilitet är en förutsättning för validitet men ingen garanti för den. En mätning som ger olika svar varje gång kan inte heller mäta rätt sak, men en stabil mätning kan stabilt mäta fel sak.

Två böcker som många uppsatsskribenter möter är Bryman (2018), Samhällsvetenskapliga metoder, som går igenom både de kvantitativa begreppen och de kvalitativa alternativen, och Kvale och Brinkmann (2014), Den kvalitativa forskningsintervjun, som diskuterar vad validitet och reliabilitet kan betyda i en intervjustudie. Välj ett ramverk och håll dig till dess begrepp genom hela uppsatsen.

Intern och extern validitet

Validitet delas ofta upp i flera former. Bryman (2018) skiljer bland annat mellan följande:

• Mätningsvaliditet, även kallad begreppsvaliditet: mäter indikatorn verkligen det begrepp som den ska mäta? Frågan gäller främst enkäter och andra mätinstrument.
• Intern validitet: håller slutsatsen om ett orsakssamband? Om studenter som är med i en studiegrupp får bättre betyg, är det studiegruppen som gör skillnaden, eller är det de mest motiverade studenterna som väljer att gå med?
• Extern validitet: går resultaten att generalisera utöver de personer och den situation som du har undersökt? Det hänger nära ihop med hur urvalet gjordes.
• Ekologisk validitet: säger resultaten något om hur människor beter sig i sin vardag, eller bara om hur de svarar i en konstlad situation som ett experiment eller en enkät?

I en kvantitativ uppsats diskuterar du ofta alla fyra. I en kvalitativ intervjustudie är intern validitet i betydelsen orsakssamband sällan relevant, eftersom du inte prövar orsaker. Där handlar frågan snarare om huruvida dina tolkningar är väl underbyggda i materialet.

Reliabilitet och dess former

Reliabilitet betyder att en mätning är följdriktig och går att upprepa. Bryman (2018) beskriver tre aspekter:

• Stabilitet: ger mätningen samma resultat om du upprepar den med samma personer vid ett senare tillfälle, så länge inget har förändrats? Det prövas med ett så kallat test-retest-förfarande.
• Intern reliabilitet: hänger frågorna i ett index ihop, så att de mäter samma sak? Det mäts ofta med Cronbachs alfa.
• Interbedömarreliabilitet: kommer två personer som kodar eller bedömer samma material fram till samma sak?

Den tredje formen ligger närmast en kvalitativ uppsats. Om en kurskamrat kodar några av dina transkriptioner med samma kodschema och ni jämför resultatet, får du syn på koder som är oklart definierade. Kvale och Brinkmann (2014) tar dessutom upp reliabiliteten i själva transkriberingen: två personer som skriver ut samma inspelning kommer sällan fram till exakt samma text, och därför behöver du bestämma och redovisa hur du har transkriberat.

Kan en kvalitativ studie då vara reliabel? Det beror på vem du frågar. Vissa forskare använder validitet och reliabilitet även i kvalitativ forskning, men med en anpassad innebörd. Andra ersätter dem med egna kriterier, som i nästa avsnitt. Kvale och Brinkmann (2014) behåller orden men knyter dem till hela intervjuprocessen, från frågorna till transkriberingen och analysen. Oavsett ramverk handlar det om samma sak: en läsare ska kunna följa och granska hur du har kommit fram till dina resultat.

Trovärdighet och tillförlitlighet i kvalitativ forskning

Många kvalitativa forskare menar att validitet och reliabilitet är skapade för mätningar och passar dåligt för intervjuer och observationer. Yvonna Lincoln och Egon Guba föreslog därför i Naturalistic Inquiry (1985) andra kriterier. I Brymans (2018) svenska framställning heter det första av två grundläggande kriterier tillförlitlighet, och det består av fyra delkriterier som vart och ett motsvarar ett kvantitativt begrepp:

Bryman (2018) presenterar också ett andra kriterium, äkthet, som bland annat frågar om studien ger en rättvisande bild av de olika uppfattningar som finns i den miljö du har undersökt.

Ordet trovärdighet används ofta lösare i svenska uppsatser, som samlingsnamn för hela kvaliteten i en kvalitativ studie, och så gör även en del metodböcker, inte minst inom vårdvetenskap. Där kan tillförlitlighet i stället vara ett av delkriterierna. Om du följer Bryman bör du däremot hålla isär samlingsbegreppet tillförlitlighet och delkriteriet trovärdighet. Vilket ramverk du väljer spelar mindre roll än att du anger vem du följer och använder begreppen konsekvent.

Generaliserbarhet och överförbarhet

Generaliserbarhet betyder att resultaten gäller fler än dem som du har undersökt. I en kvantitativ studie med ett slumpmässigt urval kan du generalisera statistiskt till populationen, inom de felmarginaler som urvalet ger.

En kvalitativ studie med tio intervjuer kan inte generaliseras statistiskt, och det är inte heller syftet. Kvale och Brinkmann (2014) skiljer mellan statistisk, naturalistisk och analytisk generalisering. Naturalistisk generalisering bygger på personlig erfarenhet: läsaren känner igen sig och drar egna slutsatser. Analytisk generalisering innebär att du argumenterar för i vilken mån resultaten kan säga något om en annan situation, utifrån likheter och skillnader mellan situationerna.

Lincoln och Gubas överförbarhet lägger i stället bedömningen hos läsaren. Du kan inte själv avgöra om resultaten gäller någon annanstans, men du kan beskriva deltagarna, miljön och sammanhanget så noga att läsaren kan bedöma det. Skriv därför aldrig bara att studien ”inte är generaliserbar” och lämna det där. Säg vilken sorts generalisering du gör anspråk på och vilken du inte gör.

Respondentvalidering

Respondentvalidering betyder att deltagarna får ta del av ditt material eller dina tolkningar och säga om de känner igen sig. Det kan gälla transkriptionen av deras egen intervju, en sammanfattning av vad de sa eller ett utkast till dina tolkningar. Bryman (2018) räknar det som ett sätt att stärka trovärdigheten.

Metoden har ändå gränser, och Bryman (2018) pekar själv på flera. Deltagare kan reagera defensivt eller vilja stryka formuleringar som de ångrar, och de kan sällan bedöma en teoretisk analys som är skriven för en akademisk läsare. Bestäm därför i förväg vad deltagarna ska få se och vad du gör om de inte håller med, och redovisa det i metodkapitlet.

Respondentvalidering kräver ett material som deltagarna kan läsa. En noggrann transkription med tydliga talare är grunden både för det och för att en examinator ska kunna följa dina tolkningar tillbaka till vad som faktiskt sades. Kontrollera först lärosätets regler: rösten gör deltagarna identifierbara, och Spirelight erbjuder inget personuppgiftsbiträdesavtal. Om ditt lärosäte tillåter det kan du transkribera dina intervjuer automatiskt, men lyssna igenom utkastet och rätta det innan du skickar något till deltagarna.

Så skriver du om kvaliteten i metoddiskussionen

Kvalitet är inget du lägger till i efterhand, men det är i metoddiskussionen som du visar hur du har arbetat med den. Den här ordningen fungerar för de flesta uppsatser:

1. 1

   Välj ramverk och säg varför

   Ange om du använder validitet och reliabilitet eller tillförlitlighet med dess delkriterier, och vem du följer, till exempel Bryman (2018) eller Kvale och Brinkmann (2014). Valet ska passa din metod.
2. 2

   Gå igenom kriterierna ett i taget

   Ta varje kriterium för sig och beskriv vad du konkret gjorde för att stärka det, till exempel respondentvalidering, en kurskamrat som kodade en del av materialet eller en noggrann beskrivning av urvalet.
3. 3

   Redovisa processen öppet

   Beskriv urval, intervjuguide, transkriptionsregler och analysens steg så noga att någon annan kan följa dem. Lägg intervjuguiden och gärna ett utdrag ur kodschemat i en bilaga.
4. 4

   Reflektera över din egen roll

   Säg vilken förförståelse du hade, hur den kan ha påverkat intervjuerna och tolkningarna och vad du gjorde för att pröva dina tolkningar mot materialet.
5. 5

   Var ärlig om begränsningarna

   Nämn det som försvagar studien och vad det betyder för resultaten. En begränsning som du själv har sett och förklarat gör ett bättre intryck än en som opponenten får peka ut.

Hur metoddiskussionen passar in i resten av kapitlet ser du i guiden om hur du skriver diskussion och slutsats.

Påhittat exempel: kvalitetsavsnittet i en intervjustudie

Uppsatsen är påhittad. Den bygger på åtta semistrukturerade intervjuer med gymnasielärare om hur de använder digitala verktyg vid bedömning, och den följer de fyra delkriterier som Bryman (2018) beskriver.

Lägg märke till att avsnittet inte bara räknar upp kriterierna. Varje delkriterium följs av något som studenten faktiskt gjorde, och begränsningen i överförbarhet förklaras i stället för att döljas. Avsnittet håller sig också till ett ramverk och blandar inte in begrepp från ett annat.