Reliabiliteetti ja validiteetti: tutkimuksen luotettavuus selkeästi

Reliabiliteetti tarkoittaa tutkimustulosten toistettavuutta ja mittarin johdonmukaisuutta: kun mittaus toistetaan samoissa oloissa, tulos on sama. Validiteetti tarkoittaa pätevyyttä eli sitä, että tutkimuksessa on tutkittu sitä, mitä on luvattu, ja mittari mittaa sitä, mitä sen on tarkoitus mitata. Ne ovat määrällisen tutkimuksen luotettavuuden peruskäsitteet, ja laadullisessa tutkimuksessa luotettavuutta arvioidaan usein toisin käsittein.

Mitä ovat reliabiliteetti ja validiteetti?

Jouni Tuomi ja Anneli Sarajärvi kiteyttävät teoksessa Laadullinen tutkimus ja sisällönanalyysi (Tammi, uudistettu laitos 2018), että menetelmäkirjallisuudessa luotettavuutta käsitellään yleensä validiteetin ja reliabiliteetin käsittein. Validiteetti tarkoittaa heillä sitä, että tutkimuksessa on tutkittu sitä, mitä on luvattu, ja reliabiliteetti tutkimustulosten toistettavuutta. Sirkka Hirsjärven, Pirkko Remeksen ja Paula Sajavaaran Tutki ja kirjoita (Tammi, 15. uudistettu painos 2009) käyttää muotoja reliaabelius ja validius, ja molempia sanapareja näkee opinnäytetöissä.

Tietoarkiston KvantiMOTV-menetelmäopetusaineisto tarkentaa määritelmiä mittarin näkökulmasta. Validi mittari mittaa juuri sitä, mitä sen on tarkoitus mitata, tarpeeksi kattavasti. Reliaabeli mittari on johdonmukainen: satunnaisvirheet vaikuttavat siihen vähän, ja se mittaa kokonaisuudessaan samaa asiaa. Aineisto huomauttaa myös, että arkikielen luotettavuus vastaa tutkimuksen kielessä validiteettia.

Reliabiliteetti ja validiteetti: erot

Voiko tutkimus olla reliaabeli mutta ei validi? Voi. KvantiMOTV-aineiston mukaan mittari voi mitata väärääkin asiaa hyvin johdonmukaisesti. Kysely, joka on tarkoitettu mittaamaan työuupumusta mutta mittaa oikeastaan kiirettä, voi antaa toistettaessa samat tulokset. Siksi mittarin on oltava sekä reliaabeli että validi. Toisin päin se ei onnistu: jos mittari antaa sattumanvaraisia tuloksia, se ei voi mitata tarkasti sitäkään, mitä sen pitäisi. Reliabiliteetti on siis validiteetin välttämätön mutta ei riittävä ehto.

Validiteetin lajit

Validiteetille on kirjallisuudessa annettu monia erityisnimiä, joista KvantiMOTV-aineisto mainitsee esimerkiksi nämä:

• Sisällöllinen validiteetti: mittari kattaa sisällöllisesti sen, mitä sillä halutaan mitata. Opiskelijoiden hyvinvointia mittaava kysely, joka kysyy vain unesta, jättää paljon pois.
• Rakennevaliditeetti: mittari vastaa teoreettista käsitettä, jota sen on tarkoitus kuvata.
• Ennuste- ja samanaikaisvaliditeetti: mittarin tuloksia verrataan kriteerimuuttujaan, esimerkiksi valintakokeen pisteitä myöhempään opintomenestykseen. Näitä kutsutaan yhdessä myös kriteerivaliditeetiksi.

Koko tutkimuksen tasolla puhutaan lisäksi sisäisestä ja ulkoisesta validiteetista. Sisäinen validiteetti koskee sitä, pitävätkö tutkimuksen syy- ja seurauspäätelmät, ulkoinen sitä, voiko tulokset yleistää tutkittua joukkoa laajemmin. KvantiMOTV-aineisto korostaa, että lähtökohdiltaan virheellinen tutkimusasetelma heikentää koko tutkimuksen validiteettia ja että validi mittari on onnistuneen operationalisoinnin tulos. Validiteetille ei juuri voi laskea yhtä lukua, joten se osoitetaan perustelemalla käsitteiden määrittely ja mittarien valinta.

Reliabiliteetti: pysyvyys ja johdonmukaisuus

KvantiMOTV-aineisto erottaa reliabiliteetissa kaksi osatekijää. Pysyvyys eli stabiliteetti tarkoittaa, että mittari antaa saman tuloksen eri mittauskerroilla. Sitä tutkitaan toistomittauksella, jossa aikaväli valitaan huolella: tarpeeksi pitkä, ettei vastaaja muista vastauksiaan, mutta tarpeeksi lyhyt, ettei asia ole ehtinyt oikeasti muuttua. Johdonmukaisuus eli konsistenssi tarkoittaa, että useista väittämistä koostuvan mittarin osat mittaavat samaa asiaa.

Johdonmukaisuutta arvioidaan tavallisimmin Cronbachin alfalla, joka lasketaan väittämien välisten korrelaatioiden ja väittämien määrän perusteella. Alfa kertoo mittarin sisäisestä johdonmukaisuudesta, mutta se ei todista, että väittämät mittaavat yhtä ja samaa ilmiötä: KvantiMOTV-aineiston mukaan keskenään voimakkaasti korreloivat väittämät voivat mitata täysin eri asioita. Alfaa voi nostaa poistamalla väittämiä, mutta silloin mittari voi menettää kattavuutensa ja validiteetti kärsiä. Älä ota riittävän alfan rajaa sääntönä, vaan raportoi arvo ja tulkitse se menetelmäkirjallisuuden avulla yhdessä ohjaajasi kanssa.

Jos käytät valmista mittaria, kerro, miten sen reliabiliteettia ja validiteettia on tutkittu aiemmin, ja laske alfa myös omasta aineistostasi. KvantiMOTV-aineiston mukaan valmiista mittarista pitää selvittää myös, mitä se tarkalleen mittaa ja mille kohderyhmälle se on alun perin tehty.

Laadullisen tutkimuksen luotettavuus

Laadullisessa tutkimuksessa reliabiliteetin ja validiteetin käsitteitä käytetään varoen. Tuomi ja Sarajärvi toteavat, että niiden käyttöä on kritisoitu pääasiassa siksi, että ne ovat syntyneet määrällisen tutkimuksen piirissä ja vastaavat lähinnä sen tarpeita. Monissa oppaissa niiden hylkäämistä tai korvaamista ehdotetaankin, mutta Tuomi ja Sarajärvi muistuttavat Eskolaan ja Suorantaan viitaten, etteivät sanat sinänsä ole tärkeitä vaan se, millaisen sisällön niille antaa.

Usein käytettyjä ovat Yvonna Lincolnin ja Egon Guban teoksessa Naturalistic Inquiry (Sage 1985) esittämät kriteerit, jotka on tarkoitettu määrällisen tutkimuksen kriteerien vastineiksi. Niiden suomennokset vaihtelevat. Tuomi ja Sarajärvi vertailevat taulukossa neljän suomalaisen lähteen käännöksiä. Alla käytetyt termit uskottavuus, siirrettävyys ja riippuvuus ovat taulukossa Parkkilan ym. (2000). Eskolalla ja Suorannalla kolmen ensimmäisen kriteerin vastineet ovat uskottavuus, siirrettävyys ja varmuus, ja niiden määritelmät poikkeavat osin, joten tarkista ne valitsemastasi lähteestä. Neljännen kriteerin suomennos vahvistettavuus on yleinen hoitotieteessä: Kansteen ym. (2022) mukaan sisällönanalyysia käyttäneissä Hoitotiede-lehden artikkeleissa yleisimmin käytetyt kriteerit olivat uskottavuus, vahvistettavuus ja siirrettävyys. Tuomi ja Sarajärvi huomauttavat, että vertailun käsitteitä suositellaan käytettäviksi juuri sellaisissa laadullisissa tutkimuksissa, joissa on käytetty sisällönanalyysia.

Valitse yksi termistö, kerro, mihin lähteeseen se perustuu, ja käytä sitä johdonmukaisesti. Tuomi ja Sarajärvi mainitsevat luotettavuuden parantamisen keinoina myös sen, että tutkimukseen osallistuneet arvioivat tulosten osuvuutta, sekä yhdysvaltalaisessa perinteessä käytetyn kahden luokittelijan yksimielisyyskertoimen. He kuitenkin muistuttavat, että osallistujien arvioinnin käyttö on perusteltava ja että ulkopuolisen luokittelijan saaminen on työlästä, koska laadullinen analyysi vie paljon aikaa. Kriteerien paikkaa laadullisen tutkimuksen kokonaisuudessa käsittelee opas laadullisesta tutkimuksesta.

Triangulaatio

Triangulaatiolla tarkoitetaan useiden menetelmien, tutkijoiden, aineistojen tai teorioiden yhdistämistä samassa tutkimuksessa. Tietoarkiston KvaliMOTV-aineisto esittelee Norman Denzinin neljä päätyyppiä Tuomen ja Sarajärven sekä Eskolan ja Suorannan mukaan:

• Aineistotriangulaatio: useita aineistoja tai tiedonantajaryhmiä, esimerkiksi hoitajien ja esihenkilöiden haastattelut.
• Tutkijatriangulaatio: useampi tutkija osallistuu aineiston keruuseen tai analyysiin.
• Teoriatriangulaatio: aineistoa tulkitaan useasta teoreettisesta näkökulmasta.
• Menetelmätriangulaatio: aineistoa kerätään useammalla menetelmällä, esimerkiksi kyselyllä ja haastattelulla.

Useaa tyyppiä yhdistävää tutkimusta kutsutaan monitriangulaatioksi. Triangulaatio voi lisätä luotettavuutta, koska yksi menetelmä näyttää ilmiön vain yhdestä suunnasta. Eri menetelmien taustalla voi kuitenkin olla yhteensopimattomia käsityksiä ihmisestä, ja ne voivat tuottaa ristiriitaisia tuloksia, jotka pitää pohtia eikä piilottaa. KvaliMOTV-aineiston mukaan triangulaatio on työlästä, eikä sitä opinnäytetyöltä yleensä vaadita. Tutkijatriangulaatio sopii aineiston mukaan kuitenkin hyvin opinnäytetöihinkin, esimerkiksi silloin, kun työ tehdään yhdessä toisen opiskelijan kanssa. Braun ja Clarke (2023) kysyvät lisäksi, sopivatko triangulaatio ja tulosten tarkistuttaminen osallistujilla lainkaan refleksiiviseen temaattiseen analyysiin, joten valitse keinot oman menetelmäsi lähtökohtien mukaan.

Läpinäkyvyys: litteraatit ja tutkimuspäiväkirja

Tuomen ja Sarajärven mukaan tutkija on lukijoilleen velkaa uskottavan selityksen aineiston kokoamisesta ja analysoinnista. Laadullisessa tutkimuksessa luotettavuus osoitetaan siis dokumenteilla. Säilytä ainakin:

• päätökset päivämäärineen ja syineen, esimerkiksi rungon muutos esihaastattelun jälkeen;
• haastattelurungon versiot ja analyysitaulukon kehitysvaiheet;
• analyysimuistiinpanot ja ohjaajan kanssa sovitut ratkaisut;
• peitenimin pseudonymisoidut litteraatit, jotka on tarkistettu tallennetta vasten.

KvaliMOTV-aineiston mukaan tallentaminen voi lisätä luotettavuutta, koska tallenteen avulla myös muut kuin haastattelija voivat tarkastella aineistoa, jos tutkimustiedote sen sallii. Litteroinnin tarkkuus valitaan menetelmän mukaan: vuorovaikutuksen analyysi vaatii tarkat merkinnät, kun taas sisällönanalyysiin riittää usein peruslitterointi. Tarkista ensin korkeakoulusi säännöt: ääni tunnistaa puhujan, eikä Spirelight tarjoa henkilötietojen käsittelysopimusta. Jos korkeakoulusi sallii sen, voit tehdä Spirelightissa sanatarkat litteraatit puhujineen ja aikaleimoineen, korjata ne tallennetta kuunnellen, tarkistaa täytesanat ja viedä ne Wordiin tutkimuspäiväkirjan rinnalle.

Luotettavuuden arviointi menetelmäluvussa

Tuomen ja Sarajärven mukaan laadullisen tutkimuksen luotettavuuden arvioinnista ei ole yksiselitteisiä ohjeita, ja tutkimusta arvioidaan kokonaisuutena, jossa osien pitää olla johdonmukaisessa suhteessa toisiinsa. Lukijalle on annettava riittävästi tietoa siitä, miten tutkimus on tehty, jotta hän voi arvioida tuloksia. Heidän tarkistuslistansa pohjalta menetelmäluku voi edetä näin:

1. 1

   Tutkimuksen kohde ja tarkoitus

   Kerro, mitä ilmiötä tutkit ja miksi. Kohde on ilmiö, ei tutkittavien joukko.
2. 2

   Omat sitoumuksesi

   Miksi aihe on sinulle tärkeä, mitä oletit aloittaessasi ja miten ajatuksesi muuttuivat.
3. 3

   Aineistonkeruu ja tutkittavat

   Miten ja missä ajassa aineisto kerättiin, millä perusteella tutkittavat valittiin ja miten heihin otettiin yhteyttä. Varmista, ettei kenenkään henkilöllisyys paljastu esimerkiksi ammatin tai paikkakunnan perusteella.
4. 4

   Analyysi

   Miten aineisto analysoitiin ja miten päädyit tuloksiin ja johtopäätöksiin. Liitä analyysitaulukko tai sen ote.
5. 5

   Luotettavuus ja eettisyys

   Valitsemasi kriteerit lähteineen sekä perustelu sille, miksi tutkimus on eettisesti kestävä ja raportti luotettava.
6. 6

   Rajoitukset

   Mitä aineiston koko ja valinta tarkoittavat johtopäätöksille. Konkreettinen rajoitus vakuuttaa enemmän kuin yleinen luettelo.

Käytä samoja käsitteitä koko työn ajan: reliabiliteettia ja validiteettia, jos tutkimus on määrällinen, tai valitsemiasi laadullisen tutkimuksen kriteerejä. Määrällisessä työssä raportoi lisäksi mittarien lähteet, operationalisointi ja esimerkiksi alfan arvot omasta aineistostasi.

Keksitty esimerkki: luotettavuus laadullisessa opinnäytetyössä

Esimerkki on keksitty ja jatkaa samaa tutkimusta kuin muut oppaat. Aino tekee sairaanhoitajaopintojensa (AMK) opinnäytetyötä kotihoidon uusien hoitajien perehdytyksestä. Aineistona on kuusi teemahaastattelua, jotka on analysoitu aineistolähtöisellä sisällönanalyysilla. Aino käyttää Lincolnin ja Guban kriteerejä, kertoo suomennosten lähteet eikä puhu reliabiliteetista.

Aino käyttää yhtä termistöä, tukee jokaista kriteeriä jollakin, mitä hän todella teki, eikä väitä enempää kuin kuusi haastattelua sallii. Aineiston riittävyyden perustelemisesta kerrotaan oppaassa saturaatiosta.