Gütekriterien: Objektivität, Reliabilität und Validität erklärt

Gütekriterien sind Maßstäbe, an denen du die Qualität einer Messung oder einer ganzen Studie beurteilst. In der quantitativen Forschung sind das vor allem Objektivität, Reliabilität und Validität; die qualitative Forschung hat eigene Kriterien entwickelt, etwa die intersubjektive Nachvollziehbarkeit.

Was sind Gütekriterien?

Jede empirische Arbeit behauptet etwas über die Welt: dass Studierende mit Nebenjob gestresster sind, dass Lerngruppen motivieren oder dass Befragte ein Thema auf eine bestimmte Art deuten. Gütekriterien beantworten die Frage, wie belastbar solche Aussagen sind. Sie prüfen nicht, ob dein Ergebnis interessant ist, sondern ob die Art, wie es zustande kam, Vertrauen verdient.

Die klassische Dreiteilung stammt aus der psychologischen Testtheorie. Lienert und Raatz (1998) beschreiben in ihrem Standardwerk Testaufbau und Testanalyse Objektivität, Reliabilität und Validität als Hauptgütekriterien eines Tests. Daneben kennen die Lehrbücher Nebengütekriterien wie Ökonomie, Normierung oder Nützlichkeit. Döring und Bortz (2016; neu bearbeitet als Döring 2023) wenden die Kriterien auf Fragebögen, Beobachtungen und ganze Untersuchungsdesigns an. Wenn deine Betreuerin nach „den Gütekriterien“ fragt, meint sie meist diese drei.

Für qualitative Studien passen diese Kriterien nur eingeschränkt. Ein Leitfadeninterview lässt sich nicht wie ein Test unter identischen Bedingungen wiederholen, und du als Interviewerin oder Interviewer bist selbst Teil des Erhebungsinstruments. Deshalb gibt es eigene Gütekriterien qualitativer Forschung, die weiter unten folgen.

Objektivität: unabhängig von der Person

Objektivität bedeutet, dass ein Ergebnis nicht davon abhängt, wer die Untersuchung durchführt, auswertet oder deutet. Zwei Forschende, die dasselbe Instrument bei denselben Personen einsetzen, sollten zum selben Ergebnis kommen. Lienert und Raatz (1998) unterscheiden drei Formen:

• Durchführungsobjektivität: Alle Teilnehmenden bekommen dieselben Instruktionen, dieselben Fragen in derselben Reihenfolge und möglichst dieselben Bedingungen. Ein Fragebogen mit schriftlicher Anleitung lässt sich hier leichter kontrollieren als ein Interview, in dem du spontan nachfragst.
• Auswertungsobjektivität: Die Rohdaten werden nach festen Regeln in Werte übersetzt. Bei geschlossenen Antworten ist das einfach. Bei offenen Antworten brauchst du ein Codierschema, das genau beschreibt, wann eine Antwort in welche Kategorie fällt.
• Interpretationsobjektivität: Aus denselben Werten werden dieselben Schlüsse gezogen, etwa weil es Normwerte oder vorab festgelegte Entscheidungsregeln gibt.

Für deine Arbeit heißt das: Je genauer du Ablauf, Instruktionen und Auswertungsregeln festlegst und dokumentierst, desto objektiver ist deine Untersuchung. Vollständige Objektivität erreicht keine Studie, aber du kannst zeigen, an welchen Stellen du sie gesichert hast.

Reliabilität: wie zuverlässig gemessen wird

Reliabilität ist die Zuverlässigkeit oder Messgenauigkeit eines Instruments. Ein reliabler Test liefert bei wiederholter Messung desselben Merkmals unter gleichen Bedingungen gleiche oder sehr ähnliche Werte. Die Reliabilität sagt noch nichts darüber, was gemessen wird. Sie sagt nur, wie wenig Zufallsfehler im Ergebnis steckt.

Es gibt mehrere Wege, sie zu schätzen:

• Retest-Reliabilität: Dieselben Personen bearbeiten denselben Test zweimal, mit zeitlichem Abstand. Hängen die beiden Messungen eng zusammen, ist das Instrument stabil. Das passt nur für Merkmale, die sich in der Zwischenzeit nicht verändern sollten.
• Paralleltest-Reliabilität: Zwei gleichwertige Fassungen eines Tests werden denselben Personen vorgelegt. So vermeidest du Erinnerungseffekte, brauchst aber zwei wirklich vergleichbare Versionen.
• Interne Konsistenz: Du prüfst, ob die Items einer Skala dasselbe Merkmal erfassen. Eine ältere Variante ist die Testhalbierung, das heute übliche Maß ist Cronbachs Alpha. Welcher Wert ausreicht, hängt von Zweck und Länge der Skala ab. Halte dich an dein Methodenlehrbuch und an die Erwartungen deines Fachs.
• Interrater-Reliabilität: Mehrere Personen bewerten oder codieren dasselbe Material unabhängig voneinander. Ihre Übereinstimmung zeigt, wie zuverlässig das Kategoriensystem ist. Diese Form spielt auch bei der inhaltsanalytischen Auswertung von Interviews eine Rolle.

Validität: Wird gemessen, was gemessen werden soll?

Validität ist die Gültigkeit einer Messung. Sie gibt an, ob ein Instrument tatsächlich das erfasst, was es erfassen soll. Ein Fragebogen zur Lernmotivation, der in Wahrheit vor allem misst, wie sozial erwünscht jemand antwortet, mag zuverlässig sein, ist aber nicht valide. Validität ist das wichtigste und zugleich das am schwersten nachzuweisende Gütekriterium.

Validität eines Messinstruments

• Inhaltsvalidität: Die Items decken das Konstrukt vollständig und angemessen ab. Sie wird meist argumentativ begründet, mit Theorie und Expertenurteilen, und nicht berechnet.
• Kriteriumsvalidität: Die Messwerte hängen mit einem unabhängig erhobenen Außenkriterium zusammen. Wird das Kriterium gleichzeitig erhoben, spricht man von Übereinstimmungsvalidität. Liegt es in der Zukunft, etwa bei der späteren Abschlussnote, spricht man von Vorhersagevalidität.
• Konstruktvalidität: Die Messung verhält sich so, wie es die Theorie über das Konstrukt erwarten lässt. Sie hängt mit verwandten Merkmalen zusammen (konvergente Validität) und kaum mit Merkmalen, die etwas anderes erfassen (diskriminante Validität).

Validität einer Untersuchung

Nicht nur ein Instrument, auch das Design einer Studie lässt sich auf Validität prüfen. Interne Validität liegt vor, wenn sich ein Ergebnis eindeutig auf die untersuchte Ursache zurückführen lässt und nicht auf Störvariablen. Ein Experiment mit zufälliger Zuteilung zu den Gruppen ist hier einer einmaligen Befragung überlegen. Externe Validität beschreibt, wie weit sich die Ergebnisse auf andere Personen, Situationen und Zeitpunkte übertragen lassen. Eine Online-Umfrage in einem einzigen Studiengang hat in der Regel eine geringe externe Validität, auch wenn sie sorgfältig gemacht ist.

Wie die drei Gütekriterien zusammenhängen

Die drei Kriterien bauen aufeinander auf. Ohne Objektivität ist keine hohe Reliabilität möglich: Wenn das Ergebnis von der auswertenden Person abhängt, schwankt es von Auswertung zu Auswertung. Ohne Reliabilität ist keine hohe Validität möglich: Ein Instrument, das bei jeder Messung etwas anderes anzeigt, kann das gemeinte Merkmal nicht treffen. Umgekehrt gilt das nicht. Objektivität garantiert keine Reliabilität, und Reliabilität garantiert keine Validität.

Ein Bild hilft beim Merken. Eine Küchenwaage, die jedes Mal genau 200 Gramm zu viel anzeigt, ist reliabel, denn sie misst sehr beständig. Valide ist sie nicht, denn das angezeigte Gewicht stimmt nie. Genauso kann eine Messung reliabel, aber nicht valide sein, etwa wenn eine Skala zuverlässig Selbstdarstellung statt Motivation erfasst.

Gütekriterien qualitativer Forschung

Qualitative Forschung arbeitet mit offenen Interviews, Beobachtungen oder Dokumenten. Sie will Sinn rekonstruieren, nicht Merkmale messen. Ein narratives Interview ist nicht standardisiert, und ein zweites Gespräch mit derselben Person verläuft anders als das erste. Daraus folgt aber nicht, dass qualitative Studien beliebig sein dürfen. Im deutschsprachigen Raum werden vor allem zwei Kataloge zitiert.

Steinkes Kernkriterien

Ines Steinke (1999) hat aus der Methodenliteratur sieben Kernkriterien zusammengestellt. Du wählst sie je nach Fragestellung und Methode aus und konkretisierst sie für deine Studie:

• Intersubjektive Nachvollziehbarkeit: Andere können deinen Forschungsprozess nachvollziehen, weil du ihn dokumentierst, in Gruppen interpretierst oder kodifizierte Verfahren anwendest.
• Indikation des Forschungsprozesses: Methode, Sampling, Transkriptionsregeln und Auswertung passen zum Gegenstand und zur Fragestellung.
• Empirische Verankerung: Deine Aussagen sind in den Daten begründet und mit Textstellen belegt.
• Limitation: Du prüfst und benennst, für welche Fälle und Kontexte deine Ergebnisse gelten.
• Kohärenz: Deine Ergebnisse sind in sich stimmig, und Widersprüche legst du offen.
• Relevanz: Fragestellung und Ergebnisse leisten einen Beitrag für Theorie oder Praxis.
• Reflektierte Subjektivität: Du reflektierst deine eigene Rolle, dein Vorwissen und deine Beziehung zu den Befragten.

Für die intersubjektive Nachvollziehbarkeit ist die Dokumentation das wichtigste Mittel. Dazu gehören dein Vorverständnis, die Erhebungssituation, die Transkriptionsregeln, die Daten selbst und die Auswertungsschritte. Die Grundlage bilden wörtliche Transkripte: Erst wenn jede zitierte Stelle mit Zeilennummer im Anhang steht, können Lesende prüfen, ob deine Deutung zum Gesagten passt. Prüf vorher die Regeln deiner Hochschule: Eine Stimme macht Teilnehmende identifizierbar, und Spirelight bietet keinen Auftragsverarbeitungsvertrag an. Wo deine Hochschule es erlaubt, kannst du deine Interviews transkribieren lassen, mit Sprechern und Zeitmarken, und den Entwurf beim Anhören korrigieren.

Mayrings sechs allgemeine Gütekriterien

Philipp Mayring (2016) nennt in seiner Einführung in die qualitative Sozialforschung sechs allgemeine Gütekriterien:

• Verfahrensdokumentation: Vorverständnis, Instrumente, Durchführung und Auswertung sind so genau beschrieben, dass der Prozess nachvollziehbar wird.
• Argumentative Interpretationsabsicherung: Deutungen werden begründet, und Alternativdeutungen werden geprüft.
• Regelgeleitetheit: Die Auswertung folgt festgelegten Schritten, die du nur begründet anpasst.
• Nähe zum Gegenstand: Du forschst möglichst nah an der Alltagswelt der Beteiligten und an ihren Anliegen.
• Kommunikative Validierung: Du besprichst Ergebnisse oder Deutungen mit den Befragten.
• Triangulation: Du verbindest unterschiedliche Datenquellen, Methoden, Theorien oder Forschende, um ein Ergebnis aus mehreren Richtungen zu prüfen. Mehr dazu im Ratgeber zur Triangulation.

In englischsprachigen Studien begegnet dir oft ein dritter Ansatz. Lincoln und Guba (1985) setzen den klassischen Kriterien Glaubwürdigkeit (credibility), Übertragbarkeit (transferability), Verlässlichkeit (dependability) und Bestätigbarkeit (confirmability) entgegen, zusammengefasst als trustworthiness. Welchen Katalog du wählst, hängt von deiner Methode und den Gepflogenheiten an deinem Institut ab. Wichtig ist, dass du dich festlegst und die Wahl begründest.

Gütekriterien im Methodenteil

Im Methodenteil zeigst du nicht, dass deine Studie perfekt ist, sondern wie du ihre Qualität gesichert hast und wo ihre Grenzen liegen. Diese Reihenfolge hat sich bewährt:

1. 1

   Den passenden Katalog wählen

   Quantitative Arbeiten orientieren sich an Objektivität, Reliabilität und Validität. Qualitative Arbeiten stützen sich auf Steinke, Mayring oder auf die Kriterien ihres Verfahrens. Nenne die Quelle, auf die du dich beziehst.
2. 2

   Jedes Kriterium an deine Studie binden

   Erkläre nicht allgemein, was Reliabilität ist, sondern was du für sie getan hast: welcher Pretest, welche Skala, welche Zweitcodierung.
3. 3

   Belege anführen

   Kennwerte wie Cronbachs Alpha nennst du bei der Beschreibung deiner Instrumente, bei mehreren Skalen in einer Tabelle. In qualitativen Arbeiten verweist du auf Leitfaden, Transkriptionsregeln und Codierleitfaden im Anhang.
4. 4

   Grenzen offen benennen

   Kleine Stichprobe, Selbstauskünfte, deine Nähe zum Feld: Was du selbst ansprichst, wirkt im Gutachten nicht wie ein übersehener Fehler.
5. 5

   In der Diskussion wieder aufgreifen

   Die Grenzen aus dem Methodenteil bestimmen, wie weit deine Schlussfolgerungen reichen. Verallgemeinere nicht über das hinaus, was dein Design trägt.

Erfundenes Beispiel: eine Interviewstudie zu Lerngruppen

Wie das konkret aussieht, zeigt eine erfundene Bachelorarbeit in Erziehungswissenschaft, die sich an Steinkes Kernkriterien orientiert.

Lena nennt Steinke (1999) als Bezugsrahmen und begründet, warum sie Retest-Reliabilität nicht beansprucht: Ein zweites Interview mit denselben Personen wäre ein neues Gespräch, keine Wiederholungsmessung. Genau diese Begründung zeigt den Gutachtenden, dass sie die Gütekriterien verstanden hat und nicht nur aufzählt.