Die 4 Arten der Validität im Forschungsdesign (+3 weitere zu berücksichtigende)

Die Schlussfolgerungen, die Sie aus Ihrer Forschung ziehen (sei es aus der Analyse von Umfragen, Fokusgruppen, experimentellem Design oder anderen Forschungsmethoden), sind nur dann nützlich, wenn sie gültig sind.

Wie „wahr“ sind diese Ergebnisse? Wie gut repräsentieren sie das, was Sie eigentlich zu studieren versuchen? Validität wird verwendet, um festzustellen, ob die Forschung das misst, was sie messen wollte, und um die Wahrhaftigkeit der Ergebnisse anzunähern.

Leider erstellen Forscher manchmal ihre eigenen Definitionen, wenn es darum geht, was als gültig gilt.

• In der quantitativen Forschung ist die Prüfung auf Validität und Reliabilität eine Selbstverständlichkeit.
• Einige Qualitätsforscher sind jedoch so weit gegangen zu behaupten, dass ihre Forschung nicht valide ist, selbst wenn sie die Notwendigkeit einiger qualifizierender Überprüfungen oder Maßnahmen in ihrer Arbeit anerkennen.

Das ist falsch. Validität ist immer wichtig – auch wenn sie in der qualitativen Forschung schwieriger zu bestimmen ist.

Die Gültigkeit zu missachten bedeutet, die Vertrauenswürdigkeit Ihrer Arbeit in Frage zu stellen und das Vertrauen anderer in ihre Ergebnisse in Frage zu stellen. Auch wenn qualitative Maße in der Forschung verwendet werden, müssen sie mit Maßen der Zuverlässigkeit und Validität betrachtet werden, um die Vertrauenswürdigkeit der Ergebnisse aufrechtzuerhalten.

Was ist Validität in der Forschung?

Validität ist die Art und Weise, wie Forscher darüber sprechen, inwieweit Ergebnisse die Realität repräsentieren. Forschungsmethoden, ob quantitativ oder qualitativ, sind Methoden zur Untersuchung realer Phänomene – Validität bezieht sich darauf, wie viel von diesem Phänomen sie messen im Vergleich dazu, wie viel „Rauschen“ oder nicht zusammenhängende Informationen von den Ergebnissen erfasst werden.

Validität und Reliabilität machen den Unterschied zwischen „guten“ und „schlechten“ Forschungsberichten. Qualitativ hochwertige Forschung hängt von der Verpflichtung ab, die Gültigkeit sowie die Zuverlässigkeit Ihrer Forschungsergebnisse zu testen und zu erhöhen.

Jede sinnvolle Forschung beschäftigt sich damit, ob das, was gemessen wird, auch gemessen werden soll, und berücksichtigt die Art und Weise, wie Beobachtungen durch die Umstände beeinflusst werden, unter denen sie gemacht werden.

Die Grundlage, auf der unsere Schlussfolgerungen gezogen werden, spielt eine wichtige Rolle bei der Behandlung der breiteren inhaltlichen Fragen einer bestimmten Studie.

Aus diesem Grund werden wir uns verschiedene Validitätstypen ansehen, die als Teil legitimer Forschungsmethodik formuliert wurden.

Hier sind die 7 wichtigsten Arten von Validität in der Forschung:

1. Stellen Sie sich der Gültigkeit
2. Inhaltsgültigkeit
3. Konstruktvalidität
4. Interne Gültigkeit
5. Externe Validität
6. Gültigkeit der statistischen Schlussfolgerung
7. Kriterium-bezogene Gültigkeit

1. Gesichtsvalidität

Gesichtsvalidität gibt an, wie valide Ihre Ergebnisse erscheinen, basierend darauf, wie sie aussehen. Dies ist die am wenigsten wissenschaftliche Validitätsmethode, da sie nicht mit statistischen Methoden quantifiziert wird.

Gesichtsvalidität ist keine Gültigkeit im technischen Sinne des Begriffs. Es geht darum, ob es so aussieht, als würden wir messen, was wir behaupten.

Hier schauen wir uns an, wie valide ein Maß oberflächlich erscheint und treffen darauf basierend subjektive Urteile.

Zum Beispiel,

• Stellen Sie sich vor, Sie geben eine Umfrage ab, die für den Befragten gültig erscheint, und die Fragen werden ausgewählt, weil sie für den Administrator gültig erscheinen.
• Der Administrator fragt eine Gruppe zufälliger Personen, ungeschulter Beobachter, ob ihnen die Fragen gültig erscheinen

In der Forschung reicht es nie aus, sich nur auf Gesichtsurteile zu verlassen – und es sind mehr quantifizierbare Validitätsmethoden notwendig, um akzeptable Schlussfolgerungen zu ziehen. Es gibt viele Messinstrumente, die berücksichtigt werden müssen, daher ist die Gesichtsvalidität in Fällen nützlich, in denen Sie einen Ansatz von einem anderen unterscheiden müssen.

Face Validity sollte niemals für sich alleine genommen werden.

2. Gültigkeit des Inhalts

Inhaltsvalidität ist, ob das in der Forschung verwendete Maß den gesamten Inhalt des zugrunde liegenden Konstrukts (das, was Sie zu messen versuchen) abdeckt oder nicht.

Dies ist ebenfalls ein subjektives Maß, aber im Gegensatz zur Scheinvalidität fragen wir, ob der Inhalt eines Maßes den gesamten Bereich des Inhalts abdeckt. Wenn ein Forscher die Introversion messen wollte, müsste er zuerst entscheiden, was einen relevanten Inhaltsbereich für dieses Merkmal darstellt.

Die Inhaltsvalidität gilt als subjektive Form der Messung, da sie immer noch auf die Wahrnehmung der Menschen angewiesen ist, um Konstrukte zu messen, die sonst schwer zu messen wären.

Wo Inhaltsvalidität sich auszeichnet (und nützlich wird), ist der Einsatz von Experten auf dem Gebiet oder Einzelpersonen, die zu einer Zielgruppe gehören. Diese Studie kann durch strenge statistische Tests objektiver gemacht werden.

Beispielsweise könnten Sie eine Inhaltsvaliditätsstudie durchführen, die Forscher darüber informiert, wie die in einer Umfrage verwendeten Elemente ihre Inhaltsdomäne darstellen, wie klar sie sind und inwieweit sie die durch die Faktorenanalyse bewertete theoretische Faktorstruktur beibehalten.

3. Validität konstruieren

Ein Konstrukt stellt eine Sammlung von Verhaltensweisen dar, die auf sinnvolle Weise miteinander verbunden sind, um ein Bild oder eine Idee zu schaffen, die zu Forschungszwecken erfunden wurden. Konstruktvalidität ist der Grad, in dem Ihre Forschung das Konstrukt misst (im Vergleich zu Dingen außerhalb des Konstrukts).

Depression ist ein Konstrukt, das ein Persönlichkeitsmerkmal darstellt, das sich in Verhaltensweisen wie Überschlafen, Appetitlosigkeit, Konzentrationsschwierigkeiten usw.

Die Existenz eines Konstrukts wird durch die Beobachtung der Sammlung verwandter Indikatoren manifestiert. Jedes Zeichen kann mehreren Konstrukten zugeordnet werden. Eine Person mit Konzentrationsschwierigkeiten kann ADD haben, aber keine Depression.

Konstruktvalidität ist der Grad, in dem aus Operationalisierungen (Verknüpfung von Konzepten mit Beobachtungen) in Ihrer Studie Rückschlüsse auf die Konstrukte gezogen werden können, auf denen diese Operationalisierungen basieren. Um die Konstruktvalidität festzustellen, müssen Sie zunächst nachweisen, dass Ihre Daten die theoretische Struktur unterstützen.

Sie müssen auch zeigen, dass Sie die Operationalisierung des Konstrukts kontrollieren, mit anderen Worten, zeigen, dass Ihre Theorie eine gewisse Übereinstimmung mit der Realität aufweist.

• Konvergente Validität – der Grad, in dem eine Operation anderen Operationen ähnelt, denen sie theoretisch ähnlich sein sollte.
• Diskriminative Validität – wenn eine Skala sich angemessen differenziert oder nicht zwischen Gruppen unterscheidet, die sich aufgrund theoretischer Gründe oder früherer Forschung unterscheiden oder nicht unterscheiden sollten.
• Nomologisches Netzwerk – Repräsentation der interessierenden Konstrukte einer Studie, ihrer beobachtbaren Manifestationen und der Wechselbeziehungen zwischen ihnen und untereinander. Nach Cronbach und Meehl muss für ein Maß ein nomologisches Netz entwickelt werden, damit es Konstruktvalidität besitzt
• Multitrait-Multimethod-Matrix – sechs wichtige Überlegungen bei der Untersuchung der Konstruktvalidität nach Campbell und Fiske. Dazu gehören Bewertungen der konvergenten Validität und der diskriminativen Validität. Die anderen sind Trait Method Unit, Multi-Method/Trait, wirklich unterschiedliche Methodik und Trait-Merkmale.

4. Interne Validität

Die interne Validität bezieht sich auf das Ausmaß, in dem die unabhängige Variable genau angegeben werden kann, um den beobachteten Effekt zu erzeugen.

Wenn der Effekt der abhängigen Variablen nur auf die unabhängige(n) Variable(n) zurückzuführen ist, ist interne Validität erreicht. Dies ist der Grad, in dem ein Ergebnis manipuliert werden kann.

Anders ausgedrückt: Interne Validität ist, wie Sie feststellen können, dass Ihre Forschung in einem Forschungsumfeld „funktioniert“. Beeinflusst die Variable, die Sie ändern, innerhalb einer bestimmten Studie die Variable, die Sie untersuchen?

[blog-abonnieren]

5. Externe Gültigkeit

Externe Validität bezieht sich auf das Ausmaß, in dem die Ergebnisse einer Studie über die Stichprobe hinaus verallgemeinert werden können. Das heißt, Sie können Ihre Erkenntnisse auf andere Menschen und Umgebungen anwenden.

Betrachten Sie dies als den Grad, in dem ein Ergebnis verallgemeinert werden kann. Wie gut gelten die Forschungsergebnisse für den Rest der Welt?

Eine Laborumgebung (oder eine andere Forschungsumgebung) ist eine kontrollierte Umgebung mit weniger Variablen. Die externe Validität bezieht sich darauf, wie gut die Ergebnisse auch in Gegenwart all dieser anderen Variablen halten.

6. Gültigkeit der statistischen Schlussfolgerung

Die statistische Schlussfolgerungsvalidität ist eine Bestimmung, ob eine Beziehung oder Kovariation zwischen Ursache- und Wirkungsvariablen besteht.

Diese Art der Gültigkeit erfordert:

• Gewährleistung angemessener Probenahmeverfahren
• Geeignete statistische Tests
• Zuverlässige Messverfahren

Dies ist der Grad, in dem eine Schlussfolgerung glaubwürdig oder glaubwürdig ist.

7. Kriteriumsbezogene Validität

Die kriteriumsbezogene Validität (auch instrumentelle Validität genannt) ist ein Maß für die Qualität Ihrer Messmethoden. Die Genauigkeit eines Maßes wird durch den Vergleich mit einem Maß nachgewiesen, dessen Gültigkeit bereits bekannt ist.

Mit anderen Worten – wenn Ihr Maß eine hohe Korrelation mit anderen Maßen hat, die aufgrund früherer Forschung als gültig bekannt sind.

Damit dies funktioniert, müssen Sie wissen, dass das Kriterium gut gemessen wurde. Und seien Sie sich bewusst, dass es nicht immer geeignete Kriterien gibt.

Was Sie tun, ist die Leistung Ihrer Operationalisierung anhand eines Kriteriums zu überprüfen.

Die Kriterien, die Sie als Maßstab für die Beurteilung verwenden, berücksichtigen die verschiedenen Ansätze, die Sie verwenden würden:

• Vorhersagevalidität – die Fähigkeit der Operationalisierung vorherzusagen, was sie theoretisch vorhersagen kann. Das Ausmaß, in dem eine Kennzahl erwartete Ergebnisse vorhersagt.
• Concurrent Validity – die Fähigkeit der Operationalisierung, zwischen Gruppen zu unterscheiden, zu der sie theoretisch in der Lage sein sollte. Hier korreliert ein Test gut mit einer zuvor validierten Maßnahme.

Wenn wir die Gültigkeit von Umfragedaten betrachten, fragen wir uns, ob die Daten das darstellen, was sie unserer Meinung nach darstellen sollten.

Wir sind auf die Denkweise und Einstellung des Befragten angewiesen, um uns valide Daten zu liefern.

Mit anderen Worten, wir verlassen uns darauf, dass sie alle Fragen ehrlich und gewissenhaft beantworten. Wir sind auch darauf angewiesen, ob sie in der Lage sind, die Fragen zu beantworten, die wir stellen. Wenn Fragen gestellt werden, die der Befragte nicht verstehen oder verstehen kann, sagen uns die Daten nicht, was wir denken.