4 rodzaje trafności w projektowaniu badań (+3 więcej do rozważenia)

Wnioski, które wyciągasz ze swoich badań (czy to z analizy ankiety, grup fokusowych, projektów eksperymentalnych, czy innych metod badawczych) są przydatne tylko wtedy, gdy są trafne.

Jak „prawdziwe” są te wyniki? Jak dobrze przedstawiają to, co faktycznie próbujesz studiować? Trafność służy do określenia, czy badania mierzą to, co zamierzały zmierzyć, oraz do przybliżenia prawdziwości wyników.

Niestety naukowcy czasami tworzą własne definicje, jeśli chodzi o to, co jest uważane za ważne.

• W badaniach ilościowych testowanie trafności i rzetelności jest oczywiste.
• Jednak niektórzy badacze jakości posunęli się tak daleko, że zasugerowali, że trafność nie ma zastosowania do ich badań, nawet jeśli uznają potrzebę pewnych weryfikacji kwalifikacyjnych lub środków w swojej pracy.

To jest źle. Trafność jest zawsze ważna – nawet jeśli trudniej ją określić w badaniach jakościowych.

Lekceważenie słuszności oznacza podważanie wiarygodności swojej pracy i kwestionowanie zaufania innych do jej wyników. Nawet jeśli w badaniach stosuje się miary jakościowe, należy na nie patrzeć za pomocą miar rzetelności i trafności, aby utrzymać wiarygodność wyników.

Czym jest trafność w badaniach?

Trafność to sposób, w jaki naukowcy mówią o stopniu, w jakim wyniki odzwierciedlają rzeczywistość. Metody badawcze, ilościowe lub jakościowe, to metody badania rzeczywistych zjawisk – trafność odnosi się do tego, ile mierzą tego zjawiska w porównaniu do tego, ile „szumu” lub niepowiązanych informacji jest uchwyconych przez wyniki.

Trafność i rzetelność decydują o różnicy między „dobrymi” i „złymi” raportami z badań. Jakość badań zależy od zaangażowania w testowanie i zwiększanie trafności, a także wiarygodności wyników badań.

Wszelkie badania na swoją wagę dotyczą tego, czy to, co jest mierzone, jest tym, co ma być mierzone, i rozważa, w jaki sposób na obserwacje wpływają okoliczności, w których są dokonywane.

Podstawa formułowania naszych wniosków odgrywa ważną rolę w rozwiązywaniu szerszych kwestii merytorycznych danego badania.

Z tego powodu przyjrzymy się różnym typom trafności, które zostały sformułowane jako część legalnej metodologii badawczej.

Oto 7 kluczowych typów trafności w badaniach:

1. Ważność twarzy
2. Ważność zawartości
3. Konstruuj ważność
4. Ważność wewnętrzna
5. Ważność zewnętrzna
6. Ważność wniosków statystycznych
7. Trafność kryterialna

1. Ważność twarzy

Wiarygodność twarzy określa, jak trafne wydają się Twoje wyniki na podstawie tego, jak wyglądają. Jest to najmniej naukowa metoda trafności, ponieważ nie jest określana ilościowo za pomocą metod statystycznych.

Ważność twarzy nie jest ważnością w technicznym sensie tego terminu. Chodzi o to, czy wydaje się, że mierzymy to, co twierdzimy.

Tutaj przyglądamy się, jak trafna miara pojawia się na powierzchni i na tej podstawie dokonujemy subiektywnych ocen.

Na przykład,

• Wyobraź sobie, że udzielasz ankiety, która wydaje się być ważna dla respondenta, a pytania są wybierane, ponieważ wyglądają na ważne dla administratora.
• Administracja pyta grupę przypadkowych osób, nieprzeszkolonych obserwatorów, czy pytania wydają się im trafne

W badaniach nigdy nie wystarczy polegać wyłącznie na osądach twarzą w twarz – a bardziej wymierne metody trafności są potrzebne, aby wyciągnąć akceptowalne wnioski. Istnieje wiele narzędzi pomiaru, które należy wziąć pod uwagę, więc trafność twarzowa jest przydatna w przypadkach, gdy trzeba odróżnić jedno podejście od drugiego.

Nigdy nie należy ufać wiarygodności twarzy na podstawie jej własnych zalet.

2. Ważność treści

Trafność treści określa, czy miara zastosowana w badaniu obejmuje całą treść konstruktu bazowego (rzecz, którą próbujesz zmierzyć).

Jest to również miara subiektywna, ale w przeciwieństwie do trafności twarzy pytamy, czy treść miary obejmuje pełną domenę treści. Gdyby badacz chciał zmierzyć introwersję, musiałby najpierw zdecydować, co stanowi odpowiednią domenę treści dla tej cechy.

Trafność treści jest uważana za subiektywną formę pomiaru, ponieważ nadal opiera się na percepcji ludzi przy mierzeniu konstruktów, które w innym przypadku byłyby trudne do zmierzenia.

Ważność treści wyróżnia się (i staje się użyteczna) dzięki wykorzystaniu ekspertów w danej dziedzinie lub osób należących do populacji docelowej. Badanie to można uczynić bardziej obiektywnym dzięki zastosowaniu rygorystycznych testów statystycznych.

Na przykład możesz przeprowadzić badanie trafności treści, które informuje badaczy, w jaki sposób elementy użyte w ankiecie reprezentują ich domenę treści, na ile są jasne i w jakim stopniu utrzymują teoretyczną strukturę czynnikową ocenioną przez analizę czynnikową.

3. Skonstruuj ważność

Konstrukt reprezentuje zbiór zachowań, które są powiązane w znaczący sposób, aby stworzyć obraz lub pomysł wymyślony w celach badawczych. Trafność konstruktu to stopień, w jakim twoje badania mierzą konstrukt (w porównaniu do rzeczy poza konstruktem).

Depresja to konstrukt reprezentujący cechę osobowości, która przejawia się w zachowaniach, takich jak przespanie, utrata apetytu, trudności z koncentracją itp.

Istnienie konstruktu przejawia się obserwacją zbioru powiązanych ze sobą wskaźników. Każdy znak może być powiązany z kilkoma konstrukcjami. Osoba mająca trudności z koncentracją może mieć ADD, ale nie depresję.

Trafność konstrukcyjna to stopień, w jakim można wyciągnąć wnioski z operacjonalizacji (łączenia pojęć z obserwacjami) w badaniu do konstruktów, na których te operacjonalizacje są oparte. Aby ustalić wiarygodność konstrukcji, musisz najpierw dostarczyć dowody, że twoje dane wspierają strukturę teoretyczną.

Musisz także pokazać, że kontrolujesz operacjonalizację konstruktu, innymi słowy, pokazać, że twoja teoria ma pewien związek z rzeczywistością.

• Convergent Validity – stopień, w jakim operacja jest podobna do innych operacji, do których teoretycznie powinna być podobna.
• Trafność dyskryminacyjna – jeśli skala odpowiednio różnicuje się lub nie rozróżnia między grupami, które powinny się różnić lub nie różnić się na podstawie przyczyn teoretycznych lub wcześniejszych badań.
• Sieć nomologiczna – reprezentacja konstruktów będących przedmiotem zainteresowania w badaniu, ich obserwowalnych przejawów oraz wzajemnych relacji między nimi. Według Cronbacha i Meehla, sieć nomologiczna musi zostać opracowana dla miary, aby miała ona trafność konstrukcyjną
• Multitrait-Multimethod Matrix – sześć głównych rozważań podczas badania poprawności konstruktu według Campbella i Fiske. Obejmuje to ocenę trafności zbieżnej i trafności dyskryminacyjnej. Pozostałe to jednostka metody cechy, wiele metod/cech, naprawdę odmienna metodologia i cechy cech.

4. Ważność wewnętrzna

Trafność wewnętrzna odnosi się do zakresu, w jakim można dokładnie określić zmienną niezależną, aby uzyskać obserwowany efekt.

Jeżeli wpływ zmiennej zależnej wynika wyłącznie ze zmiennej(-ych) niezależnej(-ych), wówczas osiągana jest ważność wewnętrzna. Jest to stopień, w jakim można manipulować wynikiem.

Innymi słowy, trafność wewnętrzna to sposób, w jaki możesz stwierdzić, że twoje badania „działają” w środowisku badawczym. Czy w ramach danego badania zmienna, którą zmieniasz, wpływa na badaną zmienną?

[subskrybuj bloga]

5. Ważność zewnętrzna

Trafność zewnętrzna odnosi się do zakresu, w jakim wyniki badania mogą być uogólnione poza próbą. Oznacza to, że możesz zastosować swoje odkrycia do innych osób i ustawień.

Pomyśl o tym jako o stopniu, w jakim wynik można uogólnić. Jak dobrze wyniki badań odnoszą się do reszty świata?

Środowisko laboratoryjne (lub inne środowisko badawcze) to kontrolowane środowisko z mniejszą liczbą zmiennych. Trafność zewnętrzna odnosi się do tego, jak dobrze wyniki się utrzymują, nawet w obecności wszystkich pozostałych zmiennych.

6. Trafność wniosków statystycznych

Trafność wniosków statystycznych to określenie, czy istnieje związek lub współzmienność między zmiennymi przyczynowo-skutkowymi.

Ten rodzaj ważności wymaga:

• Zapewnienie odpowiednich procedur pobierania próbek
• Odpowiednie testy statystyczne
• Niezawodne procedury pomiarowe

Jest to stopień, w jakim wniosek jest wiarygodny lub wiarygodny.

7. Trafność kryterialna

Trafność kryterialna (zwana również trafnością instrumentalną) jest miarą jakości twoich metod pomiarowych. Dokładność miary jest wykazywana przez porównanie jej z miarą, o której wiadomo już, że jest ważna.

Innymi słowy – jeśli twoja miara ma wysoką korelację z innymi miarami, o których wiadomo, że są prawidłowe z powodu wcześniejszych badań.

Aby to zadziałało, musisz wiedzieć, że kryterium zostało dobrze zmierzone. I pamiętaj, że nie zawsze istnieją odpowiednie kryteria.

To, co robisz, to sprawdzanie wydajności swojej operacjonalizacji według kryteriów.

Kryteria, których używasz jako standardu osądu, uwzględniają różne podejścia, których byś użył:

• Predictive Validity – zdolność operacjonalizacji do przewidywania tego, co teoretycznie jest w stanie przewidzieć. Stopień, w jakim miara przewiduje oczekiwane wyniki.
• Concurrent Validity – zdolność operacjonalizacji do rozróżniania grup, które teoretycznie powinna być w stanie. W tym miejscu test dobrze koreluje z miarą, która została wcześniej zwalidowana.

Kiedy patrzymy na wiarygodność danych ankietowych, pytamy, czy dane reprezentują to, co naszym zdaniem powinny reprezentować.

Zależymy od nastawienia i nastawienia respondenta, aby przekazać nam aktualne dane.

Innymi słowy, polegamy na nich, że odpowiedzą na wszystkie pytania uczciwie i sumiennie. Zależymy również od tego, czy są w stanie odpowiedzieć na zadawane przez nas pytania. Kiedy zadawane są pytania, których respondent nie może zrozumieć ani zrozumieć, dane nie mówią nam, co naszym zdaniem robi.