4 типа валидности в дизайне исследования (+3 еще для рассмотрения)

Выводы, которые вы делаете из своего исследования (будь то анализ опроса, фокус-группы, план эксперимента или другие методы исследования), полезны только в том случае, если они достоверны.

Насколько «правдивы» эти результаты? Насколько хорошо они представляют то, что вы на самом деле пытаетесь изучать? Валидность используется для определения того, измеряет ли исследование то, что оно намеревалось измерить, и для приближения к правдивости результатов.

К сожалению, исследователи иногда создают свои собственные определения, когда дело доходит до того, что считается достоверным.

• В количественных исследованиях тестирование на валидность и надежность является данностью.
• Однако некоторые качественные исследователи зашли так далеко, что предположили, что валидность не применима к их исследованиям, даже если они признают необходимость некоторых квалификационных проверок или мер в своей работе.

Это не верно. Валидность всегда важна, даже если ее трудно определить в качественном исследовании.

Пренебрегать валидностью — значит ставить под вопрос надежность своей работы и ставить под сомнение доверие других к ее результатам. Даже когда в исследованиях используются качественные показатели, их необходимо рассматривать с использованием показателей надежности и валидности, чтобы поддерживать достоверность результатов.

Что такое валидность в исследованиях?

Валидность — это то, как исследователи говорят о степени, в которой результаты отражают реальность. Методы исследования, количественные или качественные, представляют собой методы изучения реального явления. Достоверность относится к тому, какую часть этого явления они измеряют по сравнению с тем, сколько «шума» или несвязанной информации захватывают результаты.

Валидность и надежность определяют разницу между «хорошими» и «плохими» исследовательскими отчетами. Качество исследований зависит от приверженности тестированию и повышению достоверности, а также надежности результатов ваших исследований.

Любое значимое исследование касается того, является ли измеряемое то, что должно быть измерено, и рассматривает способы, которыми на наблюдения влияют обстоятельства, в которых они сделаны.

Основа того, как делаются наши выводы, играет важную роль в решении более широких существенных вопросов любого данного исследования.

По этой причине мы собираемся рассмотреть различные типы валидности, которые были сформулированы как часть легитимной исследовательской методологии.

Вот 7 основных типов валидности в исследованиях:

1. Проверка лица
2. Содержание действия
3. Конструктивная валидность
4. Внутренняя валидность
5. Внешняя валидность
6. Статистическая достоверность заключения
7. Валидность, связанная с критериями

1. Лицом к лицу

Внешняя достоверность — это то, насколько достоверными кажутся ваши результаты, исходя из того, как они выглядят. Это наименее научный метод достоверности, поскольку он не определяется количественно с помощью статистических методов.

Внешняя валидность не является валидностью в техническом смысле этого термина. Он связан с тем, кажется ли нам, что мы измеряем то, что заявляем.

Здесь мы смотрим на то, насколько достоверной выглядит мера на поверхности, и делаем субъективные суждения, основанные на этом.

Например,

• Представьте, что вы проводите опрос, который кажется действительным для респондента, а вопросы выбираются потому, что они кажутся действительными для администратора.
• Администратор спрашивает группу случайных людей, неподготовленных наблюдателей, кажутся ли им вопросы актуальными.

В исследованиях никогда не бывает достаточно полагаться только на личные суждения, и для того, чтобы делать приемлемые выводы, необходимы более поддающиеся количественной оценке методы проверки достоверности. Существует множество инструментов измерения, которые следует учитывать, поэтому кажущаяся достоверность полезна в тех случаях, когда вам нужно отличить один подход от другого.

Лицевой действительности никогда нельзя доверять по ее собственным достоинствам.

2. Действительность содержания

Валидность содержания заключается в том, охватывает ли мера, используемая в исследовании, все содержание базовой конструкции (то, что вы пытаетесь измерить).

Это также субъективная мера, но в отличие от внешней достоверности мы спрашиваем, охватывает ли содержание меры всю область содержания. Если бы исследователь хотел измерить интроверсию, он должен был бы сначала решить, что представляет собой релевантную область содержания для этой черты.

Достоверность содержания считается субъективной формой измерения, поскольку она по-прежнему опирается на восприятие людей для измерения конструктов, которые в противном случае было бы трудно измерить.

Достоверность контента отличается (и становится полезной) благодаря использованию экспертов в данной области или лиц, принадлежащих к целевой группе. Это исследование можно сделать более объективным за счет использования строгих статистических тестов.

Например, у вас может быть исследование содержательной валидности, которое информирует исследователей о том, как элементы, используемые в опросе, представляют их предметную область, насколько они ясны и в какой степени они поддерживают теоретическую факторную структуру, оцененную с помощью факторного анализа.

3. Конструктивная валидность

Конструкт представляет собой набор поведений, которые значимым образом связаны для создания образа или идеи, придуманной для исследовательской цели. Конструктивная валидность — это степень, в которой ваше исследование измеряет конструкт (по сравнению с вещами вне конструкта).

Депрессия — это конструкт, который представляет собой черту личности, которая проявляется в поведении, таком как чрезмерный сон, потеря аппетита, трудности с концентрацией внимания и т. д.

Существование конструкта проявляется при наблюдении совокупности связанных индикаторов. Любой один признак может быть связан с несколькими конструкциями. У человека с трудностями концентрации внимания может быть СДВ, но не депрессия.

Конструктивная валидность — это степень, в которой выводы могут быть сделаны из операционализации (связывания концепций с наблюдениями) в вашем исследовании с конструктами, на которых эти операционализации основаны. Чтобы установить достоверность конструкции, вы должны сначала предоставить доказательства того, что ваши данные подтверждают теоретическую структуру.

Вы также должны показать, что контролируете операционализацию конструкции, другими словами, показать, что ваша теория имеет некоторое соответствие с реальностью.

• Конвергентная валидность — степень сходства операции с другими операциями, на которые она теоретически должна быть похожа.
• Дискриминационная валидность — если шкала адекватно дифференцирует себя или не различает группы, которые должны различаться или не различаться на основании теоретических причин или предыдущих исследований.
• Номологическая сеть - представление конструктов, представляющих интерес для исследования, их наблюдаемых проявлений и взаимосвязей между ними. Согласно Кронбаху и Милу, номологическая сеть должна быть разработана для меры, чтобы она имела конструктную валидность.
• Матрица мультипризнаков-мультиметодов - шесть основных соображений при изучении валидности конструкции согласно Кэмпбеллу и Фиске. Это включает в себя оценки конвергентной валидности и дискриминационной валидности. Другие — это единица метода признаков, мультиметод/признак, действительно другая методология и характеристики признаков.

4. Внутренняя валидность

Внутренняя валидность относится к степени, в которой независимая переменная может быть точно указана для получения наблюдаемого эффекта.

Если влияние зависимой переменной обусловлено только независимыми переменными (переменными), то достигается внутренняя достоверность. Это степень, в которой можно манипулировать результатом.

Другими словами, внутренняя валидность — это то, как вы можете сказать, что ваше исследование «работает» в исследовательской среде. Влияет ли переменная, которую вы изменяете, на изучаемую переменную в данном исследовании?

[блог-подписаться]

5. Внешняя валидность

Внешняя валидность относится к степени, в которой результаты исследования могут быть обобщены за пределами выборки. То есть вы можете применить свои выводы к другим людям и настройкам.

Думайте об этом как о степени, до которой результат может быть обобщен. Насколько хорошо результаты исследования применимы к остальному миру?

Лабораторная среда (или другая исследовательская среда) — это контролируемая среда с меньшим количеством переменных. Внешняя валидность относится к тому, насколько верны результаты даже при наличии всех этих других переменных.

6. Достоверность статистического заключения

Достоверность статистического вывода — это определение того, существует ли взаимосвязь или ковариация между причинно-следственными переменными.

Этот тип валидности требует:

• Обеспечение надлежащих процедур отбора проб
• Соответствующие статистические тесты
• Надежные процедуры измерения

Это степень достоверности или правдоподобности заключения.

7. Критериальная валидность

Валидность, связанная с критериями (также называемая инструментальной валидностью), является мерой качества ваших методов измерения. Точность меры демонстрируется путем сравнения ее с мерой, достоверность которой уже известна.

Другими словами, если ваша мера имеет высокую корреляцию с другими мерами, достоверность которых известна благодаря предыдущим исследованиям.

Чтобы это работало, вы должны знать, что критерий был хорошо измерен. И знайте, что подходящие критерии не всегда существуют.

Что вы делаете, так это проверяете эффективность вашей операционализации по критериям.

Критерии, которые вы используете в качестве стандарта суждения, учитывают различные подходы, которые вы бы использовали:

• Прогностическая достоверность - способность операционализации предсказывать то, что она теоретически может предсказать. Степень, в которой мера предсказывает ожидаемые результаты.
• Параллельная валидность - способность операционализации различать группы, на которые она теоретически должна быть способна. Именно здесь тест хорошо коррелирует с мерой, которая была проверена ранее.

Когда мы смотрим на достоверность данных опроса, мы спрашиваем, представляют ли данные то, что, по нашему мнению, они должны представлять.

Мы зависим от склада ума и отношения респондента, чтобы предоставить нам достоверные данные.

Другими словами, мы рассчитываем на то, что они ответят на все вопросы честно и добросовестно. Мы также зависим от того, смогут ли они ответить на вопросы, которые мы задаем. Когда задаются вопросы, которые респондент не может понять или понять, тогда данные не говорят нам о том, что, по нашему мнению, они делают.