Результаты исследования, их интерпретация и обобщение

Содержание этой лекции начинается с того момента, когда данные исследования уже обработаны и представлены в той или иной форме, а применение статистических критериев уже позволило сделать вывод о принятии или отвержении статистической гипотезы Н ₁, или Н ₀.

Предположим, что статистическая гипотеза о различии результатов экспериментальной и контрольной групп принята. Какие выводы мы можем сделать после обработки экспериментальных результатов? Итог любого исследования – преобразование «сырых» данных в решение об обнаружении явления (различий в поведении двух и более групп), о статистической связи или причинной зависимости. Подтверждение или опровержение статистической гипотезы о значимости обнаруженных сходств-различий, связей и должно быть интерпретировано как подтверждение (неопровержение) или опровержение экспериментальной гипотезы. Как правило, исследователь пытается подтвердить гипотезы о различиях поведения контрольной и экспериментальной групп. Нуль-гипотеза – гипотеза о тождестве групп.

Решение	Гипотеза
	Нуль-гипотеза верна	Исследовательская гипотеза верна
Отвержение нуль-гипотезы	Ошибка 1-го рода	Верное решение
Принятие нуль-гипотезы	Верное решение	Ошибка 2-го рода

 

При статистическом выводе возможны различные варианты решений. Исследователь может принять или отвергнуть статистическую нуль-гипотезу, но она может быть объективно («на самом деле») верной или ложной. Соответственно возможны четыре исхода: 1) принятие верной нуль-гипотезы; 2) отвержение ложной нуль-гипотезы; 3) принятие ложной нуль-гипотезы; 4) отвержение верной нуль-гипотезы. Два варианта решения правильны, два – ошибочны. Ошибочные варианты называются ошибками 1-го и 2-го рода.

Ошибку 1-го рода исследователь совершает, если отвергает истинную нуль-гипотезу. Ошибка 2-го рода состоит в принятии ложной нуль-гипотезы (и отвержении верной исследовательской гипотезы о различиях).

Чем больше число испытуемых и опытов, чем выше статистическая достоверность вывода (принятый уровень значимости), тем меньше вероятность совершения ошибок 1-го рода. Например, если при а = 0,1 слабые различия между средними, определенные с помощью t -критерия, могут быть значимыми, то при а = 0,05 и а = 0,001 значимых различий мы можем не получить.

Ошибка 1-го рода особо значима в уточняющем (конфирматорном) эксперименте, а также в тех случаях, когда принятие неверной гипотезы о различиях имеет практическую значимость. Допустим, принятие ложной гипотезы об интеллектуальных различиях представителей разных социальных страт или этнических групп имеет чрезвычайно значимые социально-политические следствия.

Ошибки 2-го рода – отвержение верной исследовательской гипотезы и принятие нуль-гипотезы – особенно существенна при проведении пробного (эксплораторного) эксперимента. Отклонение исследовательской гипотезы на начальной стадии может надолго закрыть дорогу исследователям в данной предметной области. Поэтому уровень статистической достоверности при проведении эксплораторного эксперимента на малых выборках стремятся понизить, т. е. выбирают а = 0,1 или а = 0,05. Исследователю, разумеется, приятнее получить подтверждение своим собственным мыслям, поэтому субъективная значимость ошибок 2-го рода значительно ниже, чем субъективная значимость ошибок 1-го рода.

Но для науки как сферы человеческой деятельности важнее получить максимально достоверное знание, а не «засорять» научные журналы невалидными и ненадежными результатами. Поэтому стратегия исследований в любой области психологической науки такова: переход от эксплораторного (поискового) эксперимента к конфирматорному (уточняющему), от низких уровней достоверности – к высоким, от исследований на малых выборках – к исследованиям на больших.

В конкретных же исследованиях значимость ошибок 1-го и 2-го рода может сильно зависеть от целей, которые преследуются в эксперименте, от предмета изучения и характера решаемой исследовательской задачи и т. д. В обыденной и профессиональной жизни мы часто сталкиваемся с такими ситуациями, когда нам надо оценить сравнительную значимость ошибок 1-го и 2-го рода. Например, судья или присяжные, определяя виновность или невиновность подсудимого, должны для себя решить, что более значимо: признать невиновного виновным или виновного невиновным. Установка на «гуманность» диктует правило: пусть будут оправданы десять преступников, чем пострадает один невиновный. «Репрессивная» установка предполагает другое правило: пусть пострадают десять невиновных, лишь бы один виновный не ушел от наказания.

Принятие или отвержение статистической гипотезы не является единственным условием принятия или не принятия экспериментальной гипотезы. Если статистическая гипотеза отвергнута, то исследователь может это реализовать по-разному. Он может завершить эксперимент и предпринять попытку выдвижения новых гипотез. Экспериментатор может провести новое исследование на расширенной выборке с использованием модифицированного экспериментального плана и т. д. Как говорится, «отрицательный» результат – тоже результат.

Для К. Поппера и его критического рационализма «отрицательные» выводы, отвергающие экспериментальную гипотезу, – это главный результат любого эксперимента, так как сам эксперимент есть способ выбраковки нежизнеспособных гипотез. Однако, отклонение экспериментальной гипотезы отнюдь не означает, что теорию, следствием которой она являлась, следует сразу отбросить. Возможно, неверно сформулирована теоретическая гипотеза: в прямой вывод из теории может вкрасться ошибка. Не исключено, что теоретическая гипотеза верна, но ее экспериментальная версия некорректно сформулирована. При этом зачастую даже подтверждение экспериментальной гипотезы не свидетельствует о подтверждении теории. Допустим, исходя из концепции фасилитации, мы предполагаем, что эмоциональная поддержка действий испытуемого будет приводить к более успешному решению задач. Но вместо превентивной эмоциональной поддержки любых проявлений интеллектуальной активности мы в эксперименте поощряли испытуемого за хорошую работу по окончании решения задания. Разумеется, эффект будет обнаружен, но никакого отношения к исходной теоретической гипотезе он не имеет.

Рассмотрение различных частных случаев подтверждения или неподтверждения конкретных экспериментальных гипотез – дело вполне доступное любому студенту, который усвоил азы психологического экспериментирования. Предположим, что экспериментальная гипотеза подтверждена или, следуя строгой логике К. Поппера, не опровергнута. Требуется решить проблему обобщения результатов эксперимента: на какие группы испытуемых могут быть распространены выводы, в каких внешних условиях будут воспроизводиться результаты, не будет ли влиять на результаты исследования смена экспериментатора?

В отличие от классического естествознания, экспериментальный результат в психологии должен быть инвариантен (неизменен) по отношению не только ко всем объектам данного типа, к пространственно-временным (и некоторым другим) усло­виям проведения эксперимента, но и к особенностям взаимодействия эксперимен­татора и испытуемого, а также к содержанию деятельности испытуемого.

1. Обобщение по отношению к объектам. Если мы провели эксперимент на 30 испытуемых – мужчинах в возрасте от 20 до 25 лет, принадлежащих к семьям из среднего класса, обучающихся на 2-3-м курсах университета, то, очевидно, нуж­но решить следующую проблему: на какую популяцию распространить результаты? Предельным обобщением будет отнесение выводов ко всем представителям вида Ноmо sapiens. Обычно исследователи заканчивают первую экспериментальную часть своей работы предельно широким обобщением. Дальнейшая исследователь­ская практика сводится не только к уточнению, но и к сужению диапазона примени­мости найденных закономерностей.

Исследования Скиннера по оперантному обучению на крысах, голубях и др. дали результаты, которые автор распространил на представителей других видов, занима­ющих верхние ступени эволюционной лестницы, в том числе и на человека. Экспе­рименты И. П. Павлова по выработке классических условных рефлексов у собак по­зволили выявить закономерности высшей нервной деятельности, общие для всех высших животных. Феномены Ж. Пиаже воспроизводятся при исследовании групп детей во Франции, США, России, Израиле и т. д.

Ограничителями генерализации выступают внепсихологические характеристики популяции: 1) биологические и 2) социокультурные.

К основным биологическим характеристикам относятся пол, возраст, раса, конституциональные особенности, физическое здоровье. В дифференциально-психологическом исследовании выявляются изменения зависимости между двумя переменными, которые относятся к дополнительным признакам объекта изучения.

Социокультурные особенности являются вторым важнейшим ограничением обобщения результатов. Решается проблема возможности распространения данных на представителей других народов и культур в кросскультурных исследованиях. Аналогичная работа проводится по уточнению влияния на результаты эксперимента таких дополнительных переменных, как уровень образования и уровень доходов испытуемых, классовая принадлежность и т. д.

Бывает, что результаты эксперимента можно применить лишь к той популяции, представители которой вошли в состав экспериментальных групп. Но и в этом случае существует проблема: можно ли данные, полученные на экспериментальной выборке, распространить на всю популяцию? Решение этой проблемы зависит от того, насколько в ходе планирования исследования и формирования экспериментальной выборки соблюдалось требование репрезентативности.

Для проверки выводов, 1) проводят дополнительные эксперименты на группах представителей той же популяции, не вошедших в первоначальную выборку, 2) стремятся максимально увеличить в уточняющих экспериментах численность экспериментальной и контрольных групп.

2. Условия исследования. В психологическом эксперименте важны не столько пространственно-временные факторы (в отличие от физического), сколько условия деятельности испытуемого, а тем более – особенности заданий. В какой мере влияют на результат вариации инструкции, материала заданий, действий испытуемого, предусмотренных в ней, вид мотивации, присутствие или отсутствие «обратной связи»? На все эти вопросы нельзя ответить, ограничившись проведением одного эксперимента. Исследователь должен варьировать в последующих экспериментальных сериях дополнительные переменные, относящиеся к характеристикам экспериментального задания, чтобы установить, являются ли результаты инвариантными по отношению к задаче испытуемого.

Классическим примером влияния особенностей задачи, решаемой испытуемым, на результат эксперимента стали психофизические исследования абсолютных порогов чувствительности.

«Слепой метод» позволяет исключить влияние на результат знания испытуемого о том, когда и какое воздействие он получает.

3. Экспериментатор. О проблеме влияния экспериментатора на результаты исследования мы достаточно подробно говорили выше. Напомним лишь, что психология, в отличие от других научных дисциплин, не может полностью исключить, «вынести за скобки» влияние личностных черт, мотивации, компетентности исследователя в ходе эксперимента.

«Двойной слепой опыт» позволяет контролировать влияние ожиданий экспериментатора на результаты исследования. Однако полный контроль воздействия индивидуальных особенностей экспериментатора предполагает применение факторного плана К х L х М, где в качестве дополнительной переменной выступают экспериментаторы, различающиеся по полу, национальной принадлежности, возрасту, индивидуально-психологическим особенностям и т. д.

Инвариантность результатов по отношению к личности экспериментатора особенно часто нарушается в социально-психологических и дифференциально-психологи-ческих исследованиях.

Вариация результатов исследования, определяемая влиянием экспериментатора, описана в большинстве практических руководств по проведению психологического эксперимента.

 

Подведем итог. Исследователь может совершить две ошибки относительно гипотезы: 1) принять неверную экспериментальную гипотезу и 2) отвергнуть верную экспериментальную гипотезу. В эксплораторном (поисковом) эксперименте опаснее ошибка 2-го рода. В конфирматорном (уточняющем) эксперименте большее значение имеет ошибка 1 -го рода. Увеличение объема выборки и статистической достоверности вывода способствует минимизации ошибки 1-го рода.

Исследователя подстерегает опасность неправомерного обобщения результатов исследования. Ограничителями генерализации результатов выступают: 1) особенности выборки; 2) содержание эксперимента (задания испытуемому, воздействия, среда); 3) личность экспериментатора.

Возможны две стратегии проведения дополнительных исследований: 1) ограничение генерализации путем введения дополнительных переменных в план эксперимента; 2) индуктивный путь на основе перепроверки результатов на других рандомизированных экспериментальных выборках.

Процедура эксперимента никогда не может дать абсолютно достоверного знания, так как индукция принципиально неполна. Эксперимент – это лучший способ критики и отбора идей, но не лучший способ порождения нового знания.