Перед экспериментатором всегда стоит дилемма: обретение контроля сопряжено с потерей возможностей. В лабораторной обстановке невозможно воспроизвес-
ти весь диапазон психологических переменных и полную интенсивность их воздействия. Дело в том, что в ходе эксперимента испытуемые лишь на короткое время подвергаются воздействию независимой переменной. Нередко задача испытуемого слабо связана с другими его жизненными переживаниями и оказывает минимальное влияние на его дальнейшее функционирование. Кроме того, существуют правовые, этические и моральные соображения, которые накладывают ограничения на характер и интенсивность экспериментальных манипуляций. Но, несмотря на то что силу влияния переменных часто лучше всего можно продемонстрировать в неконтролируемой естественной обстановке, при изучении явлений на этом уровне возможно возникновение целого ряда опасностей, таких как недопонимание протекающих при этом процессов, недостаточно точная спецификация каузальности и неспособность проанализировать сложную систему факторов и выделить релевантные составляющие ее переменные. С другой стороны, преимущества, которые дает полный контроль над экспериментом, могут быть сведены на нет из-за тривиальности его содержания. В результате очищения, стандартизации, контроля и отбора определенных стимулов и параметров реакций может оказаться, что экспериментатор создал отдаленное и бледное подобие явлений или процессов, которые он намеревается изучать. При таких условиях результаты исследования могут почти не иметь практического значения.
При планировании любого конкретного эксперимента имеется возможность обойти некоторые из этих ограничений путем применения комплексных стратегий исследования и проведения нескольких различных экспериментов, посвященных одной теме. Предположим, к примеру, что экспериментатор обеспокоен тем, что использование денежного вознаграждения для варьирования степени «оправданности» в эксперименте по изучению вынужденного согласия и диссонанса (см. главу 3), возможно, не то же самое, что варьирование степени «оправданности» путем предоставления испытуемым социальных причин согласия. Экспериментатор может оценить такую возможность, включив в эксперимент концептуальные репликации «оправданности» или проведя несколько различных экспериментов, в которых производится систематичное воспроизведение изучаемых концептуальных переменных.
Экспериментальный и жизненный реализм.Чтобы устранить несоответствие между лабораторными и реальными жизненными условиями, исследователи обычно стремятся сделать свои эксперименты реалистичными. Наиболее важным видом реализма является экспериментальный реализм, который, в сущности, означает «включение эксперимента в жизнь» (Aronson and Carlsmith, 1968; Aronson et al., 1990). Следует позаботиться о том, чтобы процедура эксперимента была увлекательной и интересной, а независимые переменные должны привлекать и удерживать на себе внимание испытуемых. События, происходящие в лаборатории, должны «захватывать» испытуемых, чтобы они реагировали (естественно) на эти события, а не изнывали от скуки, думая (а может быть, и тревожась) о себе как об объектах внимательного наблюдения или пытаясь понять, в чем состоит гипотеза экспериментатора. Если в эксперименте отсутствует экспериментальный реализм, то возникает опасение, что наблюдаемые каузальные зависимости распространяются только на ситуации, когда люди знают, что они участвуют в эксперименте. Поэто-
му в случае отсутствия экспериментального реализма мы можем почти ничего не узнать о более общих психологических процессах.
В некоторых случаях экспериментатор также стремится к жизненному реализму, наличие которого означает, что манипулирование переменными и их измерение производится таким же образом, как в повседневной жизни (Aronson and Carlsmith, 1968). Если исследователя интересует, как стиль заданных свидетелям вопросов влияет на их воспоминания о связанных с преступлением событиях (см. главу 8), то он может устроить так, чтобы испытуемые стали свидетелями инсценированного преступления, а затем сообщили свои воспоминания о нем при различных условиях допроса. При такой организации эксперимента в нем будет больше жизненного реализма, чем если показать испытуемым серию слайдов, а затем допросить их. Жизненный реализм особенно важен тогда, когда предполагается перенос результатов на специфическую ситуацию или психологический процесс из повседневной жизни, а не на более широкий класс ситуаций или процессов.
Экспериментальная валидность.Мы уже видели, что зависимые переменные должны быть валидными. Концепция валидности также применима к эксперименту в целом, и в этой концепции сведены воедино все основные проблемы, которые мы поднимали при обсуждении методологии проведения экспериментов. Выводы, которые мы получаем из экспериментов, могут быть невалидными — а значит, и непригодными для генерализации — по двум различным причинам. Мы можем ошибочно заключить, что между конкретными манипуляциями и конкретными оценками, которые мы используем, существует каузальная связь, в то время как на самом деле наблюдаемая связь возникла за счет какого-то другого фактора, артефакта или побочной переменной. В этом случае мы сделаем неправильный вывод из-за нарушения внутренней валидности эксперимента. Кроме того, можно также прийти к ошибочному заключению о том, что специфическая каузальная зависимость существует для всех прочих ситуаций с участием концептуальных переменных — ситуаций, которые не оценивались в данном исследовании; т. е. эта зависимость переносится на других людей, другие ситуации, оценки и концептуально эквивалентные манипуляции. В этом случае речь идет об отсутствии внешней валидности эксперимента. Чтобы избежать нарушения внутренней и внешней валидности выводов, нужно учитывать наиболее распространенные причины нарушения валидности, которые возникают при экспериментальных исследованиях, а затем анализировать различные способы планирования экспериментов, позволяющие избежать ошибок того и другого типа.
Давайте сначала рассмотрим некоторые источники нарушения внутренней валидности 1.
1. Внутренние артефакты. Возможно, что эффект, наблюдавшийся экспериментатором, был вызван неконтролируемым событием, которое не предусмотрено экспериментатором. Если дело обстояло именно так, то вывод о том, что эффект вызвала независимая переменная, будет неправильным.
1Дальнейшее содержание этого приложения в основном почерпнуто из книги Campbell and Stanley (1963).
2. Изменения испытуемых. Стимульные события (независимая переменная) могли не являться внешними для испытуемого — возможно, они происходили «внутри» него. Например, испытуемый был болен или беспокоился из-за какой-либо личной проблемы.
3. Эффект предварительного тестирования. Прохождение первого (предварительного) тестирования может повлиять на реакцию испытуемого на второе (итоговое) тестирование.
4. Тенденциозность отбора испытуемых,. Если испытуемые распределяются по экспериментальным группам не случайным образом, то всегда сохраняется возможность того, что различия между экспериментальными группами вызваны не различиями в воздействовавшей на них независимой переменной, а ранее существовавшими различиями между испытуемыми из разных групп.
5. Экспериментальный отсев. Если после того, как испытуемые были случайным образом распределены по экспериментальным группам, некоторые из них выбывают из числа участников эксперимента за счет воздействия какого-либо фактора, не поддающегося контролю, то данные по этим испытуемым исключаются из общего анализа результатов, и выводы о влиянии независимой переменной на зависимую нельзя считать валидными. В число таких неконтролируемых факторов входят решение испытуемого не продолжать свое участие в эксперименте или какие-либо особенности, присущие самому эксперименту.
Для того чтобы понять, какие факторы обеспечивают внешнюю валидность эксперимента — или возможность переноса выводов на других людей, ситуации и тому подобное, — необходимо обсудить концепцию взаимодействия. Предположим, что нас интересует влияние наблюдаемого подкрепления на подражание (см. главу 2). Для изучения этого вопроса мы показываем маленьким детям фильмы, в которых взрослый мужчина-модель избивает куклу. В различных вариантах фильма после избиения куклы модель не получает ничего или получает одну, две, четыре или десять шоколадок. Затем детям предоставляют возможность «поиграть» с куклой, а исследователь регистрирует частоту поведения, похожего на «агрессивные» действия модели. Допустим, что среднее число реакций подражания возрастает с увеличением вознаграждения, полученного моделью в фильме. Исследователь заключает, что увеличение наблюдаемого подкрепления приводит к усилению реакции подражания.
Заметьте, что этот вывод не содержит никаких оговорок или ограничений. В нем подразумевается, что для всех типов моделей, испытуемых, вознаграждений, реакций, ситуаций и всех средств, используемых для представления действий модели, справедлива одна и та же зависимость между величиной наблюдаемого вознаграждения и частотой реакции подражания. В выводе не говорится о том, что эта зависимость получена только для детей определенного возраста, обучающихся в конкретной школе, которые наблюдали, как такой-то мужчина-модель в фильме совершал определенные специфические действия по отношению к кукле, за что получал шоколадки. А что если куклу будет бить модель-женщина — может быть, зависимость окажется другой? Предположим, что на самом деле частота реакции подражания уменьшается с увеличением вознаграждения, предлагаемого женщинам-моделям. Если связь между независимой переменной (величиной наблюдаемого подкрепле-
ния) и зависимой переменной (частотой реакции подражания) изменяется в зависимости от какой-либо другой переменной (в нашем примере это пол модели), то говорят, что происходит взаимодействие переменных, которое определяет результат.
Существует много типов взаимодействий. Частота подражания могла увеличиваться для обеих моделей, но уровни ее возрастания могли быть различными. Или же связи, обнаруженные в каждом из этих случаев, могли иметь противоположный характер (для одной модели частота возрастала, а для другой уменьшалась). Могло даже оказаться, что в одном случае связь наблюдается, а в другом не обнаруживается (величина наблюдаемого подкрепления не оказывает никакого влияния на частоту подражания). Короче говоря, при наличии взаимодействия ограничивается диапазон ситуаций, условий, испытуемых и т. п., на которые можно переносить результаты или зависимости, интересующие исследователя. При исследовании социального влияния и изменения установок редко удается найти переменные, не взаимодействующие с другими переменными, а значит, и сделать выводы, свободные от каких-либо ограничений или оговорок. На самом деле исследователи часто проводят эксперименты, предназначенные специально для выявления взаимодействий, потому что информация о наличии взаимодействия помогает нам решить главный вопрос о том, существует или отсутствует каузальная связь.
Теперь мы можем проанализировать некоторые из наиболее распространенных факторов, которые могут приводить к нарушению внешней валидности.
1. Эффект тестирования. Когда испытуемым предлагается тест, например, для оценки своих установок по соответствующей шкале, может оказаться, что тестирование влияет на то, как они поведут себя в дальнейшем. В исследовании, посвященном оценке установок, тестирование может стать стимульным условием, порождающим установки; до тестирования у испытуемого могло не быть установки по данному вопросу или он изменяет свою истинную реакцию, поняв цель, с которой проводится тестирование или эксперимент. Таким образом, любые результаты будут справедливы только для испытуемых, которые проходили тестирование.
2. Взаимодействие между факторами отбора и экспериментальной переменной. Влияние экспериментальной переменной может сказываться только на испытуемых, относящихся к определенному типу. Например, если изучались только испытуемые с крайними установками, то возможно, что переменные, которые обычно влияют на установки более умеренных в своих взглядах испытуемых, не повлияют на людей с крайними убеждениями.
3. Воздействие условий эксперимента. Специфические различия между условиями, существующими в экспериментальной обстановке, и условиями, существующими вне стен лаборатории, могут играть решающую роль при решении вопроса о границах применимости результатов эксперимента. Например, возможно, что испытуемые в ходе эксперимента всегда имеют сильную мотивацию внимательно прислушиваться к коммуникации, а в естественной обстановке это условие не выполняется.
4. Интерференция экспериментальных воздействий. Иногда каждый испытуемый подвергается тестированию в присутствии и в отсутствие экспериментальной переменной. Поэтому не исключено, что возникнут эффекты, вызванные по-
следовательным воздействием: первая манипуляция не проходит для испытуемого бесследно и сказывается на том, как вторая манипуляция повлияет на его поведение. В таком случае результаты можно переносить только на испытуемых, подвергавшихся воздействию более одного раза, а возможно, только в той же последовательности.
План эксперимента
Теперь, после того, как мы рассказали о некоторых наиболее распространенных причинах нарушения внутренней и внешней валидности эксперимента, давайте посмотрим, насколько успешно можно устранить эти источники ошибок путем использования различных планов эксперимента.
В табл. 1 в обобщенной форме представлен набор, состоящий из пяти чрезвычайно сложных планов эксперимента. Наблюдения или измерения обозначены в таблице буквой О, а буква X относится к экспериментальному воздействию независимой переменной, которое получают испытуемые из данной группы. В каждом из этих экспериментов участвуют, по крайней мере, две группы испытуемых. Некоторые испытуемые получают данное воздействие; другие не подвергаются такому воздействию. Распределение испытуемых по группам, подвергающимся и не подвергающимся экспериментальному воздействию, всегда производится случайным образом (с помощью рандомизации). На случайный характер распределения испытуемых по группам указывает буква R. Например, самый простой из представленных в таблице планов — это план для двух рандомизированных групп. Экспериментальное воздействие получают только испытуемые из первой группы, после чего проводятся наблюдения за обеими группами.
| Группа 1 | R | X | 0 |
| Группа 2 | R | 0 |
В таблице также приводится перечень различных причин нарушения внешней валидности, которые были описаны выше. Если в столбце, соответствующем конкретной причине нарушения валидности, стоит «да», то это означает, что данный план эксперимента не позволяет устранить ошибки такого типа. «Нет» означает, что при данном плане эксперимента такая проблема не возникает. (Причины нарушения внутренней валидности в таблице не указаны. Ни одна из них не является источником проблем, если правильно спланирована и проведена экспериментальная процедура.)
«Лучшим» планом, позволяющим свести к минимуму количество источников нарушения валидности, является план для отдельной выборки с предварительным и итоговым тестированием. В этом случае экспериментатор случайным образом распределяет испытуемых по нескольким группам. Сначала экспериментатор тестирует реакции до экспериментального воздействия, но только у половины испытуемых. Оставшаяся половина испытуемых проходит тестирование через какое-то время. Однако те испытуемые, тестирование которых проводится позднее, также делятся пополам, так что одна группа получает экспериментальное воздействие, а другая не
Таблица 1
Некоторые планы эксперимента, минимизирующие источники нарушения валидности
| Внешние причины нарушения валидности | ||||
| Эффект тестирования | Взаимодействие факторов отбора и экспериментальной переменной | Воздействие условий эксперимента | Интерференция экспериментальных воздействий | |
| Планы эксперимента | ||||
| I. План с предварительным и итоговым тестированием | Да | Возможно | Возможно | Нет |
| Группа | ||||
| 1 RO О | ||||
| 2 ROXO | ||||
| 2. План Соломона для четырех групп | Нет | Возможно | Возможно | Нет |
| Группа | ||||
| 1 ROXO | ||||
| 2 RO О | ||||
| 3 R ХО | ||||
| 4 R О | ||||
| 3. План с тестированием только после воздействия | Нет | Возможно | Возможно | Нет |
| Группа | ||||
| 1 R ХО | ||||
| 2 R О | ||||
| 4. План с серией последовательных тестирований | ||||
| и контролем | Да | Нет | Возможно | Нет |
| Группа: Время —> | ||||
| 1 RООООООО | ||||
| 2 ROOOXOOO | ||||
| 5. План с предварительным и итоговым | ||||
| тестированием для отдельной выборки | Нет | Нет | Нет | Нет |
| Группа |
* Здесь рандомизируется как распределение испытуемых по группам, так и выбор групп, получающих экспериментальное воздействие.
получает. Кроме того, читателю следует обратить внимание на одну важную отличительную особенность этого плана. Можно показать, что концептуальный статус независимой переменной не ограничивается единственным набором конкретных операций. При использовании двух различных наборов операций (Х1 и Х2), которые оба являются производными одной и той же концептуальной независимой переменной, появляется возможность делать из конкретных наблюдений общие выводы, относящиеся к абстрактным переменным.
Это описание показывает, что при любом плане эксперимента рандомизация играет очень важную роль. Важно также, чтобы наблюдения за испытуемыми не влияли на поведенческие результаты экспериментальных воздействий.
