Тестированием на различных выборках

 

При изучении больших популяций, таких, как города, предприятия, школы, воинские подразделения и т. д., часто может оказаться, что, хотя рандомизированное выделение подгрупп для дифференцированного экспери­ментального воздействия и невозможно, все же удается осуществить нечто вроде полного контроля над тем, когда и на ком производить тестирование, применяя процедуры рандомизированного распределения испытуе­мых по группам. Такой контроль позволяет реализовать план 12:

 

R О (X)

                                                                 R  X O.

 

В этой схеме строки представляют случайным об­разом выделенные эквивалентные подгруппы, а скобки при X означают, что результаты предъявления X по данной группе не используются. Одна выборка прохо­дит тестирование до X, а другая — после X. Этот план не относится к числу сильных, на что указывает его графа в табл. 2. Тем не менее часто это единственная возможность, и ею стоит воспользоваться. План 12 при­менялся в социальных исследованиях, которые остают­ся лучшими в своей области (см., например, Star, Hughes[118]). Хотя его называли «имитацией» плана с на­чальным и конечным тестированием (Selltiz, Jahoda, Deutsch, Cook [99, с. 116]), он на самом деле имеет пре­имущество по сравнению с обычным планом с предвари­тельным и последующим тестированием (то есть пла­ном 2), поскольку обеспечивает контроль над глав­ным эффектом тестирования и взаимодействием этого фактора с X. Главным недостатком этого плана являет­ся неконтролируемость фактора фона (см. Star, Hughes [118]).

 

143

 

В этой работе мы стремимся повысить у читателя интерес к «лоскутным» схемам, в которых средства контроля отдельных факторов вводятся более или ме­нее постепенно (в отличие от более изящных «истинных» экспериментов, в которых контроль всех факторов рис­ка для внутренней валидности обеспечивается одной контрольной группой). Повторное применение плана 12 в различных условиях и в разное время, как в плане 12а (см. табл. 2), обеспечивает контроль фонового фактора: если эффект обнаруживается снова, вероят­ность того, что он является результатом действия со­путствующих фоновых событий, снижается. Но неконт­ролируемыми конкурентными объяснениями все еще остаются сезонные циклы и некоторые другие фоновые изменения. Повторение эффекта в других условиях может снизить вероятность того, что он свойствен лишь первоначально взятой популяции. Однако если условия исследования допускают применение плана 12а, то при­меним также и план 13, которому в целом следует от­дать предпочтение.

Ссылка на естественное развитие вряд ли может быть конкурентным объяснением даже в продолжаю­щемся несколько месяцев исследовании общественного мнения. Но при выборочном исследовании обществен­ного мнения или даже в некоторых студенческих ауди­ториях выборки достаточно велики и в возрастном от­ношении достаточно разнородны, чтобы группу, которая подвергается предварительному тестированию, можно было разделить на подвыборки, различающиеся по фактору естественного развития (по признаку возраста, курса и т. д.), и сравнивать эти подвыборки. Фактор естественного развития и, вероятно, более серьезная угроза медленных и сезонных изменений могут так­же контролироваться в плане 12б, где вводится до­полнительная группа, которая подвергается более ран­нему предварительному тестированию. Это сближает данный план с планом временных серий, хотя и без повторного тестирования. Для популяций, подобных упомянутым в примере с пациентами психотерапевти­ческого кабинета, где возможна спонтанная ремиссия, может оказаться несостоятельным имплицитное предпо­ложение о линейности естественного развития. Скорее, оно будет представлять собой постепенно замедляю-

 

144

 

щийся процесс, так что естественное увеличение от O ₁ к O ₂ будет большим, чем от O ₂ к O ₃, что препятствует выявлению эффекта X.

Инструментальная погрешность представляет опас­ность, если план 12 применяется в массовом обследова­нии. Если одни и те же интервьюеры проводят предва­рительное и итоговое тестирование, обычно оказывает­ся, что для многих из них начальное интервью было первым в их жизни, а к конечному они набираются не­которого опыта и, пожалуй, цинизма. Если каждая волна опросов проводится разными, причем немногими, людьми, происходит смешивание личных особенностей интервьюеров с экспериментальной переменной. Если интервьюерам известна гипотеза, то независимо от на­личия или отсутствия воздействия X их ожидания мо­гут породить различия, как это экспериментально пока­зали Стэнтон и Бейкер [117], а также Смит и Хаймен [102]. Идеальным было бы использовать в каждой волне опросов различные эквивалентные случайные вы­борки интервьюеров и держать их в неведении относи­тельно замысла эксперимента. Кроме того, состав ин­тервьюеров может зависеть от времени года, например вследствие того, что в летние месяцы можно использо­вать студентов. Летом число отказов меньше и интер­вью длится дольше, чем зимой. В случаях, когда рес­понденты сами заполняют анкеты в классе или аудито­рии, подобная инструментальная погрешность менее вероятна, хотя изменение установки в отношении анке­ты может оказаться таким, что его будет правильнее считать инструментальной погрешностью, чем влияния­ми X на О.

Если между предварительным и итоговым тестиро­ванием проходит несколько месяцев, то в эксперименте типа 12 возникает проблема выбывания. Если обе вы­борки составлены одновременно (этап R), популяция со временем может меняться: на различных этапах исследования утрачивается доступ ко все большему чис­лу респондентов и из популяции выбывают наиболее мобильные. Сигналом такой опасности служит различие между группами по числу лиц, с которыми интервьюе­рам не удалось встретиться.

По-видимому, в длительном исследовании выборки, на которых проводятся предварительное и итоговое

 

145

 

тестирования, должны составляться независимо друг от друга и в разное время, хотя это в свою очередь служит источником систематической погрешности вслед­ствие возможных изменений в данной части генеральной совокупности. В условиях, например, школы учет посе­щаемости позволяет из результатов предварительного тестирования изъять те, которые принадлежат отсутство­вавшим при итоговом тестировании ученикам. Это об­легчает сравнение результатов обоих тестирований. Чтобы сделать возможной такую коррекцию в массо­вом обследовании, равно как и для дополнительного под­тверждения наличия эффекта, на который не оказывал бы влияния процесс выбывания, группа, выбранная для предварительного тестирования, может быть подверг­нута повторному тестированию (как в плане 12в, где различие O ₁ — O ₂ следует подтвердить путем сравне­ния показателей О₁ — O ₃). Так было построено иссле­дование Дункана и сотрудников [31], посвященное влиянию вводного курса психологии на преодоление ошибочных взглядов. (В этом плане эксперимента на­личие группы, прошедшей оба тестирования, не обеспе­чивает возможности анализа приращений зависимой переменной по отдельным испытуемым ввиду отсутствия контрольной группы для учета влияния регрессии.)

Для экспериментов данного типа характерно то, что они переносят лабораторные методы в полевые условия, на которые исследователь хочет распространить свои выводы, испытывая действие X в естественной обста­новке. Вообще говоря, как показано в табл. 1 и 2, пла­ны 12, 12а, 12б и 12в по обеспечению внешней валидности или возможностям обобщения результатов могут превосходить планы 4, 5, 6 «истинных» экспери­ментов. Они предъявляют к респондентам так мало требований в отношении сотрудничества, пребывания в определенное время в определенном месте и т. д., что можно формировать репрезентативные выборки из за­ранее определенных популяций.

Планы 12 и 13 (и, конечно, некоторые варианты планов 4 и 6, в которых X и О осуществляются в усло­виях индивидуального контакта с обследуемыми) дей­ствительно обеспечивают возможность пользоваться репрезентативными выборками. Плюсы в колонке «взаимодействие состава групп и X»весьма

 

146

 

относительны и могли бы, справедливости ради, быть заменены вопросительными знаками, поскольку, как правило, респонденты выбираются не по теоретиче­ским соображениям, а по признаку готовности уча­ствовать и доступности, что нередко делает их нетипичными представителями генеральной совокупности, на которую предполагается распространить результаты. Но величина смещения, обусловленного составлением групп по признаку доступности испытуемых, намного меньше, чем в планах экспериментов, предъявляющих к ним более высокие требования, так что на этом фоне плюс представляется оправданным.

 

План с контрольными выборками