О теории экспериментирования

 

Этот параграф написан, прежде всего, для специали­ста в области прикладной науки, который хочет пере­нести свое исследование из лаборатории в «производ­ственные» условия. Авторы не могут не сознавать, что

 

108

 

психологи-экспериментаторы с большим подозрением относятся к любой попытке санкционировать исследо­вания, которые не предполагают полного контроля экспериментальных параметров. Следующие общие со­ображения, касающиеся роли эксперимента в науке, от­части приводятся ради оправдания квазиэксперимента в глазах таких ревнителей чистоты исследования. Мы надеемся, что эти соображения согласуются с большин­ством современных воззрений в области философии науки и исходят из того, что могло бы стать в будущем общей психологией индуктивных процессов (Campbell [11]).

Наука, как и другие процессы познания, связана с выдвижением теорий, гипотез, моделей и т. д. и с при­нятием или отклонением их на основе некоторых внеш­них критериев. Экспериментирование принадлежит к этой второй фазе — к фазе прореживания, отклонения, редактирования. Мы можем предположить существова­ние своего рода экологии науки, в которой число потен­циально позитивных гипотез значительно превышает число гипотез, которые, пройдя проверку, окажутся в дальнейшем совместимыми с нашими наблюдениями. Задача сбора данных для испытания теории — это пре­имущественно задача отбрасывания несостоятельных гипотез. Для решения этой задачи полезен любой спо­соб организации наблюдений, определенные результа­ты которых опровергают теорию, в том числе квази­эксперименты, обладающие меньшей эффективностью, чем истинные эксперименты.

Но позволительно спросить: не приведут ли такие несовершенные эксперименты к незаконному подтверж­дению ошибочной теории, не направят ли по ложному пути наши дальнейшие поиски и не поглотят ли напрас­но в наших журналах место десятки статей, посвя­щенных опровержению ошибочно принятой, но броско поданной гипотезы? Риск серьезный, но на него мы должны пойти. Это риск того же рода, если не в такой же степени, как и в случае «истинных» экспериментов, проводимых по планам 4, 5 и 6. Дело в том, что резуль­таты эксперимента никогда не «подтверждают», не «доказывают» теорию. Скорее, успешная теория прове­ряется и избегает опровержения. Слово «доказывает» из-за его частого употребления для обозначения дедук-

 

109

 

тивной валидности приобрело в нашем поколении зна­чение, не соответствующее ни его прежнему употребле­нию, ни его применению в индуктивных процедурах, таких, как экспериментирование. Результаты экспери­мента «опробывают» (probe), а не «доказывают» теорию. Адекватная гипотеза — это гипотеза, которая выдержа­ла неоднократно такие проверки, но она всегда может быть отвергнута новым испытанием.

Теперь уже все понимают, что «нулевая гипотеза», часто используемая как удобный способ формулировать гипотезу эксперимента, никогда не может быть «приня­та» в свете полученных данных. Она может быть толь­ко или «отвергнута», или «не отвергнута». Так же об­стоит дело и с гипотезами в более общем плане: они формально никогда не «подтверждаются». Если мы из удобства и пользуемся этим термином, то, скорее, имеем в виду, что гипотеза была подвергнута критической про­верке, но не опровергнута. Эта точка зрения согласует­ся со всеми положениями юмовской философии науки, которые подчеркивают невозможность дедуктивного до­казательства индуктивных законов. Недавно Хэнсон, [49] и Поппер [90] особенно ясно высказались по этому вопросу. Многие массивы данных, полученные в педагогических исследованиях, мало или вообще не при­годны для проверки гипотез, а многие системы гипотез столь тесно связаны между собой, что их нельзя опро­вергнуть доступными нам средствами проверки. Мы не намерены ратовать за такие псевдоисследования. Об­суждаемые ниже планы экспериментов, как мы надеем­ся, обладают достаточной эффективностью в качестве инструмента проверки гипотез, однако ими следует пользоваться лишь в том случае, когда недоступны бо­лее эффективные средства проверки.

Мнение, что эксперимент никогда не «подтверждает» теорию, хотя и правильно, но настолько противоречит нашим установкам и опыту ученых, что является почти нетерпимым. Оно кажется особенно неудовлетворитель­ным, когда знакомишься с изящными, поразительными подтверждениями теории, нередко встречающимися в физике и химии, где результаты эксперимента могут до мельчайших деталей совпадать в многочисленных точ­ках измерения со сложной кривой, предсказанной тео­рией. И такое представление становится феноменологи-

 

110

 

чески неприемлемым для большинства из нас, если его распространить на индуктивные процессы зрения. Так, трудно свыкнуться с мыслью, что столы и стулья, кото­рые мы «видим» перед собой, не «подтверждены», не «доказаны» визуальными данными, но суть «всего лишь» гипотезы относительно внешних объектов, пока еще не опровергнутые многочисленными проверками в процессе функционирования зрительной системы¹. В этом нашем внутреннем противодействии есть зерно истины.

Степень «подтверждения» определяется для той или иной теории числом правдоподобных конкурентных гипотез, которые могут быть привлечены для объясне­ния результатов. Чем меньше остается таких правдопо­добных конкурентных гипотез, тем больше степень «подтверждения». Надо полагать, на каждой стадии накопления данных, даже в случае самой развитой науки, существует множество совместимых с результа­тами теорий, особенно если допустить все теории, вклю­чающие сложные условные данные. Однако у «вполне установленных» теорий и теорий, полностью опробо­ванных сложными экспериментами, остается мало или вовсе не остается серьезных конкурентов. Эпистемологически это соответствует подтверждению теории в ре­зультате изящных экспериментов. Столь же малое чис­ло конкурентных гипотез имеет место в знании, которое позитивно в феноменальном плане; очевидно, такое знание дает зрение в отличие, например, от относитель­ной неоднозначности слепого тактильного обследования.

В этом плане список источников невалидности, конт­ролируемых в экспериментальных моделях, можно рас­сматривать как перечень часто возникающих правдопо­добных гипотез, конкурирующих с гипотезой об эффек­те, вызванном экспериментальной переменной. План эксперимента, ставящий какой-либо побочный фактор «под контроль», просто делает соответствующую конку­рентную гипотезу маловероятной, даже если при неко­тором стечении обстоятельств этот фактор все еще способен вызвать полученный в эксперименте эффект.

_____________________________________________________________________________

^{1 См. также: К э м п б е л л  Д. Т. Слепые вариации и селектив­ный отбор как главная стратегия процессов познания. — В кн.: Са­моорганизующиеся системы. М., «Мир», 1964. — Прим. ред.}

 

111

 

«Правдоподобные конкурентные гипотезы», которые делают необходимым традиционное использование осо­бых контрольных групп, имеют статус «вполне установ­ленных» эмпирических законов. Это эффект трениров­ки, требующий введения контрольной группы в план 2, внушаемость (контрольные группы здесь вводятся для приема плацебо), хирургический шок (контрольные группы пациентов, подвергаемых ложным операциям) '. Конкурентные гипотезы остаются правдоподобными, по­ка мы склонны приписывать им статус эмпирических за­конов. Если какой-либо параметр не контролируется в квазиэксперименте, необходимо при интерпретации ре­зультатов тщательно выяснить вероятность их объясне­ния за счет неконтролируемых факторов. Чем невероят­нее такое объяснение, тем «валиднее» эксперимент.

Как отмечалось при обсуждении плана Соломона для четырех групп (план 5), чем многочисленнее и не­зависимее способы, с помощью которых демонстрирует­ся экспериментальный эффект, тем менее правдоподоб­на любая отдельно взятая гипотеза, ставящая под со­мнение валидность эксперимента, и тем меньше число таких гипотез. Здесь мы обращаемся к принципу эко­номичности. «Валидность» эксперимента сводится к относительной вероятности конкурирующих теорий — теорий, объясняющих эффект фактором X, и теорий, приписывающих эффект действию неконтролируемых факторов. Если некоторые различия могут быть полно­стью объяснены единственной гипотезой о том, что эф­фект вызван именно X, в то время как для каждого на­блюдаемого отклонения нужно каждый раз строить но­вые предположения о действии неконтролируемых фак­торов, то эффект фактора X становится наиболее убе­дительным. К такой логике вывода часто прибегают в обзорах литературы по экспериментам, в которых отсут­ствует полный контроль. Так, Уотсон [131, с. 296] нашел убедительной гипотезу об отрицательном действии дли­тельного отсутствия матери, ибо это подкреплялось целым рядом разнородных данных, тогда как специфи­ческие неадекватные детали в этих данных были раз-

_____________________________________________________________________________

¹ Этот вопрос подробнее рассматривается в работе «Научный вывод, артефакты и контроль» (см. перевод в данной книге). — Прим. ред.

 

112

 

личными в разных исследованиях. Гликман [40], не­смотря на наличие правдоподобных конкурентных гипотез в каждом из рассмотренных им исследований, счел данные в пользу процесса консолидации убеди­тельными именно потому, что правдоподобная конку­рентная гипотеза менялась от исследования к исследо­ванию. Этот подход, обычно применяемый при комбини­ровании выводов нескольких исследований, сознательно введен в некоторые планы квазиэкспериментов, особен­но в «лоскутные» («patched-up») планы вроде плана 15.

Принцип экономичности не столько оправдан с де­дуктивной точки зрения, сколько является общим пред­положением о природе мира, лежащим в основе почти всех теоретических построений в науке, даже, несмотря на его частую несостоятельность в конкретных прило­жениях. С ним связана другая аргументация правдо­подобия, к которой мы обратимся главным образом при обсуждении широко распространенного плана 10 (хоро­ший план кеазиэксперимента, который нередко путают с экспериментом по плану 4, принадлежащим к разряду истинных экспериментов). Эта аргументация исходит из того, что главный эффект одной переменной считается более вероятным, чем взаимодействие двух других пе­ременных, или в более общем виде — главный эффект более вероятен, чем эффект взаимодействия. В пределе мы можем отметить, что если каждое взаимодействие высшего порядка значимо, если каждый эффект специ­фичен для определенных значений по всем другим по­тенциальным факторам, то наука невозможна. Если мы все-таки можем делать обобщения, то только потому, что множеством потенциально определяющих факторов можно пренебречь. Андервуд [129, с. 6] ссылался на это как на постулат конечной каузальной связи.

Следующие страницы посвящены экспериментам, в которых изучается одна-единственная группа. Начиная с 1920 гг. самыми распространенными планами экспери­ментов в психологии и педагогике стали планы с при­менением контрольной группы (см. планы 4, 6 и осо­бенно план 10, о котором пойдет речь ниже). В соци­альных науках и полевых исследованиях планы экспе­риментов, включающие контрольные группы, заняли столь господствующее положение, что, похоже, сделались

 

113

 

для многих синонимом эксперимента вообще. В резуль­тате возникла опасность того, что ряд научных работ­ников откажется от процедур, сходных с экспериментированием, если нельзя будет сформировать контрольные труппы, и в итоге исследование проиграет в точности больше, чем было бы необходимо. Существует, однако, несколько разновидностей квазиэкспериментальных планов, применяемых при обследовании отдельных групп, и этими планами с успехом можно пользоваться, сохраняя логику экспериментального подхода и воз­можность интерпретации результатов во многих случа­ях, когда обращение к контрольной группе невозможно. Так, эксперимент часто проходит в производственных условиях — учитель имеет в своем распоряжении соб­ственный класс, директор средней школы может прово­дить периодические опросы и т. д. В таких случаях диф­ференцированное предъявление воздействия различным участникам обследования (что необходимо для экспе­римента с использованием контрольных групп) часто невозможно по причинам административного порядка, а если даже возможно, то нежелательно из-за возник­новения реакции испытуемых на эксперимент. В таких условиях стоит взвесить целесообразность ограничиться планами эксперимента с использованием одной группы испытуемых.

 

Эксперимент по плану временных серий

 

Суть эксперимента данного типа состоит в осуществ­лении серии периодических замеров на некоторой груп­пе или индивиде с введением экспериментального воз­действия посреди серии. На эффект воздействия указы­вает нарушение непрерывности результатов измерения, регистрируемых в этой серии. Этот план может быть представлен схематически следующим образом: 

 

O ₁ O ₂ O ₃ О ₄X O ₅ O ₆ O ₇ O ₈.

 

Этот экспериментальный план типичен для многих клас­сических исследований, проводившихся в XIX в. в фи­зических науках и биологии. Так, если железный бру­сок, вес которого оставался неизменным в течение не-

 

114

 

скольких месяцев, окунуть в азотную кислоту, а затем вынуть из нее, то вывод, связывающий пребывание бруска в азотной кислоте и уменьшение его веса, будет основываться, в общем, на той же логике. На полке могли бы находиться «контрольные группы» брусков, вес которых оставался бы неизменным, однако вряд ли кто-нибудь счел бы нужным их взвешивать. Вероятно, этот тип эксперимента признается валидным в более успешных науках, тогда как он редко удостаивался упомина­ния в списках экспериментальных планов, применяемых в социальных науках (см., однако, Maxwell [73]; Underwood [129, с.133]). Различное отношение к этому типу эксперимента имеет свои основания, тщательное рас­смотрение которых позволит лучше понять, когда он мо­жет осмысленно применяться в социальных науках в отсутствие более полного контроля параметров экспери­мента. Данный план типичен для классических проце­дур, применявшихся Британской комиссией по исследо­ванию производственного утомления при изучении фак­торов, влияющих на выпуск   продукции (например, Farmer, Brooks, Chambers [34]).

На рис. 3 изображены некоторые возможные резуль­таты серии периодических замеров, то есть так называе­мые временные ряды. Момент включения эксперимен­тального воздействия всюду отмечен вертикальной ли­нией X. Предположим, что исследователь будет склонен делать вывод о наличии эффекта X в случаях А, Б, а также, вероятно, в случаях В, Г и Д и не будет склонен делать его в случаях Е, Ж и 3, даже если скачок в ре­зультатах замера от O ₄ к О ₃ в них столь же велик и статистически стабилен, как и для А и Б, например. Отложив пока обсуждение статистической обработки, отметим лишь, что проблема внутренней валидности сводится к вопросу о правдоподобных конкурентных гипотезах, которые дают вероятные альтернативные объяснения сдвигу во временном ряду за счет факторов, отличных от X. Факторы, которые в оптимальных усло­виях контролируются рассматриваемым планом экспе­римента, приводятся в табл. 2. Сильные стороны этого типа эксперимента особенно заметны на фоне плана 2, с которым он имеет внешнее сходство, выражающееся в отсутствии контрольной группы и применении тести­рования до и после X.

 

115

 

 

 

Р и  с. 3. Некоторые возможные результаты введения экспери­ментального воздействия в точке X для серии периодических замеров   О ₁ — O ₈.  За исключением случая Г, увеличение от O ₄ к O ₅ одинаково  для  всех  временны́х   рядов,  хотя   право мерность вывода о наличии эффекта весьма

различна: она максимальна для кривых А и Б и совершенно отсутствует в случаях Е, Ж и З.

 

Просматривая список источников угроз внутренней валидности в табл. 2, мы видим, что слабым местом эксперимента по плану 7 является отсутствие контроля фона. Иначе говоря, возможна конкурентная гипотеза о том, что сдвиг в результатах вызван не X, а другими

 

116

117

118

 

событиями, происшедшими примерно в то же самое время. Именно от правомерности устранения гипотезы о роли фона зависит достоверность интерпретации та­кого эксперимента. Взять, к примеру, эксперимент, пре­дусматривающий повторные измерения для выяснения влияния документального фильма на оценку школьни­ками вероятности войны. Здесь отсутствие полного конт­роля над происходящими параллельно событиями будет иметь серьезные последствия, так как очевидно, что, помимо воздействий, контролируемых экспериментато­ром в классе, дети ежедневно подвергаются многим дру­гим, потенциально имеющим отношение к вопросу вой­ны и мира. Конечно, даже при таком изобилии неэкспе­риментальных воздействий, которые могут оказывать влияние на результаты опыта, возможна их правдопо­добная интерпретация, оправдывающая постановку дан­ного эксперимента. Как отмечалось выше, фактор фона порождает условия, противоположные тем, которые в физической или биологической лаборатории были бы названы экспериментальной изоляцией. Вероятность фоновых воздействий в качестве источника наблюдае­мого сдвига, вроде того, что мы находим на рис. 3 (кри­вые А и Б), в значительной мере зависит от степени экспериментальной изоляции, которую в состоянии обеспечить экспериментатор. Павловские исследования ус­ловных рефлексов у собак, по существу являющиеся экспериментами «на одной группе» или «на одном жи­вотном», не служили бы в такой мере подтверждению его теорий, если бы опыты велись не в звуконепро­ницаемой лаборатории, а на оживленном перекрестке. Что конкретно понимать под экспериментальной изоля­цией, зависит от изучаемой проблемы и от характера применяемой измерительной процедуры. Обеспечение экспериментальной изоляции при исследовании элемен­тарных частиц в камере Вильсона или счетчиками сцин­тилляций требует принятия более серьезных мер пред­осторожности, чем в воображаемом эксперименте с железным бруском, погружаемым в азотную кислоту. Во многих ситуациях, в которых применим план 7, экспериментатор мог бы с большой степенью уверенно­сти говорить о наличии экспериментальной изоляции в том смысле, что он знал, какие конкурентные события

 

119

 

могли бы обусловить наблюдавшийся эффект, и сумел существенно снизить вероятность их действия.

К фону можно из соображений удобства отнести влияние погоды и времени года. Так, при исследовании производительности труда рабочих может иметь место смешивание экспериментального фактора с сезонными изменениями в освещенности, погоде и т. д. Поэтому соответствующие эксперименты обычно проводятся в различное время года.

Пожалуй, легче всего контролировать действие цик­лических факторов фона, связанных с институциональ­ными обычаями в жизни группы (недельные циклы тру­да, выдачи зарплаты, периоды экзаменов, каникулы, школьные праздники), вызывающих периодические из­менения зависимой переменной. В известном смысле эти факторы близки фактору естественного развития. При проведении серии наблюдений нужно стремиться к тому, чтобы известные циклы оставались постоянны­ми или серия по длительности охватывала несколько таких циклов.

Продолжим анализ факторов, которые подлежат контролю. Естественное развитие, когда результаты наблюдений отвечают кривым А и Б на рис. 3, не может служить правдоподобным объяснением скачка, имевше­го место между O ₄ и О ₅, но отсутствовавшего в другие периоды времени. (Однако естественное развитие не всегда бывает гладким, регулярным. Так, внезапное наступление первой менструации у школьниц способно сместить значения физиологических показателей, созда­вая в случае плана 7 ложный экспериментальный эф­фект.) Точно так же не является допустимой конку­рентной гипотезой для скачка между O ₄ и O ₅ и влия­ние тестирования. Но, располагая, как в эксперименте по плану 2, только этими наблюдениями (в точках О ₄ и O ₅), мы не можем считать неправдоподобными эффекты естественного развития и тестирования. В этом большое преимущество данного плана перед пла­ном 2.

Аналогично для плана 7, в отличие от рассмотрен­ных ранее планов, возможные ссылки на инструменталь­ную погрешность будут лишены конкретных оснований, поскольку нет причин ожидать, что ошибка прибора будет иметь место именно в этом замере. Однако вопро-

 

120

 

сительный знак в табл. 2 требует обратить внимание на ситуации, в которых изменение калибровки средства измерения может быть неправильно истолковано как эффект X. Если в измерительной процедуре используются оценки, даваемые лицами, знакомыми с замыслом эксперимента, то может иметь место ложное подтверждение гипотезы из-за того, что испытуемые представляют себе, каковы должны быть ожидаемые результаты. Так, экспериментальное воздействие в виде назначения но­вого директора школы может повлиять на регистрацию нарушений школьной дисциплины, а не на число самих нарушений. При использовании плана 7 для определе­ния эффекта значительных изменений в административ­ной политике необходимо избегать одновременного пе­рехода к новой процедуре измерения. В большинстве случаев, чтобы сохранить возможность интерпретиро­вать результаты серии замеров, лучше бывает продол­жать использование устаревшей процедуры, а не пере­ходить к новой.

Эффект регрессии обычно выражается функцией с отрицательной второй производной по времени (negatively accelerated function) и поэтому не даст правдопо­добного объяснения большего эффекта O ₅, чем в точке O ₂, O ₃ и O ₄. Фактор состава экспериментальной груп­пы как источник главного эффекта отпадает так же, как и для эксперимента типа 2, если все замеры произво­дятся на одних и тех же лицах. Если данные по группе регистрируются в основном в индивидуальном поряд­ке, то, как и в плане 2, отпадает фактор выбывания из групп. Однако если наблюдения относятся к группе в целом, то необходимо параллельно регистрировать из­менения в составе группы, следя за тем, чтобы совпа­дения в изменении личного состава не давали основа­ний для конкурентной гипотезы.

Перейдем теперь к внешней валидности. Ясно, что экспериментальный эффект может быть характерен только для тех членов популяции, которые подвергают­ся повторной проверке. Это вряд ли составляет ограни­чение исследований в области школьного обучения, если эксперимент не включает процедуры тестирования (О), необычные для школьной обстановки. Более того, эксперимент данного типа обычно подходит для тех учреждений, в которых сбор и регистрация данных ве-

 

121

 

дутся постоянно и составляют естественную часть окру­жения. Годовые проверки уровня знаний в средних шко­лах, отметки о болезни и т. д. обычно не сопряжены с реакцией на эксперимент в том смысле, что они типич­ны для генеральной совокупности, на которую хотят распространить сделанные выводы. Взаимодействие между составом группы (отбором испытуемых) и X означало бы, что полученный эффект является особен­ностью данной выборки и что он не типичен для изучаемой генеральной совокупности, относительно ко­торой сформированная естественным путем эксперимен­тальная группа была бы смещенной выборкой. Так, спе­цифика данных может вынудить исследователя ограни­читься результатами только тех учеников, которые в течение долгого времени не пропустили ни одного обсле­дования, то есть явно отобранного подмножества. Кро­ме того, если использовались новые измерительные про­цедуры О, то повторные случаи этого могли провоциро­вать уклонение от обследований.

Если такие временные серии интерпретируются как эксперименты, важно, чтобы экспериментатор заранее уточнил, сколько времени должно пройти между введе­нием экспериментальной переменной и проявлением ее эффекта. При наличии этих данных форма кривой Г на рис. 3 будет почти столь же определенно указывать на наличие эффекта, как и кривая А. Массовые обследо­вания, в которых решения основываются на интерпрета­циях отсроченных эффектов, нуждаются в перекрестной валидизации. При увеличении времени отсрочки растет также вероятность появления эффектов, вызванных фактором фона.

Столь же важно, чтобы исследователь определил X еще до того, как он приступит к анализу временной серии. Попытки установить post hoc, какое X предше­ствовало наиболее значительному сдвигу, следует иск­лючить на том основании, что допускаемый при этом произвол затрудняет, а то и делает вовсе невозможным проверку значимости эффектов.                                    

Преобладание экспериментов рассматриваемого типа в более успешных науках должно внушать определен­ное уважение к нему. Однако нам нужно помнить, что благодаря «экспериментальной изоляции» и «постоян­ству условий» там имеется больше возможностей для

 

122

 

интерпретации результатов. Следует также иметь в виду, что там никогда не делается вывод по данным одного эксперимента. План 7 воспроизводится в самых различных условиях разными исследователями, прежде чем устанавливается закон, хотя они могут никогда не обращаться к контрольным группам. Мы также долж­ны следовать этому правилу. Если лучший контроль невозможен, мы будем пользоваться этим планом экс­перимента. Нам нужно так организовать дело, чтобы получать как можно больше временных серий, и поста­раться более детально, чем раньше, изучить влияние административных изменений и других внешних внезап­ных и случайных событий в качестве X. Но результаты не будут считаться достоверными, пока они не будут многократно воспроизведены в различных условиях¹.

 

План с эквивалентными

Временными выборками

 

Эксперимент в его наиболее типичной форме пред­полагает использование эквивалентной выборки испы­туемых, чтобы получить «базовую линию», с которой сравнивается действие экспериментальной переменной. В отличие от этого рекуррентная форма эксперимента с одной группой использует две эквивалентные выборки ситуаций, в одной из которых экспериментальное воздействие имеет место, а в другой — нет. Схема та кого эксперимента имеет следующий вид (хотя предпоч­тительнее случайное, а не регулярное чередование):

 

Х ₁ O X ₀ O Х ₁ O X ₀ O.

 

Этот эксперимент можно рассматривать как разновид­ность временной серии с повторным введением экспери­ментального воздействия. Достоинства такого экспери-

_________________________________________________________________________________

¹ В последнее время было разработано много приемов, которые могут быть использованы для статистической обработки результатов экспериментов по этому плану. См., например: B o x  G. E. P., T i a o G. C. Intervention analysis with applications to economic and environmental problems. — «Journal of Amer. Statistical Association» 1975, v. 70, p. 70—92; B o x  G. E. P., T i a o  G. C. A change in level of a non-stationary time series. «Biometrica», 1965, v. 52, p. 181—192.

 

123

 

мента наиболее очевидны, когда ожидается, что эффект воздействия будет носить преходящий или обратимый характер. Хотя этот эксперимент может трактоваться как расширенный вариант временной серии, методика статистического анализа более сходна с обработкой ре­зультатов эксперимента, использующего две группы, в котором применяется критерий значимости различий между средними двух наборов измерений. Обычно из­менения точно совпадают с экспериментальными воз­действиями, часто сопутствуя им, как в исследованиях научения, производительности труда, выработки услов­ных связей, физиологических реакций и т. д. Среди ран­них примеров применения этого типа эксперимента, пожалуй, самыми типичными были исследования Олпорта [1] и Сорокина [105], в которых изучалась эффек­тивность деятельности учащихся в различных условиях, причем сравнивалось не наличие и отсутствие экспери­ментального воздействия, а два различных эксперимен­тальных воздействия, то есть Х ₁и Х ₂.В большинстве случаев простое чередование условий и использование постоянных промежутков времени нежелательны, осо­бенно если имеется опасность смешивания эффекта X с влиянием дневных, недельных или месячных циклов или когда очевидная периодичность приводит к выра­ботке нежелательной реакции на временной интервал, что в свою очередь может усилить различие между двумя воздействиями. Так, Сорокин позаботился о том, чтобы каждое из экспериментальных воздействий имело место с одинаковой частотой в утреннее и послеобеден­ное время.

В большинстве экспериментов, проведенных до сих пор по данному плану, каждое экспериментальное воз­действие повторялось сравнительно небольшое число раз. Однако тип обобщения теории выборочного иссле­дования, представленный в работе Брунсвика [9], за­ставляет обратить внимание на необходимость примене­ния больших, репрезентативных и эквивалентных случайных выборок временных интервалов. Керр [63], по-видимому, очень близко подошел к этому идеалу в своих исследованиях влияния музыки на производитель­ность труда в промышленности, В каждой серии, его опытов использовалась единственная эксперименталь­ная группа и применялись рандомизированные выборки

 

124

 

дней в течение каждого месячного периода. Так, в од­ном эксперименте он сравнил 56 «музыкальных» дней с 51 днем без музыки, а в другом — влияние трех раз­личных видов музыкальных произведений, каждый из которых был использован в эквивалентных выборках по 14 дней.

В том виде, в каком план 8 применялся Керром, он в целом представляется внутренне валидным. Фактор фона, самое слабое место временной серии, контроли­руется благодаря предъявлению X в большом числе отдельных случаев, что делает крайне малоправдопо­добным любое конкурентное объяснение результатов за счет одновременного действия побочных явлений. Другие источники невалидности находятся под контро­лем в силу тех же соображений, которые были подроб­но приведены для плана 7. Что касается внешней валидности, то обобщение возможно только по отношению к часто обследовавшимся популяциям. Реакция испы­туемых на эксперимент, осведомленность об экспери­ментировании — особенно уязвимое место данного плана. Если отдельные воздействия X применяются пос­ледовательно к различным группам, то испытуемые (особенно в плане 6) могут даже не подозревать, что проводится опыт и сравниваются различные воздей­ствия. Иное дело, если исследуется одна-единственная группа, для которой повторно создаются те или иные ус­ловия — например, применяется то один, то другой спо­соб расчета зарплаты, как в опытах Сорокина; или то одни, то другие условия работы, как у Олпорта; или то один, то другой вид вентиляции (Wyatt, Fraser, Stock [138]; или то один, то другой музыкальный жанр (хотя Керр принял меры предосторожности, чтобы раз­нородная программа стала естественной составной ча­стью рабочего окружения). Что касается взаимодей­ствия состава групп с X, то здесь, как и обычно, суще­ствуют ограничения в распространении обнаруженного эффекта на всю популяцию.

В плане 8 кроется риск для внешней валидности. Его можно обнаружить во всех тех экспериментах, упоминаемых в данной работе, в которых на одной и той же группе испытывается действие нескольких уров­ней X. Этот эффект был обозначен как «межуровневая интерференция X». Эффект X ₁, который в простей-

 

125

 

шем случае сравнивается с действием Х ₀,может быть распространен только на условия повторного и разде­лённого промежутками времени предъявления Х ₁. Нет оснований распространять его на возможные ситуации непрерывного действия Х ₁или на случаи, когда Х ₁ появляется один-единственный раз. Кроме того, условие Х o, то есть отсутствие X, не типично для периодов от­сутствия X вообще. Оно репрезентативно только для отсутствия X, перемежающегося с его наличием. Если Х ₁обладает некоторым последействием, распространяю­щимся на периоды без X, как это обычно представляет­ся вероятным, применение плана 8 может привести к недооценке эффекта Х ₁в сравнении, скажем, с планом 6. Кроме того, сам факт частых изменений может уве­личить значение X как стимула по сравнению с тем, что было бы при непрерывном, гомогенном воздействии. Гавайская музыка в опытах Керра могла бы совсем по-иному влиять на работу испытуемых, если бы она не перемежалась с другими жанрами, а составляла посто­янный «музыкальный рацион». Эксперименты Эббингауза [32], очевидно, в основном принадлежат к этому типу, и, как отмечал Андервуд [128], установленные им законы распространяются только на тех, кто усвоил десятки других весьма сходных списков. Многие из его результатов фактически недействительны для людей, запоминающих единственный список бессмысленных слогов. Таким образом, хотя этот план эксперимента внутренне валиден, его внешняя валидность значитель­но ограничена некоторыми типами содержания (см. также Kempthorne [58, гл. 29]).

Отметим, однако, что действие многих факторов школьного обучения, представляющих интерес для экспериментального исследования, во всех практически важных отношениях ограничено временем фактическо­го присутствия X. В таких случаях данная схема может оказаться весьма ценной. Предположим, что учитель стремится выяснить значение чтения вслух по сравне­нию с индивидуальным чтением про себя. Применяя в серии уроков то один, то другой способ, он может про­вести эксперимент, результаты которого поддаются ин­терпретации. Этим путем можно исследовать и эффект присутствия кого-либо из родителей в классе во время добровольной дискуссии учеников. Знание такого плана

 

126

 

сделает экспериментальную проверку альтернатив до­ступной для учителя. Это позволит проводить пробные испытания методик, которые в случае положительного исхода могут быть исследованы посредством более об­ширных и более скоординированных экспериментов.

Этот подход может быть применен в отношении вы­борок ситуаций при исследовании одного испытуемого. Примером может служить рекуррентный план экспери­мента, реализуемый (обычно без проверки статистиче­ской значимости) в физиологических исследованиях, в которых животному повторно предъявляют стимулы, стремясь избежать какой бы то ни было периодичности стимуляции, что соответствует требованию рандомиза­ции, следующему из логики эксперимента. Вместо про­стой рандомизации могут также быть использованы ла­тинские квадраты (см., например, Cox [26]; Maxwell [73]).

 

 

Проверка значимости для плана 8

 

Для данного конкретного типа эксперимента нам опять необходима соответствующая процедура провер­ки статистической значимости экспериментального эф­фекта. Отметим, что предполагается два типа обобще­ния: по ситуациям и по испытуемым. В случае если используется лишь один испытуемый, проверка значимости эффекта, очевидно, будет ограничена обоб­щениями в отношении только данного индивида и будет предполагать обобщение ситуаций (реализации X). Для этой цели подходит t -критерий с числом степеней сво­боды, равным числу ситуаций (реализаций) минус 2. При наличии индивидуальных результатов по ряду ис­пытуемых, которым как членам одной группы предъяв­лялось одно и то же экспериментальное воздействие, данные позволяют осуществить обобщение в отношении испытуемых. В этой ситуации обычно применяются две стратегии. Ошибочная стратегия состоит в получении для каждого испытуемого по одному численному ре­зультату при каждом воздействии и затем в проверке значимости различий между средними, при использова­нии коррелированных данных. Этой логике следовали Олпорт и Сорокин, хотя они фактически не прибегали к проверке значимости эффекта. Но если каждая экспе­риментальная ситуация воспроизводится всего один или

 

127

 

два раза, ошибка выборки по ситуациям может быть весьма значительной или контроль фоновой стимуляции может оказаться весьма слабым. И то, что при таком способе анализа будет представляться значимым разли­чием, в какой-то мере может быть вызвано случайными ошибками выборки. Такая ошибка станет весьма серь­езной, если велик и статистически значим обучающий эффект тестирования. Так, согласно этой логике мож­но получить весьма значимые различия между Х ₁и Х ₂, когда каждое из этих воздействий применялось только однажды и когда одно из них совпало с появлением побочной стимуляции, оказавшей заметное влияние на результат. Поэтому важно, чтобы каждое воздействие (Х ₁и Х ₂ ) имело по крайней мере две реализации и тем самым были представлены степени свободы случа­ев (ситуаций), сгруппированных по данному воздей­ствию. Это требование, вероятно, легче всего удовле­творить путем первоначальной проверки значимости различия между средними для обоих воздействий, срав­нивая ее с величиной ошибки реализации каждого воз­действия. Установив таким путем значимость эффекта экспериментального воздействия, можно определить, для какой части испытуемых он имеет место, и тем са­мым получить сведения о воспроизводимости (обобщаемости) эффекта на разных испытуемых. Повторные измерения и использование выборок ситуаций ставят на повестку дня многие статистические проблемы, часть которых все еще не решена (Collier [24], Cox [26], Kempthorne [58]).

 

План с сериями

Эквивалентных воздействий

 

С планом эквивалентных временных выборок тесно связан план 9, основанный на эквивалентности выборок материала, которые используются в сравниваемых ре­жимах эксперимента. При этом всегда или почти всегда в эксперименте используются и эквивалентные вре­менные выборки, но они могут быть так тонко и запу­танно переплетены друг с другом, что весь эксперимент практически однороден во времени. Применение эквива­лентного материала при повторной реализации X в од-

 

128

 

ногрупповом эксперименте требуется в том случае, когда эффект воздействия оказывается стойким, вслед­ствие чего различные воздействия и их повторные реа­лизации должны осуществляться с использованием не­идентичного материала. Схема такого эксперимента выглядит следующим образом:

 

M _a X ₁ O M _b X ₀ O M _c X ₁ O    М _d Х ₀ O и т. д.

 

Буква М обозначает здесь конкретный материал, при­чем выборка М_а, М_с и т. д. с точки зрения выборочного анализа эквивалентна выборке M_d, M_b и т. д. Важность выборочной эквивалентности двух комплектов матери­ала более отчетливо выступает при таком изображении плана эксперимента:

 Один испытуемый       Выборка материала    А(O)Х ₀ O

или группа              Выборка материала    B (O) Х ₁ O.

Буква О в скобках обозначает наличие предварительно­го тестирования в некоторых вариантах плана.

Отличной иллюстрацией служат ранние эксперимен­ты Йоста [55], сравнивавшего запоминание в режимах концентрированного (К) и распределенного (Р) заучи­вания. Для третьего эксперимента были более или менее случайным образом составлены 12 списков из 12 бес­смысленных слогов в каждом. Шесть списков предъяв­лялось в режиме К и шесть в режиме Р. Все 12 списков заучивались одновременно в течение семи дней, причем в расписании опыта они всячески перемежались друг с другом, что позволяло контролировать утомление и другие посторонние факторы. Всего в период с 6 нояб­ря 1895 г. по 7 апреля 1896 г. было использовано 7 на­боров по 12 списков, так что в конце эксперимента Йост располагал результатами по 40 спискам слогов, заучивавшимся в режиме К, и по 40 спискам, заучивав­шимся в режиме Р. Возможность интерпретации разли­чий, обнаруженных на одном испытуемом, профессоре Г. Э. Мюллере, зависит от выборочной эквивалентности применявшихся неидентичных списков. При этих огра­ничениях эксперимент, по-видимому, обладает внутрен­ней валидностью. Результаты, конечно, относятся лишь

 

129

 

к психологии профессора Г. Э. Мюллера в 1895— 1896 гг. и к совокупности мнемического материала, из которого составлялись выборки. Для того чтобы можно было делать выводы относительно свойств человеческой памяти вообще, необходимо было, конечно, повто­рить этот эксперимент со многими другими испы­туемыми.

Другой пример взят из ранних исследований кон­формизма. Так, Мур [81] получил «контрольную» оценку стабильности ответов на вопросник при повтор­ном предъявлении одной серии вопросов, а затем срав­нил с ней изменения, возникшие при повторном предъ­явлении другой серии вопросов, во время которого испытуемым сообщалось мнение большинства. Рассмот­рим исследование, в котором учащихся просят изложить свои мнения по длинному списку вопросов. Этот список затем подразделяется на две по возможности эквива­лентные части. Затем вопросники, в которых по каждо­му вопросу указано «мнение большинства», возвраща­ются испытуемым. «Групповые суждения» сфабрикова­ны так, чтобы для двух выборок вопросов они были противоположны друг другу. В заключение ученики снова отвечают на все вопросы списка. Поскольку обе половины вопросника эквивалентны друг другу, разли­чия в смещении между двумя экспериментальными воз­действиями служили бы определенной эксперименталь­ной демонстрацией влияния сообщаемого мнения боль­шинства даже в отсутствие какой-либо контрольной группы испытуемых.

План 9, как и план 8, обладает внутренней валидностью по всем пунктам, причем, в общем, по тем же причинам. Что же касается внешней валидности, то для плана 9, как и для всех экспериментов с повтор­ными измерениями, результаты нередко имеют силу только в отношении данных испытуемых. В эксперимен­тах по научению измерения обычно до такой степени составляют часть обстановки опыта (это не обязатель­но относится к методу Йоста, предполагавшему заучи­вание списка путем многократного его чтения), что по­добное ограничение обобщения становится несуществен­ным. План 9, по-видимому, вызывает меньшую реакцию испытуемых на эксперимент, чем план 8, ввиду разно­родности материала и большей возможности скрыть от

 

130

 

испытуемых применение различных воздействий в раз­ное время по разным пунктам. Такая низкая реактив­ность была бы обнаружена в исследованиях конформиз­ма, но не в экспериментах Йоста. Интерференция меж­ду уровнями экспериментальной переменной или между различными материалами является, вероятно, наиболее уязвимым местом данного типа эксперимента, как и в случае плана 8.

На конкретном примере опытов Йоста виден харак­тер ограничений, связанных с обобщением результатов. Сам он считал, что распределенное заучивание эффек­тивнее концентрированного. Мы видим, что по условиям эксперимента он имел право распространять этот вы­вод только на тех лиц, кому приходится заучивать мно­го списков, то есть на случаи высокого общего уровня интерференции. Современные же исследования показы­вают, что превосходство распределенного заучивания ограничивается именно этими ситуациями и что в слу­чаях заучивания совершенно нового материала данный способ не обладает никакими преимуществами (Underwood, Richardson [130]).

 

Статистика для плана 9

 

Вопросы валидности и доказательности эксперимен­та, очевидно, возникают и в связи с применением выбо­рок экспериментального материала. Число N при вычис­лении значимости различий между средними по груп­пам, которым предъявлялось воздействие, должно было быть равным числу списков в эксперименте Йоста (или числу вопросов анкеты при изучении конформизма), так, чтобы оно представляло соответствующее простран­ство выборки. К этому необходимо добавить основание для обобщения по испытуемым. Вероятно, лучшим в настоящее время является поэтапный подход: сначала производится обобщение по выборке списков или воп­росов, после чего для каждого испытуемого вычисляется величина экспериментального эффекта и полученные значения используются как основа для обобщения по испытуемым. (Связанные с этим меры предосторожно­сти излагаются в литературе, указанной при обсужде­нии плана 8.)

 

131

 

План с неэквивалентной

Контрольной группой

 

В педагогических исследованиях наибольшее рас­пространение получил эксперимент, в котором экспери­ментальная и контрольная группы подвергаются тести­рованию до и после изучаемого воздействия, причем обе группы не эквивалентны друг другу до эксперимента. Скорее, они представляют собой естественно сложив­шиеся коллективы (например, школьные классы), по возможности сходные, но не настолько, чтобы различие между ними не обнаруживалось во время предваритель­ного тестирования. Считается, что выбор, к какой из групп должно быть применено воздействие X, явля­ется случайным и подлежит контролю экспериментатора.

 

                                                         O X O

                                                                ---------------.

                                                        O        O

 

В отношении такого плана экспериментов нужно ясно представлять себе две вещи. Во-первых, его не следует смешивать с планом 4, в котором испытуемые из общей популяции распределяются по обеим группам в случайном порядке. Во-вторых, данный план экспери­мента все же стоит применять во многих случаях, когда использование планов 4, 5 или 6 невозможно. В част­ности, следует признать, что добавление даже неурав­ненной или неэквивалентной контрольной группы зна­чительно снижает неоднозначность интерпретации результатов по сравнению с тем, что имеет место при плане 2. Чем больше сходства в составлении эксперимен­тальной и контрольной групп, чем больше их сходство подтверждается результатами предварительного тести­рования, тем эффективнее становится это средство конт­роля. Если это требование внутренней валидности в какой-то степени выполнено, то можно считать, что в данном типе эксперимента контролируются главные эф­фекты фоновой стимуляции, естественного развития, те­стирования и инструментальной погрешности в том смысле, что различия в результатах тестирования в экс­периментальной группе до и после введения X (если они выше, чем те же различия для контрольной группы) нельзя объяснить за счет главных эффектов этих пере-

 

132

 

менных, оказывающих влияние, как на эксперименталь­ную, так и на контрольную группу. (Следует, однако, серьезно отнестись к замечанию, сделанному в связи с планом 4 по поводу посторонних воздействий в проме­жутках между сериями эксперимента.)

Попытки объяснить наблюдавшийся сдвиг в резуль­татах экспериментальной группы за счет таких побоч­ных факторов, как фоновая стимуляция, естественное развитие или влияние тестирования, должны предпола­гать взаимодействие между этими переменными и конк­ретными различиями в составе двух групп. Хотя, вооб­ще говоря, такие взаимодействия и маловероятны, суще­ствует ряд ситуаций, в которых подобное предположение допустимо. Пожалуй, чаще всего имеют место взаимо­действия с фактором естественного развития. Если экспериментальная группа состоит из пациентов, про­ходящих курс психотерапии, а роль контрольной груп­пы играет какая-либо другая доступная совокупность испытуемых, то смещение показателей эксперименталь­ной группы можно интерпретировать как процесс спон­танной ремиссии, являющейся особенностью именно данной необычной группы и возможной даже без X. Такое взаимодействие факторов состава групп с есте­ственным развитием (или с фоновыми событиями, или с эффектом тестирования) может быть ошибочно при­нято за эффект X и, следовательно, составляет угрозу для внутренней валидности эксперимента. По этому критерию (см. 8-ю колонку табл. 2) план 10 отличает­ся от плана 4.

Поясним это на конкретном примере педагогическо­го исследования. К типу 10 принадлежит проведенное Санфордом и Хемфиллом [97] изучение влияния препо­давания психологии в университете города Аннаполис, Экспериментальная группа состояла из второкурсни­ков, а контрольная — из студентов третьего курса. Бо­лее высокие показатели изменений, зарегистрированные в экспериментальной группе, могли объясняться отчасти за счет тех сложных процессов, которые происходят скорее в течение первых двух лет обучения, чем на третьем и четвертом курсах, что было бы проявлением различия во взаимодействиях между факторами состава групп и естественного развития, а не за счет экспериментальной программы. Примененная Санфордом и

 

133

 

Хемфиллом контрольная группа допускает проверку данной конкурентной интерпретации (в духе рассмат­риваемого ниже плана 15). На основе гипотезы о взаи­модействии факторов состава группы и естественного развития можно было бы предсказать, что превосход­ство третьекурсников (контрольной группы) над второ­курсниками при первоначальном испытании окажется примерно того же порядка, что и разница в результа­тах предварительного и итогового тестирования испы­туемых экспериментальной группы. К счастью, в целом это было не так. Направление и величина различий между курсами при предварительном тестировании в большинстве случаев были иными, чем различия в ре­зультатах предварительного и итогового тестирования в экспериментальной группе. Однако обнаруженный авторами значимый прирост показателей доверия в экспериментальной группе, по данным анкеты соци­альных ситуаций, мог оказаться артефактом взаимодей­ствия факторов состава группы и естественного разви­тия. Для экспериментальной группы этот показатель увеличился с 43,26 до 51,42, тогда как для третье­го курса эти же цифры соответственно равны 55,82 и 56,78.

Гипотеза о взаимодействии между факторами соста­ва группы и естественного развития иногда может ока­заться пригодной, даже если группы имеют идентичные показатели по данным исходного теста. Наиболее ти­пичным является случай, когда естественное развитие (или независимое изменение) в одной группе протекает скорее, чем в другой. План 14, являющийся усовершен­ствованным вариантом плана 10, позволяет контроли­ровать это взаимодействие.

Эффект регрессии составляет другую важную проб­лему с точки зрения внутренней валидности эксперимен­тов типа 10. Вопросительный знак в табл. 2 указывает, что проблемы можно избежать, хотя чаще она создает­ся самим исследователем. Вообще говоря, если каждая из сравниваемых групп составлена по признаку макси­мальных и минимальных результатов или коррелиро­ванных с ними величин, то различная степень измене­ния показателей от предварительного тестирования к тестированию после воздействия может быть проявле­нием скорее эффекта регрессии, чем X. Такая возмож-

 

134

 

ность становится все более характерной для исследо­ваний в области педагогики, где попарное уравнивание в силу устойчивой и дезориентирующей традиции счи­тается адекватной и достаточной процедурой установле­ния доэкспериментальной эквивалентности групп. Эта ошибка сопровождается непониманием того, что между планами 4 и 10 существует серьезное различие и что попарное уравнивание по исходным показателям играет в этих случаях разную роль. В плане 4 попарное урав­нивание может служить полезным добавлением к ран­домизации, но не заменять ее. Вся популяция испытуе­мых, привлекаемых к эксперименту, разбивается на пары, тщательно уравненные по показателям предвари­тельного тестирования или по связанным переменным. Затем члены каждой пары случайным образом вклю­чаются в экспериментальную или контрольную группу. Такое уравнивание с последующей рандомизацией обычно дает план эксперимента, обеспечивающий боль­шую точность результатов, чем одна рандомизация.

С этим идеалом нельзя смешивать предпринимае­мые в рамках плана 10 попытки компенсировать разли­чия между неэквивалентными группами путем попарно­го уравнивания, когда рандомизированное распределе­ние по группам невозможно. Если в плане 10 средние групп существенно отличаются друг от друга, то урав­нивание пар не только не обеспечивает искомого равен­ства, но еще и вызывает появление нежелательного эффекта регрессии. Можно с уверенностью предсказать, что обе группы будут отличаться по результатам итого­вого тестирования независимо от наличия эффекта X и что различие будет прямо пропорционально различию между популяциями, из которых набирались испытуе­мые, и обратно пропорционально тест-ретестной (test-retest) корреляции ¹.

Можно также предсказать направление эффекта регрессии. Рассмотрим психотерапевтический экспери-

_____________________________________________________________________________

¹ Некоторые специальные данные о применении в этой связи ковариационного анализа и об опасности простых ковариаций со­держатся в более поздней работе автора, написанной совместно с Боруком [13]. Особое внимание в ней уделяется надежности скор­ректированной ковариации и множественной регрессии. В этой ра­боте рассматриваются также условия, при которых корреляция предварительных и последующих тестирований более соответствует принятым коэффициентам надежности. — Прим. ред.

 

135

 

мент, в котором в качестве О используется балльнай оценка степени неудовлетворенности собой. Предполо­жим, экспериментальная группа состоит из обративших­ся за помощью к психотерапевту, а уравненная с ней контрольная группа — из «нормальных» людей. Тогда контрольная группа будет представлена крайне низки­ми показателями нормальной группы (образованной на основе этих крайних показателей) и при итоговом тес­тировании будет отмечена регрессия этих данных к средним для нормальной группы. Менее вероятно, что это приведет к выявлению значимого эффекта терапев­тического воздействия, скорее, создаст ложное впечат­ление действенности терапевтической процедуры. При­мер с психотерапевтической группой иллюстрирует так­же возможную несостоятельность предположений об однородности регрессии и о принадлежности выборок к одной и той же генеральной совокупности (за исклю­чением случаев, когда используются лишь экстремаль­ные показатели). Контрольные группы здоровых людей находят применение в психотерапевтических исследова­ниях, но при интерпретации результатов таких исследо­ваний необходимо соблюдать крайнюю осторожность.

Важно различать две разновидности плана 10 и определять их различный статус в качестве аппрокси­маций истинного эксперимента. С одной стороны, в не­которых случаях экспериментатор располагает двумя естественными группами (например, двумя классами) и может свободно решать, какая из них подвергнется X,или, по крайней мере, у него нет оснований подозревать, что отбор испытуемых в группы, подвергаемые X, осу­ществляется особым образом. Даже при различии исходных средних по О данное исследование может при­ближаться к истинному эксперименту. С другой сторо­ны, в некоторых случаях применения плана 10 испытуе­мые экспериментальной группы сами изъявляют желание подвергнуться Х _,но нет контрольной группы, которая состояла бы из лиц, выразивших желание участвовать именно в контрольной группе. В этом случае посылка об однородности регрессии между экспериментальной и контрольной группами становится менее достоверной и повышается вероятность взаимодействий между факто­рами состава группы и естественного развития (а также других взаимодействий с фактором состава группы).

 

136

 

План 10 с участием добровольцев намного слабее, но и он дает информацию, которая во многих случаях поз­волит отклонить гипотезу об эффективности X. Конт­рольная группа, даже если она значительно отличается от экспериментальной по способу подбора и по среднему уровню, все же помогает интерпретации данных.

Угроза внешней валидности со стороны эффекта тестирования та же, что и для плана 4, Знак вопроса против взаимодействия фактора состава группы и X напоминает нам, что действие X может быть специфич­ным для лиц, отобранных по принципу, который приме­нялся при отборе испытуемых в данном эксперименте. Но поскольку план 10 меньше, чем план 4, ограничи­вает нашу свободу в выборе состава групп, эта особен­ность будет сказываться в меньшей степени, чем в ла­бораторных условиях.

Опасность реакции на эксперимент имеет место, но, видимо, в меньшей степени, чем для большинства ис­тинных экспериментов вроде плана 4. Выбирая между планом 10 при сохранении двух классов в неизменном виде и планами 4, 5 или 6, согласно которым для раз­личных экспериментальных воздействий используются случайные выборки учеников из разных классов, нужно учитывать, что вероятность реакции на эксперимент во втором случае будет почти наверняка большей, потому что ученики будут больше осведомлены об эксперименте и будут чувствовать себя подопытными кроликами и т. д.

Исследования Торндайка в области формального обучения и переноса (например, E. L. Thorndike, Woodworth [123]; Brolyer, Thorndike, Woodyard [7]) пред­ставляют собой пример применения плана 10 в случае, когда X не контролируется экспериментатором. Эти исследования, по крайней мере, отчасти избежали ошибки эффекта регрессии, связанной с простым уравниванием групп, но их нужно тщательно проанализировать в све­те современных методов. Так, использование ковариа­ционного анализа дало бы, вероятно, сильные доводы в пользу эффекта переноса слов из латинского языка в английский.

Кроме того, наблюдаемый обычно положительный, хотя и слабовыраженный эффект переноса мог бы быть объяснен за счет отбора на курс латыни тех учеников, у которых рост словарного запаса происходил быстрее,

 

137

 

чем в контрольной группе, даже без обучения латинско­му языку. В наших терминах это следовало бы назвать взаимодействием состава группы и естественного разви­тия. Во многих школьных системах эта конкурентная гипотеза могла бы быть проверена путем увеличения числа процедур предварительных тестирований перед курсом латыни, как это предусмотрено планом 14. Эти эксперименты представляли собой грандиозные усилия по внедрению экспериментального мышления в полевое исследование. Они заслуживают того, чтобы на них сно­ва обратили внимание и продолжили их современными методами.

 

Сбалансированные планы

 

Под этой рубрикой объединены все те планы, в ко­торых для достижения контроля экспериментальных па­раметров или повышения точности результатов преду­сматривается предъявление всем испытуемым (или ис­пользование во всех ситуациях) всех экспериментальных воздействий. Такие планы обозначались как «ротацион­ные эксперименты» (McCall [74]), «сбалансированные планы» (например, Underwood [126]), «перекрестные планы» (например, Cochran, Cox [22], Cox [28]), «планы с переключением» (Kempthorne [58]). Для по­строения сбалансированного плана обычно используется латинский квадрат. Такой латинский квадрат в каче­стве плана квазиэксперимента представлен в нижесле­дующей схеме, в которой четыре экспериментальных воздействия в квазислучайном порядке последователь­но применяются к четырем естественным образом со­ставленным группам или даже к четырем испытуемым (например, Maxwell [73]):

 

 

 

138

 

В план включены только последующие тестирования, поскольку он находит применение особенно в тех слу­чаях, когда предварительное тестирование неосуществи­мо и невозможно воспользоваться планами, подобными плану 10. План включает 3 переменные [группы (g),порядковый номер воздействия (t) и экспериментальные воздействия (X)]. Каждая переменная «ортогональна» двум другим в том смысле, что каждый уровень одной переменной одинаково часто (один раз для латинского квадрата) сочетается с каждым уровнем любой другой. Легко видеть, что каждое воздействие (X) фигурирует в каждой строке и в каждом столбце по одному, и толь­ко одному, разу. Тот же латинский квадрат можно пе­реписать так, чтобы столбцы были разобраны по X:

 

 

Таким образом, суммы результатов измерений по X сравнимы друг с другом, так как в каждой сумме пред­ставлены все группы (g) и все серии экспериментов (t). Различия между этими суммами нельзя считать просто артефактами первоначальных межгрупповых различий, эффекта научения, фона и т. д. Аналогично можно срав­нивать суммы по строкам, отражающим различия меж­ду группами, а также суммы по столбцам данных пер­вого предъявления в различных ситуациях. В терминах дисперсионного анализа можно сказать, что рассматри­ваемый план позволяет получать данные по трем глав­ным эффектам при числе ячеек исходной таблицы, от­вечающем полной двухфакторной схеме. Ясно также, какую цену приходится платить за повышенную эффек­тивность: то, что кажется значимым главным эффектом какой-либо из трех переменных, может на самом деле

 

139

 

быть значимым взаимодействием двух других перемен­ных (Lindquist [68, с. 258—264]). Кажущееся различие между эффектами Х-ов, в частности, может оказаться специфическим эффектом комплексного взаимодействия между групповыми различиями и ситуациями (сериями экспериментов). Вывод относительно эффектов X будет зависеть от правдоподобности этой конкурентной гипо­тезы, и мы обсудим его подробнее.

Отметим, во-первых, что гипотеза о таком взаимо­действии применительно к рассмотренным квазиэкспе­риментам более правдоподобна, чем в описываемых обычно случаях использования латинского квадрата для планирования подлинного эксперимента. В факторе «группы» (g) смешаны два потенциальных источника систематических эффектов. Во-первых, это факторы си­стематического отбора, связанные с естественным фор­мированием групп. Можно ожидать, что эти факторы не только дают главный эффект, но и взаимодействуют с фоном, естественным развитием, эффектами упражнения и т. д. Если бы эксперимент, в котором имеется полный контроль параметров, был организован подобным обра­зом, каждый испытуемый был бы включен в свою груп­пу независимым и случайным образом, и этот источник, как главного эффекта, так и эффекта взаимодей­ствия был бы устранен или, по крайней мере, сведен до уровня ошибки выборки. В квазиэксперименте же уравновешивание производится для осуществления не­которого уравнивания групп как раз потому, что невоз­можно случайное их комплектование. (В отличие от этого в полностью контролируемых экспериментах ла­тинский квадрат применяется по соображениям эконо­мии или