Рекуррентный институциональный цикл

«лоскутный» план

План 15 является примером стратегии полевого исследования, при котором, начав с неадекватного плана, затем добавляют к нему специфические меры контроля того или иного рекуррентного источника невалидности. Результатом часто оказывается неуклюжее нагромождение проверок, которое — хотя ему и недостает внутренней симметрии истинных экспериментов — все же приближается к экспериментальному исследованию. Приняв эту стратегию, экспериментатор должен быть начеку относительно конкурентных интерпретаций (отличных от констатации эффекта X), от которых план не застрахован, и искать такие способы анализа или обобщения данных, которые исключали бы подобные интерпретации. Другая черта, часто присущая данному плану, состоит в выявлении эффекта X несколькими различными способами. Это очень важно, когда каждое отдельное сравнение результатов само по себе не позволяет сделать однозначного вывода.

Такой «лоскутный» план, о котором идет речь, применим лишь к ограниченному кругу проблем и условий и должен строиться исходя из особенностей этих условий. Основная его идея становится яснее при рассмотрении третьей и четвертой граф табл. 1. Как легко заметить, ряды стоящих там плюсов и минусов для плана 2 и 3 по большей части дополняют друг друга, а удачное сочетание этих двух неполноценных планов может оказаться весьма эффективным. Данный план применим в тех случаях, когда определенный аспект институционального процесса циклически реализуется каждый раз для новой группы респондентов, как это имеет место, скажем, в школе, в системе воспитания, обучения ремеслу и т. д. Если в этих условиях интерес представляет оценка результатов такого всеобъемлющего и сложного воздействия, как общая программа обучения и социализации, то план 15 является, видимо, наилучшим из всех пока разработанных.

Этот план был впервые концептуально разработан применительно к изучению влияния командирской и летной подготовки курсантов военно-воздушной школы

152

(в ходе 14-месячного учебного цикла) на их социальные установки в отношении начальников и подчиненных и на функции лидерства в группе (Campbell, McCormack [16]). Проведение истинного эксперимента затруднялось отсутствием контроля над тем, кто будет подвергнут экспериментальному воздействию, а кто — нет. Действительно, как разделить принятых курсантов на две уравненные группы, одна из которых прошла бы годичную программу обучения, а другая — отправлена «на гражданку»? Даже если бы такой эксперимент и удалось поставить (непредвиденные сокращения бюджета сделали бы в отдельных случаях возможным проведение такого опыта), то все равно из тех, кто был принят, прошел отсев, доставлен на авиабазу, а затем отправлен домой, вряд ли получилась бы идеальная контрольная группа ввиду реакции испытуемых на эксперимент и нарушения ритма их жизни. Различие между ними и экспериментальной группой, проходящей подготовку, вряд ли могло бы служить хорошей основой для распространения результатов на нормальные условия набора и обучения курсантов. Экспериментатор, однако, мог выбирать, когда и на ком производить наблюдения. Это, а также тот факт, что экспериментальная переменная носила рекуррентный (циклический) характер, то есть оказывала воздействие каждый раз на новую группу респондентов, обеспечивало какую-то степень контроля параметров эксперимента. В этом исследовании можно было проводить два типа сравнений, относившихся к влиянию опыта военной службы на социальные установки. Каждое из них было совершенно неадекватно в плане экспериментального контроля, но если оба они свидетельствовали об одном и том же, они взаимно подкрепляли друг друга, ибо их слабые места оказывались различными. Сравнения первого типа производились по результатам, полученным в одно и то же время на группах, отличавшихся сроком службы, а сравнения второго типа — внутри каждой группы между показателями первой недели и после 13 месяцев обучения. В идеализированной форме эта схема выглядит так:

Класс А X О ₁,

----------------.

Класс В O ₂ X O ₃

153

В этой схеме объединены «лонгитюдинальный» подход и «сравнительное изучение поэтапных срезов» — процедуры, обычно используемые в исследованиях развития. При этом предполагается, что одновременно измерения могут производиться на группе, уже подвергшейся X, и на группе, которая вскоре должна подвергнуться X. Сравнение данных O ₁ и O ₂, следовательно, отвечает плану 3 (сравнение статических групп). Повторные измерения в классе В спустя один цикл позволяют воспроизвести план 2. В табл. 3 первые две строчки, относящиеся к плану 15, показывают особенности этих сравнений. Результат сравнения в поперечном срезе, О ₁ > O ₂, нельзя отнести за счет фоновой стимуляции или эффекта повторного тестирования. Однако его можно объяснить тем, что из года в год состав курсантов меняется (на что указывает минус в колонке «состав группы») или что респонденты стали на год старше (минус по фактору «естественное развитие»). Если тестирования проведены в один и тот же период времени, то маловероятно смешивание эффектов X и фактора инструментальной погрешности, или изменения характера средств измерения. Эффект выбывания обычно также является конкурентным объяснением при сравнении социальных установок новичков и слушателей второго года обучения: результаты O ₁и O ₂ могут отличаться друг от друга из-за того, что лица, подобные отсеявшимся из класса A, еще представлены в классе В. Этого недостатка можно избежать, если регистрировать индивидуальные результаты и отложить анализ данных до того момента, когда закончится воздействие X на класс В,что позволит устранить из O ₂ результаты тех респондентов, которые не завершили курса подготовки. Поскольку эта процедура часто отсутствует, в колонке «выбывание» поставлен вопросительный знак. Другой знак вопроса в колонке «регрессия» предупреждает о возможности ложных эффектов в случае, если в эксперименте используются показатели, по которым производился отбор курсантов для обучения. В этих условиях следует ожидать систематического смещения результатов, которое нельзя приписать воздействию X. Если сравнение предварительного и итогового тестирований при O ₂ и О₃ показывает, что изменение переменной от O ₂ к О ₃ того же порядка, что и при переходе

154

от O ₁ к O ₂, есть основания отклонить конкурентную гипотезу о том, что это изменение обусловлено различием в отборе слушателей для данных двух классов, а также исключить возможность использования в качестве объяснения фактора выбывания. Однако если пользоваться одним лишь сравнением O ₂ — O ₃, то возникает опасность конкурентного объяснения результатов фоновой стимуляцией и эффектом тестирования.

В тех случаях, когда исследуется эффект годичного обучения, наибольших затрат требует проведение двух измерений, разделенных промежутком времени в один год. Если на это уже имеются средства, то проведение дополнительных измерений во второй период обследований потребует лишь незначительных добавочных затрат. Принимая это во внимание, можно расширить план данного эксперимента согласно схеме, приведенной в табл. 3. Пользуясь правом решать, кто и когда будет проходить измерительную процедуру, можно разбить класс В на две уравненные выборки, одна из которых обследуется и до и после воздействия, а другая — только после него (O ₄). Эта вторая группа обеспечивает сравнение тщательно уравненных выборок по первому измерению, проводимому до и после X, причем точность сравнения здесь выше, чем для O ₁ — О ₂с точки зрения фактора состава групп, и выше, чем для О ₂— O ₃ в плане эффекта повторного тестирования. Эффект X,таким образом, должен быть зафиксирован в трех различных сравнениях: O ₁> O ₂, O ₂ < O ₃ и O ₂ < O ₄.

Отметим, однако, что О ₂ фигурирует во всех трех сравнениях и все они могут подтверждать эффект только благодаря необычному характеру этой серии измерений. Введение O ₅ и вместе с ним класса С, проходящего обследование во время второй волны тестирования перед X, позволяет получить данные для сравнения с O ₄ и O ₁ и т. д., что обеспечивает необходимую избыточность. Разбиение класса В на две части обеспечивает бóльшую четкость сравнения O ₄— O ₅, чем O ₃— О ₅. Но разбиение класса на обследуемую и необследуемую группы нередко провоцирует реакцию испытуемых на эксперимент. Поэтому в строке O ₂ < O ₄ в табл. 3 для этого фактора поставлен вопросительный знак. Возникновение указанной реакции зависит от

155

конкретных условий. Если испытуемые тянут жребий, а затем половину класса просят пройти в другую комнату, то опасность реакции на эксперимент велика (см., например, Duncan et al. [31], Solomon [104]). Если, как это бывает в ряде исследований, контакт с испытуемым устанавливается в индивидуальном порядке, класс удается разделить на две уравненные половины, не вызывая подозрений респондентов. В тех случаях, когда поток слушателей состоит из ряда групп, каждая из которых работает по своему расписанию, есть возможность, не разрушая эти группы, разделить их на те, которые проходят и не проходят предварительное тестирование (см., например, Hovland, Lumsdaine, Sheffield [51]). В рамках одной аудитории анкеты или тесты разного содержания можно раздать всем испытуемым таким образом, что одна случайно выбранная половина слушателей составит группу, данные которой можно использовать в качестве предварительного тестирования, а другая, обследуемая с помощью иного инструментария, может служить группой для сравнения. При этом такое разделение будет провоцировать нежелательную реакцию не больше, чем обследование всей аудитории.

В плане 15 (в той его части, которая представлена измерениями O ₁ — O ₅) не контролируется фактор естественного развития. Серьезность этого ограничения зависит от объекта исследования. Если речь идет об усвоении специфических (эзотерических) навыков или знаний, конкурентная гипотеза о том, что испытуемый покажет более высокие результаты, становясь старше и приобретая жизненный опыт, представляется крайне маловероятной.

Однако в рассмотренном выше исследовании отношения к старшим и младшим по званию (Сampbell, McCormack [16]) изменение показателей было таким, что вполне могло объясняться приобретением жизненного опыта людьми данного возраста и происхождения просто в силу взросления или пребывания вдали от дома. В таких условиях контроль естественного развития представляется весьма важным. Поэтому к плану были добавлены измерения O ₆ и O ₇, обеспечивавшие проверку гипотезы естественного развития в поперечном срезе во второй период обследования. Это предпо-

156

лагало тестирование двух групп (из общей популяции), отличающихся друг от друга только по возрастным показателям. Но эти показатели были сходны с теми, которые характеризовали классы В и С в период их обследования. Для подтверждения гипотезы о наличии эффекта X результаты О ₆ и О ₇должны быть одинаковыми или по крайней мере отличаться друг от друга меньше, чем данные тестирований, проведенных до и после X. Составление контрольных групп из общей популяции зависит от особенностей гипотезы. Учитывая то значение, которое повсеместно придается социальному происхождению и образованию, можно было бы подобрать группы таким образом, чтобы они были сопоставимы с институциональными группами по показателю принадлежности к тому или иному социальному классу и по предварительному образованию. Следовало бы также составлять контрольные группы из лиц призывного возраста, проживших вдали от дома один год (группа О ₆) или только что покинувших родные места (группа О ₇). Но и тогда эти контрольные группы, в которых учитывался бы фактор возраста, были бы в какой-то степени неудовлетворительным средством контроля, а их обследование составляло бы самую большую статью расходов, так как обычно легче провести тестирование в рамках одной организации, чем отбирать респондентов из общей популяции. По этим соображениям О ₆и О ₇были приурочены ко второй волне тестирования, поскольку если бы эффект X не был обнаружен при сравнении результатов О ₁ и O ₂, то указанные дорогостоящие мероприятия, скорее всего, оказались бы неоправданными (иное дело, когда гипотеза состоит, скажем, в том, что действие институционального по своему характеру X подавляет естественный процесс развития).

Возможен и другой подход с использованием поперечного среза для контроля фактора естественного развития, если популяция, которая вовлекается в институциональный процесс, неоднородна по показателям возраста (или числа лет, проведенных вне дома, и т. д.). Это характерно для многих ситуаций — например, когда изучается эффект какого-либо лекционного курса в колледже. В этом случае измерения O ₂ делят на две части, относящиеся к старшей (O _2о) и младшей (O _2у }

157

подгруппе, и выясняют, отличаются ли друг от друга эти подгруппы в той же степени, как и O ₂ от О ₁(правда, здесь возникает опасность все той же отрицательной корреляции между возрастом и способностями в рамках одного года обучения). Вместо контрольных групп, отобранных из общей популяции по признаку возраста и зрелости, иногда лучше для сравнения пользоваться контингентом другого института. Например, новобранцев военно-воздушных сил сравнить с первокурсниками колледжа. Если проводится сравнение такого типа, то экспериментальная переменная сводится лишь к тем характеристикам, которые не являются общими для обоих типов институтов или организаций. В этих случаях обычно могут быть использованы в целом более эффективные планы 10 и 13.

Формальные свойства плана 15 как будто делают его применимым даже в сфере психотерапии. Здесь, однако, обнаруживается, насколько трудно осуществить надлежащий контроль фактора естественного развития. Независимо от того, как испытуемые контрольной группы отбираются из общей популяции, они будут существенно отличаться от членов экспериментальной группы, если только сами не являются пациентами психотерапевта. Даже если они точно так же больны, как и пациенты, подвергающиеся психотерапевтическому воздействию, их информированность, мнение о психотерапии, вера в нее будут почти наверняка иными. У группы больных, настроенных оптимистически в отношении психотерапии, скорее активизируются потенциальные силы организма для борьбы с болезнью, что будет нетипичным для любой сопоставимой с нею группы, которую мы могли бы, вероятно, составить, и, таким образом, взаимодействие состава групп и естественного развития могло бы быть ошибочно истолковано как эффект X.

Когда объектом изучения становится процесс развития как таковой, отсутствие контроля фактора естественного развития, конечно, не является недостатком, поскольку этот фактор находится в фокусе исследования. В исследовании процессов развития следовало бы систематически использовать сочетание лонгитюдинальных и поэтапно-срезовых сравнений. В поперечном срезе естественное развитие смешано с фактором соста-

158

ва и выбывания из групп. В лонгитюдинальных исследованиях эффект естественного развития смешивается с эффектами тестирования и фоновых воздействий. Само по себе лонгитюдинальное исследование, вероятно, не лучше поэтапных срезов, хотя бóльшие затраты придают ему бóльший престиж. Идеальным представляется сочетание того и другого с использованием повторных поперечных срезов, выполненных в разное время.

При построении плана 15 предполагалось, что итоговое тестирование одной группы проводится одновременно с предварительным тестированием другой. Однако это возможно не во всех случаях, когда мы хотели бы применить этот план. Типичную ситуацию исследования, проводимого в условиях школы, более точно отражает следующая схема:

Класс А X О ₁

-----------------------------------

Класс B₁ R O ₂ X О ₃

Класс B ₂ R X О ₄

-----------------------------------

Класс C О ₅ X

В этой схеме нет четкого контроля фактора фона вследствие того, что сравнения О ₁ и O ₂, а также О ₄ и О ₅проводятся не одновременно. Однако когда эффект обнаруживается в обоих сравнениях, то ссылка на посторонние воздействия вряд ли будет обоснованной, разве только предположить, что имел место чрезвычайно сложный ряд совпадений.

Отметим, что общие исторические изменения, влияние которых мы действительно обнаруживаем при изучении социальных установок, не смешиваются с четкими экспериментальными результатами. Любые такие изменения могут вызвать O ₂, занимающее промежуточное положение между О ₁ и О ₃, тогда как по гипотезе о наличии эффекта X они должны быть одинаковыми, а O ₂ отличаться от обоих (О ₁ и О ₃) в одном и том же направлении. В целом при повторении эксперимента в различных условиях смешивание с эффектами фоновых воздействий маловероятно для данного варианта этого плана. Но если продолжительность институционального цикла менее года, становится возможным

159

смешивание эффекта X ссезонными колебаниями социальных установок, морального состояния, оптимизма, уровня интеллекта — всего, чего угодно. Предположим, X — курс, читаемый только в осенний семестр, а в период с сентября по январь под влиянием сезонных климатических факторов возрастают враждебность и пессимизм. Тогда все проявления этой рекуррентной сезонной тенденции будут примешиваться к эффектам X. В подобных случаях следует предпочесть планы 10 и 13.

Если сравнение данных лонгитюдинального исследования и исследования поэтапных срезов выявляет сопоставимые эффекты X, это нельзя приписать взаимодействию между естественным развитием и различиями в составах классов. Но, поскольку этот контроль не отражен в схеме, представленной в табл. 3, данная колонка оставлена незаполненной. Оценки по критериям внешней валидности в целом следуют образцу, характерному для предыдущих планов, содержащих те же элементы. Знак вопроса в колонке «Взаимодействие состава групп и X»предупреждает о том, что результаты действительны только для институционального цикла, изучавшегося в эксперименте. Ввиду сложности X исследование обычно подходит скорее для практических, а не теоретических целей, и, вероятно, в данном случае выводы и предназначаются для одного исследуемого института.

Последним в этом ряду квазиэкспериментальных планов вводится план 16, связанный с анализом нарушения непрерывности регрессии.

План, в котором нарушение

Рекуррентный институциональный цикл —