Последовательная детализация X и

Новые контрольные группы

Реальное воздействие (X) в любом эксперименте является комплексным, включающим компоненты, которые могут быть концептуализированы как различные переменные. Когда обнаруживается сильный и отчетливый эффект, логика науки требует проведения все более тонких экспериментов, выделения тех аспектов, от которых больше всего зависит эффект. Это может достигаться путем повышения четкости в определении и предъявлении воздействий или с помощью новых контрольных групп, уравненных с экспериментальной группой по все большему числу показателей, благодаря чему различия сводятся к более специфическим признакам первоначального X. В качестве примера сошлемся на введение в медицинские исследования контрольных групп пациентов, принимающих плацебо или подвергающихся инсценированной операции. Первоначальные эксперименты обнаруживали внутренне валидный эффект, который, однако, мог быть вызван тем, что пациент знал о том, что он подвергается лечению, или хирургическим шоком, а не специфическими свойствами принимаемого лекарства или удалением мозговой ткани. Отсюда и использование особых контрольных групп, назначение которых — исключить подобные предположения. Процесс обобщения на другие X — направляемая теорией поисковая экстраполяция, осуществляемая посредством проб и ошибок, и в этом процессе подобное уточнение X может играть важную роль.

Обобщение на другие О

Подобно тому, как за любым X тянется шлейф его теоретически несущественных особенностей, так и любой конкретный измерительный инструмент есть комплекс, в котором релевантное содержание связано с конкретной инструментальной формой, детали которой не имеют отношения к теоретической цели. Так, если мы

105

пользуемся для регистрации ответов специальными карандашами и бланками фирмы 1ВМ¹, то это скорее по соображениям удобства, а не из-за того, что мы хотим включить в наши результаты дисперсию, обусловленную навыками работы с машинными бланками, знакомством с заполняемой формой, способностью следовать инструкции и т. д. Точно так же проверку знаний по пройденному материалу посредством письменных работ приходится осуществлять с учетом индивидуального стиля и лексики, и поэтому результирующие колебания показателей должны содержать дисперсию, обусловленную этими источниками, что, как правило, не входит в число наших целей. Ввиду комплексного характера любого О попытка распространить результаты на другие потенциальные О ставит нас перед проблемой: каким аспектом примененного в эксперименте О был обусловлен внутренне валидный эффект? Поскольку цель обучения — не просто подготовка к будущим сочинениям и контрольным работам, мы должны все время иметь в виду эту проблему внешней валидности, или обобщаемости результатов.

И снова с концептуальной точки зрения следует не уповать на «чистые» показатели, свободные от иррелевантных наслоений, а использовать множество разных измерений, в которых специфические средства реализации, конкретные иррелевантные детали были бы по возможности различными, а общее, существенное для нас содержание присутствовало бы в каждом из них. В рамках одного эксперимента в этом плане можно больше сделать применительно к О, чем к X, так как в один и тот же эксперимент обычно можно включить целый ряд мер эффекта (то есть зависимых переменных). В исследовании Гецкоу, Келли и Мак-Кичи [47] эффекты регистрировались не только в ходе экзаменов и проведения специальных тестов установок, но учитывались и такие последующие действия, как выбор профилирующего предмета и запись на продвинутый курс по данной проблематике. (Эти последние оказались столь же чувствительными к различиям в экспериментальных воздействиях, как и результаты тестов.)

_____________________________________________________________________________

¹1ВМ (International Business Machines) — одна из крупнейших американских фирм, производящих вычислительную аппаратуру, в частности, для школ. — Прим. перев.

106

Требование множественности О должно стать стандартом для любого исследования методов обучения. В простейшем случае следует сочетать результаты письменных работ и экзаменов (см. Stanley, Beeman [115]), присоединяя к ним по возможности данные относительно активности учащихся на уроке. (Распространение этого подхода на вопросы валидности тестов содержится в: Campbell, Fiske [15]; Campbell [12]).

Квазиэкспериментальные планы

Существует немало естественных социальных условий, в которых исследователь может использовать нечто вроде планирования эксперимента при сборе данных (то есть в отношении того, когда и на ком производить измерения), даже если он не полностью контролирует порядок экспериментальных воздействий (то есть когда и кому предъявляются воздействия, рандомизацию предъявления), что делает возможным подлинный эксперимент. Такие исследования в целом могут рассматриваться как квазиэксперименты. Одна из целей настоящей главы — пробудить интерес к таким квазиэкспериментам и уточнить условия, в которых возникает возможность их проведения. Но как раз из-за отсутствия полного контроля экспериментальных параметров исследователь должен отдавать себе отчет в том, какие именно переменные в его конкретном плане не поддаются контролю. Собственно говоря, список источников невалидности, приведенный в табл. 1, 2 и 3, был разработан скорее ради оценки квазиэкспериментов, чем для понимания истинного эксперимента.

Ознакомившись с предыдущим параграфом, будущий исследователь, вероятно, почувствовал, что планирование эксперимента сопряжено с более многочисленными трудностями, чем он полагал ранее. Такой итог следует приветствовать, если результатом будет планирование и проведение более совершенных экспериментов и большая осмотрительность в выводах, которые делаются на основе полученных результатов. Однако мы вовсе не хотели бы, чтобы у читателя сложилось впечатление, будто контроль параметров эксперимента все равно недостижим, и прекратил направленные на это усилия,

107

обратившись к еще более неформальным методам исследования. Кроме того, этот внушительный список источников невалидности может с еще большей вероятностью отпугнуть от проведения квазиэкспериментов, раз уж с самого начала, очевидно, отсутствие полного контроля за экспериментальными параметрами. Подобный итог был бы прямо противоположен нашим намерениям.

С точки зрения конечной интерпретации эксперимента и попыток вписать его в развивающуюся науку, каждый эксперимент несовершенен. Польза от списка факторов валидности могла бы состоять в том, чтобы экспериментатор лучше понимал недостатки своего плана, которые он не может устранить, и соответственно знал бы о возможной альтернативной интерпретации полученных данных. Конечно, он должен планировать самый лучший эксперимент, какой только возможен в данной ситуации. Он должен сознательно выискивать такие искусственные и естественные лаборатории, которые обеспечивают наилучшие возможности контроля. Но после этого ему нужно провести эксперимент и интерпретировать результаты, полностью сознавая, в каких пунктах эти результаты двусмысленны. Такое понимание важно и для осуществления экспериментов с «полным» контролем, однако оно абсолютно необходимо в случае квазиэкспериментов.

Осуществляя этот общий замысел, мы в этом разделе дадим обзор сильных и слабых сторон разнородных планов квазиэкспериментов, каждый из которых заслуживает использования, если применение лучшего плана невозможно. Сначала будут обсуждены три плана эксперимента с одной группой. Затем будут представлены пять общих типов экспериментов с многими группами. Отдельный параграф отводится вопросам корреляции, планам ex post facto, панельным исследованиям и т. д.