Для успешности эксперимента важно правильно подобрать участников. К методам отбора участников выдвигается жесткое требование: они должны обеспечить правомерность распространения выводов эксперимента на реальные условия.2 Применение того или иного метода предопределяется схемой планируемого эксперимента.
Метод попарного отбора используется преимущественно в параллельном эксперименте. Из генеральной совокупности подбираются две группы таким образом, чтобы они были идентичны по нейтральным и контролируемым характеристикам. Обеим группам создаются одинаковые условия; на экспериментальную группу оказывается воздействие изучаемым фактором. Результат эксперимента фиксируется на основании измерения и сравнения значений зависимых переменных в обеих группах. Если существенных признаков много, то отбор становится очень сложным и в реальных условиях трудновыполнимым, поэтому применим в экспериментах с малыми группами. В умозрительных экспериментах возможности применения этого метода шире. Главным недостатком метода попарного отбора является утрата репрезентативности групп в отношении генеральной совокупности, когда экспериментатор пытается обеспечить максимально возможное соответствие между двумя претендентами, один из которых включается в экспериментальную, а другой — в контрольную группу.
Метод частотного выравнивания основан на сопоставлении экспериментальной и контрольной групп в целом по процентному распределению или средним величинам существенных признаков. Недостатком этого метода стало нежелательное появление неодинаковых сочетаний характеристик, например: среди приверженцев марки (10% группы) в экспериментальной группе — в основном молодежь, а в контрольной группе те же приверженцы представлены в основном лицами среднего возраста.
Метод выравнивания по квоте (метод структурной идентификации) помогает устранить обозначенные выше недостатки, поскольку выравнивает распределение характеристик (как порознь, так и их комбинаций) в соответствии с распределением признаков генеральной совокупности. В этом случае каждая группа — своеобразная микромодель генеральной совокупности по нейтральным и контролируемым характеристикам. Метод применяется как в линейном, так и в параллельном эксперименте, но по сложности реализации лишь немногим проще метода попарного отбора.
Для формирования участвующих в эксперименте групп объектов (формирования выборки) может быть применен метод случайного отбора (метод рандомизации). Этот метод считается наиболее надежным в силу детальной разработанности процедуры случайных выборок и возможного анализа точности и надежности выборки. Метод рандомизации основан на довольно большом объеме выборки (методы расчета ошибки при выборках 50-100 человек не обеспечивают устойчивых результатов); исходные подмножества также должны быть достаточно большими для проявления закона больших чисел.
Для тех случаев, когда в качестве группы рассматриваются города или регионы, тестируемый рынок должен быть репрезентативным целевому сегменту с точки зрения структуры населения и потребностей, структуры торговых предприятий, структуры конкуренции и средств массовой информации.
Комбинация различных приемов обеспечивает надежность выравнивания и при малых выборках. При сочетании частотного распределения с рандомизацией формируются группы в соответствии с частотным распределением, а затем они переформировываются случайным образом. Если при первоначальном отборе упущена какая-либо существенная характеристика, то при случайном распределении лица, обладающие данной характеристикой примерно с одинаковой вероятностью, попадут в обе группы.
Сочетание рандомизации и квотного отбора считается наиболее надежным,2 но требует не только модели распределения существенных признаков, но и фиксирования характеристик относительно всех членов исходной совокупности — без этого невозможно произвести корректировку выборки на основе случайного отбора.
Проведение экспериментальных мероприятий и замер показателей. Проведение экспериментальных мероприятий выражается в экспериментальном воздействии и измерении значений выбранных показателей в соответствии с запланированной схемой эксперимента. Измерение осуществляется посредством опроса мнений участников или наблюдения за их реакцией.
В процессе эксперимента могут использоваться количественный и качественный замеры показателей. В основе количественных измерений лежит фиксирование интенсивности и длительности проявления определенной переменной. При качественных измерениях фиксируется лишь наличие или отсутствие результата воздействия переменной.
Аналитический этап эксперимента. Аналитический этап эксперимента состоит из следующих процедур:
• анализ выявленных зависимостей;
• определение внутренней и внешней достоверности результатов эксперимента;
• составление отчета о проведении эксперимента, содержащего информацию об условиях существования объекта исследования и проведения эксперимента.
После завершения эксперимента необходимо определить, в чем же заключаются его результат, и оценить его достоверность.
Внутренняя и внешняя достоверность результатов эксперимента. Достоверность с точки зрения математической статистики обозначает обязательное наступление событий и характеризует существенность в различии тех или иных показателей. Для оценки достоверности эксперимента используются критерии внешней и внутренней валидности (внешней и внутренней достоверности).
Внутренняя валидность определяет границы, в которых изменение зависимой переменной действительно обусловлено изменением независимой переменной. Внешняя валидность определяет границы, в которых результаты эксперимента могут быть распространены на другие условия, в первую очередь на условия генеральной совокупности.
Для достижения внутренней валидности следует учесть и максимально нейтрализовать влияние следующих факторов:
1. Внешний фон — влияние конкретных событий, происходящих между первым и вторым измерениями наряду с экспериментальным воздействием.
2. Естественное изменение — влияние, которое оказывает на участников эксперимента течение времени, например усиление голода или усталости. Естественное изменение не связано с конкретными событиями — это биологические, социальные или психологические изменения участников эксперимента в процессе его проведения.
3. Эффект предварительного измерения (эффект обучения) — влияние заданий, связанных с начальным измерением зависимой переменной «до» экспериментального воздействия, на результаты повторного измерения «после» экспериментального воздействия.
4. Погрешность измерительного инструмента — влияние технических сбоев аппаратуры или естественных изменений, происходящих с исследователями (например усталость).
5. Отбор участников эксперимента — влияние неэквивалентности составов экспериментальной и контрольной групп.
Факторы, ставящие под угрозу внешнюю валидность, репрезентативность эксперимента:
1.Эффект взаимного влияния процедуры измерения в группах и характера экспериментального воздействия — предварительное измерение оказывает влияние на восприимчивость к экспериментальному воздействию участников эксперимента, поэтому реакция людей, прошедших предварительное измерение, будет нерепрезентативной по отношению к тем, кто этому не подвергался, т. е. генеральной совокупности.
2.Эффект взаимного влияния процедуры отбора участников эксперимента и характера экспериментального воздействия — наблюдаемый результат может быть свойствен только данной группе и не проявляться в других частях изучаемой совокупности.
3.Эффект контроля условий организации эксперимента — полученный результат может быть вызван не только экспериментальным фактором, но и знанием, например, что проводится эксперимент, отклонениями «реальной жизни» от заявленных условий эксперимента и пр. Поэтому некорректно распространять полученные данные на лица, подвергающиеся экспериментальному воздействию, в неэкспериментальных условиях.
Наиболее проблематичны эксперименты по изучению влияния цены на выбор товара покупателем. В ходе эксперимента люди могут вести себя более рационально, акцентируясь на цене в большей степени, чем в реальной жизни; в такой ситуации практически исключены импульсивные покупки. С другой стороны, покупатели в ходе эксперимента зачастую не тратят свои реальные деньги, что также снижает внешнюю валидность эксперимента.
Для преодоления влияния этих факторов необходимо контролировать репрезентативность выборки участников эксперимента и соответствие условий эксперимента реальным условиям.
Анализ факторов, создающих угрозу достоверности результатов, позволяет сделать некоторые выводы о преимуществах и недостатках / различных схем эксперимента (табл. 7.3).
Таблица 3
Источники невалидности экспериментов по Д. Т. Кэмпбеллу
| Факторы | Схема эксперимента | ||
| «до-после» без контр. группы | «только после» с контр. группой | «до-после» с контр, группой | |
| Внутренняя валидность | |||
| Внешний фон | - | + | + |
| Естественное изменение | - | + | + |
| Эффект обучения | - | + | + |
| Погрешность измерительного инструмента | - | + | + |
| Отбор участников эксперимента | + | + | + |
| Внешняя валидность | |||
| Взаимодействие тестирования и экспериментального фактора | + | - | |
| Эффект взаимодействия отбора участников эксперимента и экспериментального фактора | ? | ||
| Эффект контроля условий организации эксперимента | ? | ? |
«-» означает, что рассматриваемая схема не позволяет преодолеть негативное влияние данного фактора на валидность результатов эксперимента.
«+» указывает на то, что фактор находится под контролем,
«?» означает возможность некоторых осложнений.
Опрос
