Предварительное тестирование (pretesting)

Проверка анкеты на небольшой выборке респондентов для определения и устранения по­тенциальных проблем.

Предварительное тестирование (pretesting) заключается в проверке анкеты на небольшой выборке респондентов для определения и устранения потенциальных проблем [43]. Даже са­мую хорошую анкету можно улучшить после предварительного тестирования. Как правило, без предварительного тестирования анкету нельзя использовать в полевом исследовании. Предва­рительное тестирование должно быть существенным [44]. Необходимо протестировать все аспекты анкеты, включая содержание вопросов, согласование слов, форму и расположение, сложность вопросов и инструкций. Респонденты в предварительном тестировании должны быть похожи на тех, которых будут опрашивать в фактическом исследовании, по опыту, зна­комству с предметом исследования, отношению к интересующим нас объектам и поведению в исследуемых ситуациях [45]. Другими словами, респондентов для предварительного тестиро­вания и для фактического исследования нужно брать из одной генеральной совокупности.

Предварительное тестирование эффективнее всего осуществляется при личном опросе, даже когда фактическое исследование проводится с помощью почты, телефона, электронных методов, поскольку в этих случаях интервьюеры могут проследить за реакцией и отношени­ем респондентов. После необходимых изменений можно провести еще одно предваритель­ное исследование по почте, телефону или с помощью электронных методов, если они ис­пользуются при исследовании. Повторное предварительное тестирование предназначено для выявления проблем, связанных со способом опроса. Предварительное тестирование должно как можно больше совпадать с основным исследованием по условиям заполнения анкеты, среде и содержанию.

Для предварительного тестирования следует задействовать как можно больше интервьюе­ров. Директор проекта, исследователь, разработавший анкету, и ключевые сотрудники должны также провести ряд опросов для предварительного тестирования. Это поможет определить воз­можные проблемные места и характер ожидаемых данных. Однако большинство предвари­тельных интервью должно проводиться постоянными интервьюерами. Полезно привлекать опытных и начинающих интервьюеров. Опытные интервьюеры быстро определят сложность, реакцию и сопротивление со стороны респондентов. Начинающие интервьюеры помогут ис­следователю определить проблемы, связанные с личными особенностями интервьюеров. Обычно размер выборки для предварительного тестирования небольшой и составляет 15—30 респондентов, в зависимости от гетерогенности целевой группы. Размер выборки можно суще­ственно увеличить, если предварительное тестирование включает несколько этапов.

При предварительном тестировании общепринятыми процедурами его проведения высту­пают протокольный анализ и собеседование. При протокольном анализе респондента просят рассуждать вслух при заполнении анкеты, как это описывается в главе 8. Обычно замечания респондента записываются на магнитофон для определения реакции на разные части анкеты. Собеседование проводят после заполнения анкеты. Опрашиваемым сообщают, что они только что заполнили анкету для предварительного тестирования с описанием его целей. Затем их просят описать значение каждого вопроса, объяснить свои ответы и указать на проблемы, поя­вившиеся при заполнении анкеты.

Редактирование включает корректировку анкеты для устранения проблем, возникших во время предварительного тестирования. После существенного пересмотра анкеты следует про­вести еще одно предварительное тестирование с использованием другой выборки респонден­тов. Одного предварительного тестирования недостаточно. Предварительное тестирование должно проводиться до тех пор, пока не исчезнет необходимость дальнейших изменений.

Наконец, ответы, полученные в результате предварительного тестирования, нужно закоди­ровать и проанализировать. Анализ предварительных ответов поможет проверить соответствие между определением проблемы маркетингового исследования и собираемой информацией. Вспомогательные таблицы, подготовленные до разработки анкеты, как раз и предназначены для выявления адекватности собираемой информации. Если ответ на вопрос нельзя занести в один из заранее составленных макетов таблиц, то это означает, что, либо полученные данные лишние, либо соответствующий анализ не предусмотрен. Если часть таблицы остается не за­полненной, то соответствующий вопрос, возможно, пропущен. Анализ предварительных дан­ных помогает удостовериться, что все полученные данные будут использованы и что с помо­щью анкеты будут получены все необходимые данные [46].

В табл. 10.1 подытоживается процесс разработки анкеты в форме контрольной таблицы.

Таблица 10.1. Контрольная таблица для разработки анкеты

Этап 1. Определите необходимую информацию