В последней главе мы описываем процесс создания вопросника, то есть показываем, что необходимо делать на каждой стадии его проектирования. Такое пошаговое описание может быть полезно тем исследователям, которые прочитали предыдущие главы, но все еще не вполне уверены, с чего следует начинать и как продолжить уже начатый процесс. Есть и вторая задача, которую мы решаем в этой главе. Мы хотим напомнить исследователям, которые торопятся или, возможно, ограничены в сроках, что вопросник – это конечный продукт ряда процедур, которые необходимо выполнить для достижения высокого качества. Пропуск даже некоторых из них неминуемо скажется на результате. Можно перефразировать известную мысль: «Быстро напишешь, долго будешь сожалеть».
Ниже перечисляются шаги, необходимые при проектировании вопросника. Некоторые читатели могут удивиться тому, что после написания первого варианта вопросника начинается работа, превышающая по объему уже выполненную. Как в гольфе, попадание в лунку – лишь начало в достижении цели.
Последовательность действий при проектировании вопросника
1. Решите, какая вам требуется информация.
2. Проведите в архивах научный поиск существующих вопросов и шкал по интересующей теме.
3. Напишите первый вариант новых вопросов и/или переделайте существующие.
4. Выберите последовательность вопросов.
5. Выберите формат вопросника.
6. Разметьте строки и выполните процедуру предварительного кодирования.
7. Оцените первый вариант вопросника путем коллективного обсуждения или индивидуально.
8. Отредактируйте черновой вариант вопросника и протестируйте его на себе, друзьях, родственниках или сотрудниках.
9. Подготовьте простые инструкции для интервьюера, чтобы провести пилотаж. Откорректируйте вопросник, если возникают какие-либо проблемы при написании инструкций или при подготовке интервьюеров.
10. Проведите пилотажное тестирование на небольшой выборке респондентов (от двадцати до пятидесяти), подобной той, на которой будет проводиться исследование.
11. Получите комментарии интервьюеров и респондентов в письменном виде или расшифровку интервью, в которое включены уточняющие вопросы.
12. Исключите вопросы, по которым нельзя дифференцировать респондентов или получить необходимую информацию.
13. Измените формулировки вопросов, которые вызывают затруднения.
14. Повторно проведите пилотажное исследование.
15. Подготовьте окончательные инструкции для интервьюеров, если предложенные ранее вызывают какие-либо проблемы.
16. При обучении интервьюера и на начальных этапах проведения интервью будьте готовы к появлению новых проблем; в особо серьезных случаях интервьюирование может быть приостановлено до написания новых инструкций.
17. После завершения интервью проанализируйте формы, представленные интервьюером, и его устное описание хода интервью, а также замечания персонала, обрабатывающего данные. Это необходимо для определения каких-либо шероховатостей, их устранения и качественного анализа данных.
18. Используйте опыт, приобретенный при проектировании вопросника, для планирования последующих исследований.
Процедура тестирования
Из приведенных выше восемнадцати шагов, необходимых при проектировании вопросника, только первые шесть подробно обсуждались в этой книге. Научные представления о конструкции вопросника составляют лишь часть всей работы. На конечном этапе каждый вопросник должен быть протестирован и отредактирован применительно к реальным условиям.
Даже при наличии многолетнего опыта ни один эксперт не может создать вопросник, совершенный во всех отношениях. Наш опыт проектирования вопросников превышает пятьдесят лет, и тем не менее нам ни разу не удавалось составить хороший вопросник с первого раза. Мы думаем, что сказанное относится и к другим социальным исследователям, хотя они иногда заявляют, что могут написать вопросник, не требующий никаких исправлений. Мы знаем многих начинающих социологов, истративших все свои ресурсы после рассылки первого чернового варианта вопросника и оказавшихся перед фактом, что некоторые ключевые вопросы понимаются неверно. Для исследователей с ограниченными ресурсами очень важно успеть провести пилотаж до того, как они их израсходуют. Если у вас нет средств на проведение пилотажного исследования вашего вопросника, не проводите опрос.
Последовательность действий при проектировании вопросника направлена на минимизацию затрат, связанных с последующим его корректированием. Так, при опросе друзей и сотрудников тестирование и получение относительных оценок исправленного вопросника не может потребовать значительных затрат. Поэтому этот вариант всегда реален для проектировщика вопросника и работающего с ним персонала. Исследователю полезно сыграть роль респондента и ответить на все предлагаемые вопросы. Зачастую авторы вопросов обнаруживают, что не могут ответить на них в том виде, как они написаны.
И в НЦИОМ, и в СИЛ нередко используется то, что называется «коллективным разумом». Коллеги проектировщика вопросника, заранее получив черновой вариант, собираются для обсуждения текста. Для автора – это всегда горький опыт, но в то же время – быстрый и эффективный метод усовершенствования вопросника.
На стадии тестирования обнаруживаются и корректируются многие изъяны, но не все. Поскольку первичное апробирование проводится на людях, близких к автору по образу мышления, знаниям и др., при тестировании на выборке, близкой к реальным респондентам предстоящего исследования, выясняются новые проблемы. Кроме того, если проводится неписьменный опрос, требуются интервьюеры. Поэтому необходимо подготовить инструкции и провести инструктаж интервьюеров. На этой стадии исследователь часто обнаруживает неясные места, которые следует устранить, прежде чем продолжится инструктаж.
Пилотаж отличается от основного исследования. Выборка состоит из людей, которые, как правило, легче высказывают свое мнение, чем основная группа респондентов, и интервьюер имеет возможность вести себя более свободно. Если же в основном исследовании должны принимать участие лица с низким уровнем образования, не понимающие отдельных слов или смысла вопросов, их обязательно следует включать в выборку для тестирования. После пилотажа интервьюеры обычно обсуждают с респондентами, какие из вопросов были недостаточно ясными или трудными для понимания. Очень полезно также авторам вопросников или инспекторам полевых отделов следить за ходом некоторых пилотажных интервью, чтобы можно было обнаружить вопросы, которые неверно интерпретируются интервьюерами и/или респондентами. При проведении сложных исследований имеет смысл встретиться с интервьюерами после тестирования, чтобы выяснить проблемы, с которыми им пришлось столкнуться. При проведении более простых исследований обычно достаточно ознакомиться с отчетами интервьюеров и комментариями, записанными в вопроснике.
