Методы, позволяющие повысить достоверность результатов опроса

 

Открытые вопросы. Чаще всего исследователи предпочитают задавать закрытые вопросы, так как они легче поддаются кодированию и компьютерной обработке (см. девятую главу). Однако открытые вопросы, связанные с частотой событий, не должны вызывать трудности с кодированием. Когда у респондента спрашивают, как часто он пьет пиво (вопрос 2А таблица 15), ответы могут быть следующие: «каждый день», «несколько раз в неделю», «раз в неделю», «раз в месяц» и т.д. Все эти варианты легко конвертируются в число дней за месяц или год.

В данном случае может быть непонятно, почему открытый вопрос предпочтительнее закрытого, в котором все варианты ответа отражены на карточке. Одна из причин – логическая упорядоченность всех вариантов. Например, ответ «каждый день» может находиться в самом начале или в конце предложенного списка. Обычно на любые типы вопросов (об установках, поведении или на знание событий) люди предпочитают не выбирать «крайних» ответов, и те, кто на самом деле пьет пиво каждый день, могут ответить: «несколько раз в неделю», не желая выделяться.

Кроме того, открытый вопрос допускает формы ответа, которые выходят за рамки стандартных и не могут быть представлены в закрытом вопросе. Так, самые «крайние» ответы в закрытом вопросе все же должны быть достаточно распространенными. Если же хвост распределения слишком длинный, то значительная категория заядлых любителей пива просто не будет учтена (подробнее см. Брэдбери, Садмен, 1979, вторая глава [13]).

Длинные вопросы. Достоинства и недостатки длинных вопросов о поведении респондента уже рассматривались во второй главе. Когда задаются вопросы о случаях социально нежелательного поведения, преувеличения в ответах не являются проблемой, поэтому длинные вопросы вполне приемлемы. Более того, они способствуют уменьшению тенденции предоставления неполной информации. Третий вопрос из таблицы 15 начинается с утверждения о популярности вин, а также перечисления примеров их употребления. Если же задается вопрос о сексуальном поведении (вопрос 1, таблица 17), то перечисление всех возможных ситуаций, в которых люди занимаются сексом, представляется неподходящим.

Длинные вопросы приводили к увеличению доли тех, кто признавал за собой неодобряемое поведение, примерно на 25-30% по сравнению с короткими стандартными вопросами. В то же время они не повлияли на желание респондентов больше рассказывать об употреблении ими спиртных напитков или алкогольном опьянении.

Использование знакомых слов. Традиционные методы проведения социологических опросов иногда критикуют за использование стандартных терминов, которые вызывают неестественность общения в процессе интервью. В повседневной жизни при обсуждении социально нежелательного поведения люди обычно употребляют слэнг и бытовые выражения. С другой стороны, изменение для каждого респондента формулировки вопроса приводит к трудно учитываемым вариациям в ответах. Промежуточным решением может быть предложение респонденту (именно респонденту, а не интервьюеру) самому выбрать употребляемые термины. Например, такие слова, как «секс» или «мастурбация», могут показаться слишком формальными (см. таблицу 17, вопросы 2 и 3). Большинство людей предпочитают использовать выражения «любить», «заниматься любовью», вместо «вступать в половую связь». Некоторые выбирают более прямые выражения. В этом случае во всех вопросах на указанную тему интервьюер будет употреблять термин, предложенный респондентом. Вопрос 2А будет звучать следующим образом: «Люди сильно отличаются друг от друга тем, как часто они занимаются любовью. Одни – раз в месяц и даже реже, другие каждый день, а иногда и по несколько раз в день. В среднем как часто Вы занимались любовью в течение последнего месяца?». Если сравнивать с результатами опроса, полученными от использования стандартных формулировок, то включение в вопрос привычных для респондента слов привело к увеличению доли признавших нежелательное поведение примерно на 15% [13]. Иногда респонденты не могут ответить на вопрос о том, какое слово им было бы удобней использовать, или отвечают совсем неадекватно. Так, один респондент назвал крепкие алкогольные напитки ядом. В таких случаях у интервьюера всегда должен быть какой-то запасной вариант. Обычно это стандартные выражения, такие, как «крепкие алкогольные напитки» или «половой акт».

При обсуждении нейтрального или социально желательного поведения респондентов прибегать к описанной процедуре не имеет смысла, так как при этом отсутствуют факторы, которые могли бы компенсировать увеличение комплексности вопроса. Кроме того, использование этого метода усложняет работу интервьюера. В заключение можно отметить, что появились программные средства, например, система автоматизированного телефонного интервьюирования (САТИ), благодаря которой каждое слово, вводимое интервьюером, автоматически копируется во всех вопросах указанной группы.

Привлечение информантов. В предыдущей главе мы говорили как о достоинствах использования информантов, так и о возможной неточности получаемой от них информации. Когда темой интервью становится социально нежелательное поведение, данные информантов могут оказаться надежнее личных ответов. Конечно, необходимо спрашивать о темах, на которые информант может знать ответ, из разговоров или личных наблюдений, например о голосовании, чтении книг, употреблении алкогольных напитков или наркотиков [13].

Информантам могут быть заданы вопросы как о членах их семьи, так и о друзьях или родственниках. При этом респондент будет с меньшим опасением отвечать на вопросы о поведении других людей, чем говорить о самом себе. Исключением из этого правила являются родители, которых спрашивают о собственных детях. Родители могут предоставить более искаженную информацию, чем их дети.

Осознанное утяжеление вопроса. Уже не раз было замечено (см. первую главу), что изменение формулировки вопросов об установках приводит к смещениям в распределении ответов. Некоторые исследователи попытались улучшить качество ответов на вызывающие опасения темы посредством осознанного утяжеления вопросов таким образом, чтобы снизить вероятность получения положительных ответов о социально желательном поведении и увеличить – о социально нежелательном. Для последнего типа поведения использовались следующие приемы утяжеления вопроса:

1. Так поступает каждый. Утверждение, что все люди часто ведут себя не самым желательным образом, уменьшает опасения респондента. Например: «Даже самые спокойные родители иногда сердятся на своих детей. Сделали ли Ваши дети за последние семь дней с ____ (указывается дата) что-нибудь, заставившее Вас рассердиться?». Другой вариант этого приема представлен в вопросе 2 таблицы 15: «Самый популярный алкогольный напиток в нашей стране – пиво или эль».

2. Изначальное предположение о поведении, вопросы задаются о частоте или других деталях. Обычно при проведении опросов не принято предполагать, что человек ведет себя определенным образом, не выяснив, так ли это на самом деле. Игнорирование данного правила приводит к преувеличению в ответах. Если же величина положительных ответов изначально занижена, то прием может оказаться эффективным. Например, в формулировке вопроса: «Сколько сигарет Вы обычно выкуриваете за день?» заложено предположение, что респондент курит (при этом остается возможным ответ «ни одной»). Этот метод мог быть использован и в вопросах об алкогольных напитках (таблица 15). Тогда вопросы о том, употреблял ли респондент алкогольные напитки за последний год или когда-либо в жизни, были бы пропущены.

Недостатком подобных вопросов является то, что респондент, которому вообще такое поведение не свойственно, может почувствовать себя дискомфортно, и это приведет к снижению качества коммуникации между ним и интервьюером.

В вопросах на финансовые темы целесообразно предполагать наличие у респондента имущества или других активов и уточнять лишь детали. Так, вместо вопроса: «Имеете ли Вы или кто-нибудь в семье средства на депозитном счете?» вы спросите: «Вернемся к вопросу о депозитных счетах – это могут быть счета в банках, ссудо-сберегательных ассоциациях, кредитных союзах – имеет ли каждый член Вашей семьи свой отдельный счет или все деньги записаны на кого-то одного? На чье имя записаны все Ваши счета? Где?». [28, р. 331].

3. Ссылка на авторитет для обоснования поведения. Респонденты обычно более благосклонно относятся к некоему утверждению, если оно принадлежит уважаемому человеку. В качестве примера можно привести первую фразу вопроса об употреблении вина: «Сейчас многие доктора придерживаются мнения, что вино снижает вероятность сердечных приступов и улучшает пищеварение». Скорее всего, в таком контексте лучше ссылаться именно на группы профессионалов (докторов, ученых, исследователей), но не называть конкретные имена. Респондент может не знать отдельных личностей или не испытывать к ним уважения.

Обратим внимание на то, что все приведенные выше приемы направлены на изучение социально нежелательного поведения и не должны быть использованы в исследованиях нейтрального или социально желательного поведения. Аналогичным образом приемы для социально желательного поведения не должны использоваться для социально нежелательного.

4. Ненавязчивая форма вопроса. Использование фразы: «Не приходилось ли Вам...» помогает респонденту не относиться слишком серьезно к обсуждаемой теме. Тем самым можно снизить преувеличения при разговоре о социально желательном поведении. Однако этот прием не улучшает результаты опросов о социально нежелательном поведении респондентов. Это хорошо иллюстрирует вопрос об огнестрельном оружии (таблица 13): люди не могут совершенно случайно иметь оружие, курить марихуану или убивать жен. Слова «не приходилось» или «случайно» в данном контексте звучат странно и неестественно, они могут даже усилить опасения респондента. С другой стороны, когда речь идет о чтении книг или посещении концертов, ненавязчивая форма вопроса: «Не приходилось ли Вам ходить в этом месяце на концерты?» звучит вполне нормально.

5. Уважительные причины. Если в формулировке вопроса содержится уважительная причина, объясняющая, почему опрашиваемый вел себя не самым желательным образом (не голосовал, не пользовался ремнем безопасности), вероятность получить правдивый ответ заметно увеличивается. Так, в вопросе 2 таблицы 12 у респондента спрашивают: «Не случилось ли так, что какие-либо обстоятельства помешали Вам принять участие в голосовании, или Вы все-таки проголосовали?». В еще более явной форме причину нежелательного поведения респондента можно найти в вопросе об использовании ремней безопасности: «Многие водители говорят, что ремни безопасности очень неудобны, с ними трудно дотянуться до переключателей фар или стеклоочистителей. Если вспомнить последний раз, когда Вы находились в машине, были ли Вы пристегнуты ремнями безопасности?».

Такая практика формулирования вопросов представляется нам достаточно полезной, но на данный момент подтверждающие это эксперименты еще не проводились. Различные исследовательские организации используют описанный метод при проведении опросов, однако выводов о его эффективности мы сделать не можем.

Выбор временных рамок. Вопрос о событиях прошлого вызывает меньшие опасения респондента, чем вопрос о его поведении в настоящее время. При обсуждении социально нежелательного поведения лучше начать вопрос словами: «Вы когда-нибудь...», вместо того чтобы спросить, как ведет себя респондент в настоящее время. Обратите внимание на вопросы 2, 3 и 4 (об употреблении пива, вина и крепких алкогольных напитков) таблицы 15. Другим примером послужат вопросы о различных формах нарушения закона: «Приходилось ли Вам когда-либо прогуливать занятия в школе, скрывая это от родителей?», «Приходилось ли Вам, хотя бы раз в жизни, выносить что-нибудь из магазина, не заплатив?». Альтернативная тактика проведения опросов – пропустить все вопросы о прошлом и сразу приступить к вопросам о настоящем поведении респондента. Такая тактика может быть использована при разговоре о спиртных напитках, однако задавать подобные вопросы о несоблюдении правил и законов нам кажется достаточно неуместным (конечно, если респондент не находится в тюрьме).

Задав вопрос: «Не приходилось ли Вам когда-либо...», интервьюер затем переходит к следующему вопросу, в котором определяет некоторый промежуток времени (например, прошлый год). Как было отмечено в предыдущей главе, респонденту трудно вспомнить подробности события, которое произошло слишком давно, конечно, если оно не было очень значимым в его жизни.

Для социально желательного поведения должна быть использована диаметрально противоположная тактика. Респонденты могут побояться сообщить, что они никогда не использовали ремней безопасности или никогда не читали книг. В таких случаях удачной представляется формулировка Гэллапа: «Если вспомнить последний раз, когда Вы находились в машине, Вы использовали ремни безопасности?» – вместо того, чтобы спросить: «Вы использовали когда-нибудь ремни безопасности?». В тех случаях, когда предметом исследования являются не самые регулярные действия респондентов, необходимо ограничить вопрос фиксированными временными рамками. Так, вместо вопроса: «Были ли Вы когда-нибудь в театре или на концерте?» предпочтительно спросить: «Не приходилось ли Вам за последний месяц ходить в театр или на концерт?»

Поиск подходящего контекста. Опасения, которые может вызвать вопрос, во многом определяются контекстом. Так, хороший способ заставить респондента ответить на интересующий вас вопрос – предварительно обсудить с ним темы, которые вызывают у него еще большие опасения, чем тема вашего опроса. Однако для использования этой процедуры существуют некоторые ограничения. Как будет показано в восьмой главе, интервью не следует начинать с вопросов, неприятных респонденту. Такое начало может отбить у него желание отвечать на остальные вопросы. Кроме этого, если вопрос, вызывающий опасения, стоит в начале анкеты, то вероятность преуменьшений в ответах на него возрастает. Предположим, вас интересует только тема употребления пива. Тогда, если бы вы предварительно задали вопрос об употреблении крепких спиртных напитков и только потом –о пиве, опасения респондента были бы значительно ниже. Если вам нужно получить информацию о кражах в магазинах, задавайте вопросы в следующем порядке [22]:

 

Совершали ли Вы хотя бы раз в жизни следующее:

Вооруженное ограбление? Да Нет

Врывались ли в дом, магазин или здание? Да Нет

Брали ли машину без разрешения ее владельца? Да Нет

Выносили ли что-то из магазина, не заплатив? Да Нет

 

Восприятие отдельного вопроса очень сильно зависит от контекста. Так, анкета, посвященная теме алкоголизма, вызывает большие опасения респондентов, чем анкета о потребительских расходах. Следовательно, респонденты положительно ответят на вопрос об употреблении алкогольных напитков с большей вероятностью, если он будет включен в более широкую тему, посвященную потребительским расходам или образу жизни.

Всегда трудно решить, нужно ли использовать дополнительные вопросы, которые направлены на снижение опасений респондента, но не имеют отношения к теме интервью. Ведь это приводит к удлинению анкеты и удорожанию исследования. Однако мы предполагаем, что взвешенное использование данного метода может существенно увеличить качество данных без значительного роста затрат. Опытный исследователь, столкнувшись с необходимостью использования дополнительных вопросов, выберет их таким образом, чтобы данные вопросы обогатили исследование, если даже в отдельности они не представляют интереса.

Использование методов, не требующих проведения интервью. Ниже приводится несколько методов, которые выходят за рамки стандартного опроса. Основная цель использования этих методов – снижение опасений, возникающих у респондентов (в некоторых случаях, когда вопросы особенно беспокоят респондента, невозможно исключить получение ложной информации). Методы основаны на следующем принципе – если респондент почувствует, что ему гарантирована полная анонимность, он с большей вероятностью ответит на предложенные ему вопросы.

Прежде всего, это самостоятельное заполнение анкеты, которая может быть получена респондентом по почте, при групповом или обычном интервьюировании. В наибольшей степени анонимность обеспечивается при проведении большого группового интервью, так как в таких условиях невозможно определить, кому принадлежал каждый из ответов. Групповые исследования проводят в школах, колледжах, на собраниях различных организаций.

Другая процедура, обеспечивающая высокую степень анонимности, – опросы по почте. Респонденты не видят исследователя, однако некоторые из них предполагают, что их ответы могут быть опознаны (даже если анкета полностью анонимна).

И наконец, даже в процессе личного контакта с респондентом интервьюер может создать иллюзию анонимности, предоставив респонденту возможность самому заполнить анкету и запечатать ее в конверт, чтобы интервьюер не видел его ответов. Безусловно, у респондента может возникнуть подозрение, что при вскрытии конверта его личность будет установлена.

Есть основания предполагать, что описанные процедуры обеспечения анонимности более эффективны при проведении опросов о социально одобряемом поведении респондентов. При личном контакте с интервьюером у респондента нередко возникает желание приукрасить истинное положение дел (сообщить о своем участии в голосовании или благотворительных акциях, о посещении культурных мероприятий). При заполнении анонимной анкеты респондент с большей вероятностью честно ответит на заданные ему вопросы. Изначально предполагалось использовать практику анонимных опросов для того, чтобы получить информацию о социально нежелательном поведении респондента. Но после того как были произведены оценки результатов, исследователи пришли к выводу о невысокой эффективности применения этой процедуры. Даже в отсутствие интервьюера некоторые респонденты предпочитают не сообщать о себе негативную информацию [2]. Один из доводов в пользу использования метода анонимного анкетирования – случай, когда респондент не видит ничего постыдного в своих поступках или убеждениях, но сомневается, стоит ли о них сообщать интервьюеру, не зная его точку зрения по этому поводу. Например, отношение к методам контрацепции и аборту во многом зависит от религиозных убеждений. Поэтому респондент может без опасений отвечать на все вопросы анонимной анкеты, но сомневаться, стоит ли обсуждать эту тему с интервьюером.

Групповые интервью на практике проводились очень редко, а их результаты никогда не сравнивались с валидными данными или результатами, полученными с помощью других методов. Мы предполагаем, что групповые интервью – одна из самых эффективных форм анонимных опросов, однако исследований, подтверждающих нашу гипотезу, пока не было.

Следующий метод – сортировка карточек, использовался в Великобритании при исследовании преступности и правонарушений среди несовершеннолетних [10]. В начале интервьюер раздает карточки с примерами различных видов поведения, часть которых может вызвать опасения респондента. Он просит опрашиваемых положить каждую карточку в коробочку с надписью «Да» или в коробочку с надписью «Нет». В ходе интервью интервьюер может предложить респонденту подумать об ответах из коробочки с надписью «Нет» и, если необходимо, переложить карточки. Иногда респондентам легче признать факт своего нежелательного поведения (или опровергнуть предположение о социально желательном поведении), если он дает ответ в невербальной форме. Насколько нам известно, исследование эффективности такой процедуры и ее сравнение с альтернативными методами еще не проводилось.

И наконец, существует метод рандомизированных ответов. Основная цель процедуры, которую, пожалуй, правильнее было бы назвать методом рандомизированных вопросов, – гарантировать респонденту полную анонимность таким образом, чтобы ни интервьюер, ни исследователь не могли узнать, на какой из вопросов отвечает респондент [37, 40, 92]. Интервьюер задает два вопроса – один из них может вызвать опасения респондента, а другой – совершенно безобидный. Например, в таблице 14 на карточке Г два вопроса: «За последние 12 месяцев были ли Вы оштрафованы полицейским за нахождение за рулем в нетрезвом виде?» и «Вы родились в сентябре?». На каждый из вопросов можно ответить «Да» или «Нет». Вопрос, на который должен ответить респондент, определяется случайным образом. В нашем исследовании была использована пластмассовая коробочка, внутри которой находилось 50 шариков – 70% красных и 30% синих. Коробочка устроена так, что при встряхивании один из шариков попадает в специальное «окошко». Цвет шарика не виден постороннему наблюдателю (интервьюеру).

Рассмотрим, как работает описанная процедура. Предположим, из выборки в 1000 респондентов 200 человек дали ответ «Да» и 800 – «Нет». По теории вероятностей число людей, ответивших «Да» на вопрос о месяце их дня рождения, приблизительно равно 25 (1000 х 0,3/12 – если предположить, что дни рождения равномерно распределены между 12 месяцами и три десятых всех респондентов увидят синий шарик). Таким образом, число ответивших «Да» на вопрос о нахождении за рулем в нетрезвом виде должно составлять приблизительно 175 (200 – 25). Всего на этот вопрос должны были отвечать примерно 700 респондентов (1000 х 0,7)– Получается, что число опрошенных, признавших, что они были оштрафованы за нахождение за рулем в нетрезвом виде, приблизительно равно 25% (175/700).

Используя метод рандомизированных ответов, вы можете оценить социально нежелательное поведение группы, гарантируя респондентам полную анонимность. С другой стороны, вам не удастся сопоставить индивидуальные характеристики респондентов с типом их поведения, так как невозможно использовать стандартные регрессионные процедуры на индивидуальном уровне. При наличии очень большой выборки некоторые групповые характеристики могут быть соотнесены с оценками, полученными методом рандомизированных ответов. Например, сравниваются все ответы молодых женщин с ответами мужчин или с ответами людей старшего возраста. Таким образом, при использовании метода рандомизированных ответов невозможно избежать значительной потери информации.

Точность полученных данных во многом зависит от готовности респондентов точно следовать всем инструкциям и правдиво отвечать на вопросы взамен на гарантии анонимности. К сожалению, в тех случаях, когда вопросы вызывают слишком сильные опасения (например, нахождение за рулем в состоянии алкогольного опьянения), метод рандомизированных ответов позволяет лишь незначительно улучшить результаты опроса. Согласно нашим исследованиям, приблизительно 35% опрошенных, про которых было известно, что они оштрафованы за управление автомобилем в нетрезвом виде, не признались в этом даже при условии полной анонимности (Брэдбери, Садмен и др., 1979).

Метод рандомизированных ответов не предназначен для проведения опросов о социально желательном поведении респондентов, так как применение этой процедуры может еще больше исказить полученные результаты. Лучше всего использовать этот метод в тех случаях, когда респонденты не считают свое поведение заслуживающим порицания (темы абортов или банкротства), но не знают, как к этому отнесется интервьюер. В таких случаях улучшение качества ответов компенсирует уменьшение объема выборки.

У некоторых читателей может возникнуть вопрос, как влияет это нарушение стандартного хода интервью на респондента. Не пропадает ли у него желание отвечать на оставшиеся вопросы? Все наши опыты подобных исследований свидетельствуют об обратном. Как интервьюер, так и респондент получают удовольствие от таких действий, как встряхивание коробочки или сортировка карточек. По свидетельству интервьюеров, разнообразие заданий вызывает у респондентов желание более активно участвовать в опросе.

Использование дневников и проведение панельных исследований. Во второй главе мы обсуждали использование дневников или записей, напоминающих о некоторых плохо запоминающихся рутинных событиях. Применение дневников и панельных исследований позволяет значительно уменьшить опасения респондента.

Во-первых, при повторном обсуждении любое событие становится более привычным. Люди, которые сначала сомневаются, стоит ли им говорить о покупке пива или контрацептивов, с течением времени перестают этого стесняться.

Во-вторых, постепенно у респондентов возникает доверие к исследователю. С течением времени им становится очевидно, что цель проводимого исследования состоит в получении обобщенных данных, а не индивидуальной информации. Многократно отмечалось, что после проведения двух или трех опросов респонденты чувствуют себя более спокойно и уверенно. Подобная тенденция – подарок для исследователя, ведь в противном случае сравнение данных в панельном исследовании стало бы невозможным из-за воздействия эффектов ответа [28].

Наконец, использование дневников позволяет включить вызывающие опасения темы в рамки более общих проблем и тем самым снизить уровень беспокойства респондентов. Например, респонденты, которые вели дневниковые записи о расходах на поддержание здоровья [87], указали большие затраты на приобретение контрацептивов, чем респонденты, участвовавшие в нескольких повторных интервью. В данном случае использование дневников приводит к тому же эффекту, что и анонимная форма опроса или метод рандомизированных ответов.

Делайте только допустимые проверки. Альфред Кинсей в своих неструктурированных опросах по теме сексуального поведения часто задавал один и тот же вопрос несколько раз. Он предполагал, что в ходе интервью респонденты могут утвердительно ответить на некоторый вопрос, даже если первоначально они не хотели этого делать. Несмотря на то, что такой метод иногда помогает получить дополнительную информацию о социально нежелательном поведении, мы не рекомендуем его использовать. Чаще всего респонденты начинают возмущаться, когда им задают вопрос дважды. Обычный ответ в таких случаях: «Я вам уже говорил». С точки зрения респондента повторение вопроса может означать, что либо интервьюер его не слушает, либо хочет обмануть. В любом случае респондент будет очень настороженно воспринимать оставшиеся вопросы.

Повторно задавать вопрос уместно на новом этапе интервью, в панельном исследовании. В этом случае увеличение числа ответов может быть следствием возросшего доверия респондента к проводимому исследованию. Однако необходимо напомнить, что высокая повторяемость ответов на различных этапах панельного исследования не обязательно свидетельствует об их достоверности. Ответы на вопросы, вызывающие высокий уровень опасений, могут быть устойчивыми, но содержать преувеличения или преуменьшения.