Источники ошибок в ответах

 

Одним из критериев качества вопроса является степень соответствия получаемой информации той, что необходима исследователю. Этот критерий называется валидностью. Непосредственное измерение валидности в большинстве случаев затруднительно, а для многих типов вопросов просто невозможно. Есть и вопросы, с которыми сложно соотнести само понятие валидности.

Мы разделяем вопросы на два класса: 1) вопросы о поведении или фактах; 2) вопросы о психологических установках и субъективных мнениях. В поведенческих или фактологических вопросах выясняются характеристики людей или их действия, то есть то, что в принципе может быть проверено сторонним наблюдателем. Другими словами, эта группа вопросов связана с характеристиками, событиями или действиями, которые являются внешними по отношению к конкретному человеку и могут наблюдаться со стороны. Возможность внешней верификации ответов реализуется далеко не всегда. В некоторых случаях возникает проблема законности или этической допустимости такой верификации, например, когда речь идет о голосовании или сексуальном поведении. Вопросы относительно установок, мнений и отношений нельзя верифицировать в принципе, так как психологические состояния присутствуют только в сознании опрашиваемых и доступны (если это в принципе возможно) только самим респондентам. Для поведенческих актов валидность определяется интуитивно, посредством согласования мнений экспертов, наблюдающих одни и те же факты. Для установок респондентов такое определение валидности проблематично. Является ли суждение валидным, когда респондент говорит о себе в минуты откровения либо когда общается с близкими друзьями? Или мы вправе говорить о валидности только при появлении возможности сопоставить его высказывания с поведением? Ответ лежит в большей степени в теоретическом обосновании, чем в достигнутом согласии.

Даже если нет отчетливого представления о критерии валидности для вопросов об установках, вполне очевидно, что на вопросы, заданные разными способами, могут последовать различные ответы. Кроме того, вопросы об одних установках более подвержены влиянию формулировки, чем о других. Мы не знаем, почему так происходит. В настоящее время мы можем только сказать, что некоторые мнения более чувствительны к способу их измерения, нежели другие. Ранее мы использовали понятие «эффект ответа», которое включает в себя компоненты смещения и вариабельности [85]. Смещение понимается как отклонение от истинной величины. Вариабельность – как чувствительность измерений к различным формулировкам вопроса.

Для понимания эффекта ответа рассмотрим типичный вопрос о поведении: «Каким был ваш общий семейный доход из всех источников в прошлом году?». (Или можно уточнить год и спросить, например, о прошлом годе.) Мы понимаем, что существует правильный ответ на этот вопрос, хотя можем его никогда и не узнать (поскольку даже сумма подоходного налога, предполагающая знание о всех источниках доходов, содержит собственные источники ошибок). Мы можем получить ошибочный ответ, потому что респондент просто забыл о некоторой сумме доходов из небольших или непостоянных источников (таких, как дивиденды от акций или проценты от вкладов). Или респондент мог отнести полученный доход к другому периоду времени. Неверное отнесение событий к определенному периоду называется временным сдвигом, который может быть прямым или обратным. При прямом сдвиге респондент включает события предшествующего периода в тот, о.котором его спрашивают. При обратном сдвиге респондент относит текущие события к предшествующему периоду. Прямой сдвиг приводит к преувеличению числа событий, а обратный – к их преуменьшению. Оба типа временных сдвигов могут возникать в опросе с одинаковой частотой, что приводит к их взаимному погашению. Однако методические исследования показывают, что прямой сдвиг наблюдается чаще, что приводит к увеличению числа фиксируемых в большинстве опросов событий.

Третьим источником ошибки может быть намеренное или мотивированное нежелание респондента сообщать о скрытом доходе, например о нелегальном доходе или доходе, не включенном в налоговую декларацию. Четвертая категория ошибок включает сознательное искажение величины дохода, вызванное желанием отвечающего произвести впечатление на интервьюера. Обычно этот тип ошибок сводится к искусственному завышению доходов, хотя в некоторых случаях респонденты, особенно имеющие высокий уровень дохода, могут и снижать фактическую сумму. Пятый источник ошибок связан с непониманием респондентом смысла анкетного вопроса. Например, респондент может не сообщить о доходе, полученном в форме подарка, хотя интервьюер подразумевал, что этот вид дохода включен в ответ. В конце концов, респондент может просто не знать о некоторых доходах, полученных другими членами семьи, но о которых ему следовало сообщить.

Обобщая все перечисленные типы ошибок, можно выделить четыре фактора, определяющие эти ошибки: память, мотивация, коммуникабельность и знание. Это означает, что: 1) респонденты могут забыть как информацию, так и период, к которому она относится; 2) они могут быть заинтересованы в сокрытии правды из опасения последствий или из-за желания представить себя в более выгодном свете; 3) респонденты могут не понимать, о чем их спрашивают, и давать ответ в рамках собственного представления; и, наконец, 4) они могут просто не знать ответа на вопрос, но дать его, не говоря о своем незнании. Все эти факторы требуют более детального рассмотрения.

Глава 2. НЕЙТРАЛЬНЫЕ ПОВЕДЕНЧЕСКИЕ ВОПРОСЫ

 

Наиболее понятные и, вероятно, наиболее распространенные вопросы, задаваемые респондентам, относятся к их поведению. Начинающему исследователю трудно себе представить наличие проблемы в вопросах типа: «Вы владеете этим помещением или арендуете его?» или «Какую марку кофе вы покупали в последний раз?». Тем не менее эти вопросы не так уж просты и очевидны, как кажется на первый взгляд. Ключевой переменной является уровень опасения, которое может вызвать вопрос. Понятно, что спрашивать о плохом обращении с ребенком или избиении жены намного труднее, чем о наличии в семье телевизора. Но даже вопросы на такие темы, как голосование на последних выборах или наличие читательского билета в библиотеку, могут насторожить респондентов. Мы отложим эту тему до следующей главы и ограничим обсуждение нейтральными вопросами и вопросами, которые, по крайней мере, не вызывают особых опасений. Они могут относиться, например, к производственной деятельности, использованию или покупке потребительских товаров, к некоторым аспектам поведения в медицинской сфере, социальным взаимодействиям с окружающими людьми, поведению во время отпуска и путешествий. Вопросы о структуре домашнего хозяйства, доходах, занятости и о других демографических характеристиках можно было бы рассмотреть в этой главе, но мы включили их в седьмую, где и предлагаются стандартные формулировки.

Наиболее серьезная проблема, которая возникает при использовании нейтральных поведенческих вопросов, связана с несовершенством человеческой памяти, ее зависимостью от длительности или давности периода времени и актуальности темы опроса. Ниже мы обсудим то, что известно об ошибках, связанных с памятью, а затем предложим ряд стратегий, направленных на их уменьшение. Следует отметить, что данные рекомендации позволяют снизить ошибки памяти, но не исключить их. Читатель, который надеется увидеть в этой главе (или любой другой) идеально составленные вопросы, будет разочарован. Однако нейтральные вопросы не очень «чувствительны» к изменениям в формулировках, за исключением тех случаев, когда эти изменения касаются воспоминаний. В дальнейшем будет показано, что вопросы, вызывающие опасения (третья глава), и вопросы об установках и мнениях (пятая глава), напротив, очень чувствительны к формулировкам.

Основные рекомендации

 

1. Решите, можно ли считать анализируемый вопрос о поведении нейтральным. Если нет, переходите к третьей главе.

2. Задавая закрытый поведенческий вопрос, убедитесь, что в него включены все значимые альтернативные ответы. Упущенные альтернативы и ответы, отнесенные к категории «Другие», могут дать неполную информацию.

3. Если есть основания считать, что на поведенческий вопрос получен неполный ответ, полезно использовать процедуру активизации воспоминаний.

4. Составляйте вопрос так, чтобы он был максимально конкретным. Информация окажется более надежной, если Вы будете спрашивать не о типичном для респондента поведении, а ограничите его жесткими временными рамками. Можно задавать и менее точные вопросы, которые требуют меньше времени на ответ. Однако это оправдано в том случае, если ваша цель – классифицировать респондентов, а не точно описать их поведение.

5. Период времени, к которому относится вопрос, должен быть согласован с тем, насколько значима для респондента тема опроса. Длительные периоды (год и более) уместны при обсуждении наиболее важных тем (например, приобретение нового дома, рождение ребенка или серьезное автомобильное происшествие), периоды в один месяц и меньше – когда тема менее значима (например, покупка предметов домашнего обихода или одежды). Следует избегать слишком коротких интервалов, поскольку это может привести к прямому временному сдвигу, т. е. воспоминанию событий, которые произошли раньше, и по этой причине ответы будут неточными.

6. Использование документов (когда это возможно), записей по ведению домашнего хозяйства и «связанных воспоминаний»* помогает уменьшить или вовсе исключить временной сдвиг и повысить точность информации.

7. Если предметом исследования являются повторяющиеся, малозначимые события, дневниковые записи дают более точную информацию, чем устные воспоминания.

8. Используйте слова, понятные всем респондентам. Не употребляйте специальных терминов, 1) если нет уверенности, что они известны всем респондентам; 2) если в самом вопросе они не объясняются.

9. Расширение вопроса за счет введения каких-либо напоминаний может повысить качество полученных результатов. Не думайте, что чем короче вопрос, тем лучше.

10. При ответах на нейтральные поведенческие вопросы респонденты обычно сообщают более точные сведения о себе, чем о родственниках, друзьях или сотрудниках. Если в вопросах фигурирует денежный фактор, опрашиваемые могут дать довольно точную информацию о других, в частности, родители – о детях, супруги – друг о друге.

* Авторы имеют в виду использование перекрестных вопросов о фактах, каким-либо образом связанных между собой. – Прим. ред.