Эмпирическое обоснование методики опроса

В предшествующих разделах были изложены разнообразные тре­бования к методике опроса, без соблюдения которых не может быть обеспечена надежность социологической информации. Однако в каж­дом исследовании эти общие методические принципы реализуются в различных конкретных проявлениях. Разрабатывая вопросник (анкету или план интервью), автор обычно интуитивно учитывает весь сложный комплекс методических требований. Завершая состав­ление анкеты, исследователь в зависимости от уровня своего опыта и знаний более или менее уверен, что вопросы и общая конструк­ция его методического инструмента обоснованы относительно иссле­довательских задач и учитывают социально-психологические особенности совокупности людей, которых предстоит опрашивать. Эта уверенность может базироваться на знании специальной методи­ческой литературы, на анализе и учете методического опыта ана­логичных исследований, на предварительных консультациях с экс­пертами и на немногочисленных (до десятка) предварительных опросах знакомых и незнакомых людей.

Однако вся эта подготовительная работа не освобождает социо­лога от специального этапа методической работы — пробного (пило­тажного) исследования, имеющего целью эмпирическую апробацию подготовленного инструментария.

В отличие от основного содержательного исследования пилотаж имеет свои задачи — проверить качество методического инструмен­тария, выяснить соответствие этого инструментария нормативным требованиям, предъявляемым к методике той конкретной разновид­ности опроса, которая используется исследователем.

Определению задач пробного исследования предшествует специ­альный этап методической работы — логический анализ подготовленного вопросника. На этом этапе автор опросника (желательно совместно с экспертом-методистом) выполняет несколько разновид­ностей критического анализа.

Анализ вопросов анкеты. Прежде всего, проверяется логическая обоснованность (релевантность) формулировки каждого вопроса по отношению к содержанию искомой информации, которая должна быть получена с помощью этого вопроса. Исходной точкой такого анализа должен быть список единиц искомой информации с ука­занием номеров вопросов, которые обеспечивают ее получение, конт­роль и перепроверку качества.

Такой анализ гарантирует исследователю, во-первых, полноту и достаточность эмпирического описания изучаемых процессов и явлений и предохраняет от весьма возможной ситуации, когда, приступая к анализу результатов, исследователь обнаруживает, что по одним параметрам получены избыточные данные, а по другим — минимальные, либо они вообще не были предусмотрены.

Такой анализ — первая подготовка к этапу обработки и интер­претации данных, обеспечивающему завершающий этап исследова­ния — возвращение от эмпирического описания предмета исследования к концептуальным теоретическим обобщениям¹⁹.

Во-вторых, на этом этапе проверяется соответствие формулиро­вок вопросов логическим требованиям построения вопроса как относительно самостоятельной измерительной процедуры. Контроли­руя соблюдение этих условий, исследователь должен по поводу каждого вопроса анкеты выяснить для себя: а) спрашиваю ли я именно о том, что мне необходимо? Не произошло ли при конструи­ровании вопроса замены показателей (см. пример в разделе «Ре­левантность»); б) достаточно ли однозначно определена в формулировке вопроса информация, которая ожидается от респондента, т. е. нет ли терминов или выражении, допускающих различное понимание их смысла различными группами респондентов; в) нет ли в. формулировке вопроса задач, не обеспеченных техникой за­полнения (шкалами, перечнем вариантов ответов, таблицами для регистрации ответов, указаниями о числе возможных вариантов ответов); г) нет ли в формулировках шкал смещений к положитель­ному или отрицательному ответу; д) нет ли в формулировках аль­тернативных вопросов совмещения не исключающих друг друга оснований; е) нет ли внушающих формулировок вопросов.

Результатом такого анализа будет разделение вопросов анкеты или плана интервью на две группы. Первая — вопросы, содержащие очевидные нарушения требований к логике их построения по критерию обоснованности. Эти опросы либо убираются на анкеты, либо их формулировки соответствующим образом корректируются.

Вторая группа — вопросы, не содержащие, ошибок обоснованности. Соотношение численности этих групп вопросов в анкете может служить одним из показателей методической квалификации автора анкеты или плана интервью.

Кроме того, существует специальная схема анализа, по которой устанавливается соответствие формулировок вопросов системе ка­тегорий опрашиваемых. Качество каждого вопроса подготовлен­ной анкеты должно быть перед планированием пробного исследо­вания оценено автором по следующим критериям²⁰.

1. Выдержан» ли требования к языку опрашиваемого, не получилось ли так, что для части респондентов язык слишком труден, а для другой, наоборот, примитивен?

2. Все ли вопросы и варианты ответов понятны? Нет ли в фор­мулировке вопросов сложных терминов?

3. Не слишком ли абстрактны вопросы и не слишком ли они конкретны?

4. Понятны ли респонденту единицы измерения, имеющиеся в анкете?

5. Компетентны ли опрашиваемые для ответов на вопросы, не следует ли включить фильтры на компетентность?

6. Нет ли опасности утомить опрашиваемого, как снизить мо­нотонность вопросов?

7. He предъявляют ли вопросы непосильных требований к памя­ти респондента?

8. Нет ли опасности получения стереотипных ответов?

9. Не слишком ли многочисленны варианты ответов на вопрос, нет ли необходимости расчленить их на тематические блоки?

10. Не вызовет ли вопрос отрицательные эмоции у опраши­ваемого?

11. Не задевает ли вопрос самолюбие респондента или интимны» стороны его жизни, самосознания?

Предварительный логический анализ каждого вопроса анкеты по названным критериям дает социологу возможность выявить в анкете вопросы, имеющие замечания по каким-либо из перечислен­ных критериев. Оценка вопросов по каждому из названных кри­териев может производиться на основании методического опыта предшествующих исследований.

К сожалению, сложившиеся традиции использования результа­тов ранее проведенных исследований связаны по преимуществу с содержательными, но не с методическими целями. А между тем каждое проведенное исследование? может быть рассмотрено и как апробация методов сбора данных на статистически значимых со­вокупностях, причем результаты этой апробации иногда и состав­ляют главную его исследовательскую ценность.

В ряде случаев результаты вторичного анализа позволяют уточ­нить или доказать пригодность формулировки вопроса без специаль­ной эмпирической проверки, но далеко не всегда это бывает воз­можно.