Чем большее количество сладких безалкогольных напитков выпивает студент, тем ниже качество его (или ее) академической успеваемости

Для решения задачи вам придется построить операционные определения для ключевых понятий потребление безалкогольных напитков и академическая успеваемость. Для простоты предположим, что понятие академической успеваемости вы представили в виде переменной средняя оценка, второе ключевое понятие – в виде ответов студентов на прямой вопрос о потреблении ими безалкогольных напитков. После выбора колледжей и студентов, которые войдут в исследование, вы должны разработать процедуры для выполнения соответствующих измерений и проинструктировать ассистентов относительно того, как применять эти процедуры. Чтобы обеспечить сведения о зависимости переменной (академическая успеваемость), вам придется точно определить, откуда можно взять оценки, как подсчитать среднюю оценку и как формализовать информацию. Чтобы обеспечить измерение независимой переменной, вам придется дать точную формулировку вопросов, которые будут задаваться, и точно определить, как записывать различные возможные ответы на эти вопросы.

При разработке операционных определений для переменных, используемых в исследовании, вам необходимо дать скрупулезное описание процедур, используемых для осуществления измерений. Каждый шаг должен быть детально расписан. Это не только позволяет сделать описание исследования и обеспечивает стандартность процедур измерения, но и дает возможность продумать весь процесс осуществления измерения для определения возможных ошибок, которые могут сказаться на надежности результатов.

Предположим, мы хотим измерить степень поддержки, которую члены двух основных партий оказывают своей партии в законодательных органах штата. Мы можем операционализировать понятие “партийное единство” путем обращения к поименному голосованию и в дальнейшем использовать процент совпадений голосования среднего члена партии с голосованием большинства его партии как показатель единства при голосовании. Однако, решив [c.79] поступить таким образом, мы столкнемся с многовариантностью при реальной операционализации нашей переменной.

Информация о том, как голосует каждый законодатель, может быть получена из протоколов законодательного органа, однако после этого необходимо решить, какое из многих зафиксированных в протоколе голосований следует включить в наш подсчет. Одни голосования являются единодушными (такие, как голосование о выпуске прокламации в честь какого-нибудь национального героя) и не отражают партийного единства, поскольку не включают партийных проблем. Включение всех голосований снижает степень, в которой наше измерение отражает наше понятие. Мы должны выработать критерии для отбора голосований, подлежащих учету. Например, для того чтобы сосредоточивать внимание только на дискуссионных вопросах, мы могли бы отбирать для исследования только те поименные голосования, в которых принимают участие по крайней мере 2/3 законодателей и в которых побежденная сторона получает не менее 30% голосов.

Необходимо также решить, как разработать процедуру определения результатов голосования большинства членов партии, для того чтобы установить, соответствует ли голосование каждого члена партии позиции большинства. Мы должны решить, как поступать с воздержавшимися: считать ли их поведение за отказ от поддержки своей партии или исключать их из подсчета? Кроме того, нам нужно точно определить процедуру первоначального подсчета и последующего усреднения процентного содержания согласованных голосований для каждого законодателя.

При каждой операционализации мы сталкиваемся с необходимостью принимать сходные решения при определении того, какими процедурами пользоваться для получения соответствующих измерений. Полное операционное определение демонстрирует, как мы решили поступать с такими проблемами, и не оставляет никаких сомнений относительного того, что мы реально делали, производя наши измерения.

В результате построения операционного определения разрабатывается инструмент для выполнения измерений. В естественных науках для получения показателей, характеризующих степень проявления у физических [c.80] объектов некоторого свойства, применяются такие инструменты, как шкалы, экспонометры и микрометры. В социальных науках используются измерительные инструменты совсем иного рода. К числу типичных для социальных наук инструментов относятся: вопросы о форме проведения исследования; инструкции по проведению и описанию наблюдений за определенными событиями, такими, как дебаты на заседаниях ООН; множество характеристик, получаемых из справочника, и правила их объединения для формирования измерения.

Надлежащий инструментарий в социальных науках не менее важен, чем в естественных. Точно так же, как мы не стали бы измерять вес с помощью линейки, мы не захотели бы измерять политическое отчуждение с помощью вопросов, не выявляющих состояния людей, испытывающих отчуждение. Обсуждая в следующем разделе валидность и надежность измерений, мы предложим некоторые способы проверки инструментов, разработанных в процессе операционализации, которые укрепляют нашу уверенность в том, что эти инструменты измеряют то, что мы хотим. [c.81]

ИЗМЕРЕНИЕ

Мы операционализируем переменные, чтобы иметь возможность количественно представлять абстрактные понятия и осуществлять осмысленное сравнение явлений реального мира в терминах свойств, задаваемых этими понятиями. Такое приписывание числовых значений для представления свойств носит название измерения ¹. В результате измерения в каждом конкретном случае с переменной ассоциируется некоторое значение ². Это означает только то, что мы с большей точностью можем говорить о том, в какой степени данный объект наблюдения (например, человек, город, нация или организация) проявляет свойство, которое представлено измеряемой переменной. Вместо того чтобы говорить, что в городе “плохи дела в связи с преступностью”, мы сможем говорить о конкретных размерах преступности. Вместо того чтобы говорить о ком-то “преданный республиканец”, можно сказать, что он (или она) получил 5 баллов по нашей шкале силы идентификации партийной принадлежности. [c.81]

УРОВНИ ИЗМЕРЕНИЯ

Процедуры измерения предоставляют средство категоризации и упорядочения явлений. Вместе с тем одни процедуры дают возможность выявить более тонкие и детальные различия между событиями, чем другие. Поэтому нам приходится констатировать различные уровни измерения. Говоря о том, что процедура обеспечивает данный уровень измерения, мы квалифицируем ее в соответствии с количеством поставляемой ею информации об измеряемых явлениях и их взаимоотношениях друг с другом. Уровни измерения носят название номинального, порядкового и интервального.

Номинальное измерение представляет минимальную информацию о явлении. Оно дает лишь набор дискретных категорий, позволяющих разграничить разные объекты. Номинальное измерение – это простое наименование объектов в соответствии с заранее заданной схемой классификации. Национальность обычно “измеряется” на номинальном уровне посредством классификации людей на англичан, швейцарцев, бразильцев и т. п. Это “измерение” не сообщает, насколько характеристика “национальность” свойственна разным людям, и не позволяет упорядочивать их. Использование номинального измерения всего лишь дает возможность объединить объекты в классы, обозначенные так, как это принято в классификационной схеме.

Чтобы быть полезными, схемы номинального измерения должны основываться на множествах категорий, которые являются взаимоисключающими и исчерпывающими. Это означает, что (1) невозможно отнести один объект к более чем одной категории и (2) категории должны быть такими, чтобы каждый объект мог быть отнесен к той или иной категории. Если мы хотим расклассифицировать всех избирателей Соединенных Штатов с помощью схемы номинального измерения, мы не можем воспользоваться категориями демократ, республиканец, либерал и консерватор, так как они не являются взаимоисключающими. Поскольку американские политические партии обращаются к самым широким массам избирателей, человек вполне может оказаться одновременно демократом и консерватором или либералом, одновременно республиканцем и консерватором или либералом. Эти [c.82] категории не дают возможности провести разграничение между избирателями во всех случаях. Аналогично, если мы попытаемся расклассифицировать избирателей на основании партийной принадлежности, используя только две категории: республиканец и демократ, – мы обнаружим, что наши категории не являются исчерпывающими, так как некоторые избиратели считают себя независимыми либо членами других партий.

Для упрощения анализа мы, быть может, захотим заменить категории в схеме номинального измерения числами. Важно понимать, однако, что в данном контексте эти числа не имеют реального значения – они всего лишь символы. Исходя из того, что мы решили заменить категорию республиканец цифрой 5, а категорию демократ – цифрой 1, мы не можем считать, что у республиканцев в пять раз больше приверженцев, чем у демократов. Любая категория номинального измерения может быть заменена любым числом, при условии, что у каждой категории будет свой индивидуальный номер.

Порядковое измерение предоставляет больше информации, так как дает возможность не только категоризовать, но и упорядочивать, или ранжировать, явления. Порядковое измерение позволяет присваивать каждому объекту число, которое обозначает не только то, что данный объект отличен от одних объектов и сходен с другими с точки зрения измеряемой переменной, это число указывает также, как именно данный объект связан с другими в терминах количества того конкретного свойства, которым он характеризуется. Располагая порядковым измерением, мы можем сказать, какие объекты характеризуются большим (или меньшим) количеством измеряемого свойства по сравнению с какими-то другими объектами; мы можем также расположить объекты по порядку в зависимости от количества того свойства, которое их характеризует. Такое упорядочение дает более детальную и более точную информацию, чем номинальное измерение. Понятие социальный класс обычно измеряется на порядковом уровне: каждому человеку приписывается ранг низшего, среднего или высшего класса.

Интервальное измерение предоставляет еще больше информации. Мы можем не только классифицировать и упорядочивать объекты, после того как они измерены на [c.83] интервальном уровне, но и сказать, насколько большим или меньшим количеством измеряемого свойства по сравнению с другими объектами они характеризуются. Порядковое измерение не основано ни на какой стандартной для данной переменной единице и не позволяет установить, насколько далеко в терминах этой переменной отстоят друг от друга разные объекты. Оно лишь позволяет говорить, что у одних объектов данная переменная имеет большее или меньшее значение, чем у других. Интервальное измерение основано на представлении о существовании некоторой стандартной единицы измеряемого свойства.

В то время как порядковые измерения дают нам лишь огрубленное представление об отношении между объектами с точки зрения данной переменной, интервальные измерения предоставляют информацию о “расстоянии” между ними. Хороший пример такого рода – переменная доход. Доход обычно измеряется в денежных единицах (в Соединенных Штатах это доллары и центы). Поскольку при измерении используются стандартные единицы, мы можем утверждать, что между 10000 и 11000 долларов годового дохода разница абсолютно та же, что и между 50000 и 51000 долларов. Мы не в состоянии сделать этого с помощью порядкового измерения. Если измерять доход с помощью порядкового измерения, разделяя людей по их доходу на такие категории, как доход ниже 5000 долларов и доход от 5000 до 9999 долларов, мы сможем сказать, что у одного человека доход выше или ниже, чем у другого, однако мы не сможем сказать точно, насколько эти люди различаются по своим доходам, так как не знаем, где именно находится человек внутри своей категории. Различие в доходе между человеком из категории 1 (до 5000 долларов) и человеком из категории 2 (от 5000 до 9999 долларов) может составлять всего лишь один доллар (5 000 долларов минус 4 999 долларов), а может доходить до 9999 долларов (9999 долларов минус 0 долларов) в зависимости от точной цифры их доходов, однако мы не можем увидать этой разницы, исходя из порядкового измерения.

Помимо того что интервальное измерение дает нам точную информацию об абсолютных различиях между объектами, мы также получаем возможность делать [c.84] точные утверждения об относительных различиях между понятиями. Мы, например, можем согласиться с тем, что население 50000 человек – это в два раза больше, чем население 25000 человек, потому что ведь есть такие места, где вообще никто не живет: в истинных интервальных измерениях существует нулевая точка, и по крайней мере теоретически возможно существование объектов, имеющих на таких шкалах нулевую отметку. Так как на порядковой шкале не существует осмысленной нулевой точки, мы не можем говорить, например, что люди высшего класса имеют в два раза большее количество “класса”, чем люди низшего класса, – мы не знаем, что означает “не иметь никакого классового статуса”.

На основании всего этого следует сделать одно важное замечание относительно уровня измерения. Когда речь идет о сравнении явлений, измерения номинального уровня – наименее полезный тип измерения. Если мы используем его в ситуации, когда возможно использовать “более высокий” (более точный) уровень измерения, мы можем потерять потенциально ценную информацию. Если при изучении поведения на выборах мы приводим классификацию людей на республиканцев, независимых и демократов, в то время как можно задать другой набор вопросов и осуществить их ранговое упорядочение с учетом [c.85] перехода от более сильной к более слабой партийной идентификации, мы, возможно, отказываемся от информации, которая поможет нам понять наблюдаемые отношения. Измерение порядкового уровня полезнее, чем измерение номинального уровня, но у него также есть свои ограничения. Интервальное измерение – наиболее желательная форма измерения как в силу того, что оно дает наиболее детальную информацию, так и потому, что оно позволяет осуществлять математическую обработку имеющихся данных. (Подробнее об этом будет говориться в гл. 14,15 и 16.)

Наша задача состоит в том, чтобы там, где это возможно и удобно, стремиться к операционализациям, позволяющим осуществлять измерение интервального уровня. Однако каким образом мы выбираем уровень измерения, подходящий для конкретных понятий, операционализацией которых мы занимаемся? Это проблема как концептуализации, так и технологии измерения.

В процессе исследования на этапе построения теории мы должны прежде всего спросить себя, лежит ли в основе различий, наблюдаемых в отдельных случаях, некий континуум. Если да, то мы можем предложить для данного понятия порядковое или даже интервальное измерение, в противном случае в качестве измерения может выступать лишь номинальная классификация. Поясним важность этого на примере.

Предположим, мы изучаем зависимость между национальностью иммигрантов и степенью поддержки ими политического механизма большого города США начала XX века. Если мы осуществляем операционализацию национальности на номинальном уровне и категоризуем поддержку политического механизма в городских избирательных округах, мы, возможно, получим картину, подобную той, что изображена на рис.3.2а. Здесь не видно никакой отчетливой связи между национальностью и поведением на выборах, так как знание о том, какая национальность преобладает в данном округе, не позволяет ранжировать его относительно других округов. Однако если мы проанализируем ход наших рассуждений, то сможем понять, что наши ожидания относительно связи национальности с поддержкой политического механизма имеют определенные основания: соответствующие страны [c.86] происхождения различны с точки зрения возможности участия в политической жизни, которое они предоставляют своим гражданам. Мы можем сделать вывод, что те, кто имеет небольшой опыт существования в условиях демократии, будут с готовностью передавать свое право на самоуправление политическим лидерам. Если исходить из этого и упорядочить страны в соответствии допускаемой ими степенью участия своих граждан в политике, мы можем построить график, подобный тому, что изображен на рис.3.2б. На этом графике отчетливо видна взаимосвязь национальности с поддержкой политического механизма. Упорядочение категорий по независимой переменной помогает выявить систему в ее отношениях с зависимой переменной.

Если у нас хватит смелости, мы можем даже повысить уровень измерения независимой переменной до интервального. Мы, например, могли бы подсчитать количество постановлений, касающихся участия в политической жизни, в законодательствах соответствующих стран на протяжении нескольких лет, непосредственно предшествующих началу широкой иммиграции в США. Полученные цифры можно использовать для ранжирования национальностей на интервальной шкале и осуществить даже более точное сравнение независимой и зависимой переменных.

Сможем ли мы осуществить такое повышение ранга переменных, чтобы перейти от номинального уровня измерения к порядковому или интервальному, зависит как от разработки теоретического обоснования такого перехода, так и от наличия технических возможностей применения операционных процедур, осуществляющих измерения более высокого уровня. Даже если мы сможем в нашем примере выразить понятие национальности в терминах интервального уровня, мы, возможно, не получим в свое распоряжение законодательные акты, необходимые для расположения стран на интервальной шкале. В этом случае наши возможности по получению измерений более высокого уровня ограничивает измерительная техника. Примеры такого рода достаточно многочисленны. Например, при исследовании взаимосвязи между полом и политическим поведением у нас будет возможность утверждать, что мужские черты характера – это свойство, [c.87] которым люди обладают в разной степени (те, кто обладает им в наименьшей степени, – женщины). Если мы можем выступить с набором вопросов для выяснения того, насколько люди обладают этим свойством (если вообще обладают), мы в принципе можем упорядочить людей на порядковой или интервальной шкале “мужественности”. Однако если мы не располагаем денежными средствами для проведения исследования, в ходе которого люди ответят на эти вопросы, нам придется рассчитывать на номинальную классификацию мужчина/женщина, сведения о которой мы находим в списках членов партии.

Эти ситуационные факты затрудняют установление правил того, как операционализировать понятия с целью достичь определенных уровней измерения. Однако мы полагаем, что можно следовать правилу операционализации У.Ф.Шайвли ³. Он советует использовать максимально точные для данного объекта измерения и не терять информацию за счет неточного измерения. Это обычно означает применение более строгих процедур измерения, которые там, где это возможно, осуществляли бы измерение более высоких уровней. Не довольствуйтесь операционализацией, дающей номинальное измерение, когда теоретически оправданно и технически возможно порядковое или интервальное измерение.

Сделав данные замечания, мы должны сказать о некоторых исключениях из основного правила. Существуют случаи, когда слишком большая точность измерения на самом деле нежелательна. Один пример такого рода приводит Шайвли. Из его работы заимствован (с некоторыми изменениями) рис.3.3. На рисунке двумя разными способами изображена зависимость между возрастом и голосованием на президентских выборах 1968 г. На рис.3.3а возраст измеряется в годах. Поскольку в каждой возрастной группе (например, 21–22 года, 35–36 лет, 50– 51 год) оказывается немного людей, на диаграмме не выявляется никакой отчетливой структуры отношений между двумя переменными. На рис.3.3б возраст измеряется менее точно – в пятилетиях. Наличие в каждой группе большого числа объектов позволяет увидеть явную структуру отношений: вероятность голосования повышается до 50-летнего возраста, а затем, вообще говоря, снижается. [c.88]

Пожертвовав некоторой точностью измерения, мы получили выигрыш с точки зрения простоты анализа. Это удачная сделка, пока мы не зашли столь далеко по пути уменьшения точности, чтобы вновь потерять из виду изучаемые соотношения. Если мы используем для измерения возраста 20-летний интервал, мы не увидим больших количественных различий между возрастными группами голосующих и сможем прийти к выводу, что возраст не связан с вероятностью голосования. Поскольку заранее до реального анализа данных мы, как правило, не знаем, какая точность окажется необходимой для выявления соотношений, мы должны следовать правилу, в соответствии с которым осуществляется по возможности максимально точная операционализация понятий. Мы всегда сумеем отказаться от ненужной точности путем “сжатия категорий” (перехода к более крупным различительным единицам), если сочтем это нужным. Однако если не собрать информацию в самом начале, мы не сможем обратиться к ней в дальнейшем. [c.90]

РАБОЧАЯ ГИПОТЕЗА

Измерение приписывает объектам значения в соответствии с данными переменными. Именно эти значения используются для представления понятий при сравнении наших наблюдений. Прежде чем понять, какие выводы в отношении теории следуют из наших наблюдений, мы должны представить гипотезы, касающиеся отношений между переменными в виде рабочих гипотез, которые устанавливают ожидаемые отношения между измерениями или показателями. Предпоследняя строчка на рис.3.1 предлагает форму, в которой выступают рабочие гипотезы. Эти гипотезы требуют от нас установления связи между показателями и переменными, которые, по нашему мнению, следуют из осуществленной операционализации.

Рассмотрим пример из области международных отношений. Предположим, нас интересует теория доминации в сфере международной жизни. Исходя из теоретического допущения: “Чем более сильное влияние испытывает государство, тем более конформистскую политику оно проводит”, – мы можем выдвинуть следующую гипотезу: “Когда возрастает экономическая зависимость государства, [c.90] возрастает и степень поддержки, оказываемой им государству-покровителю”. Мы можем операционализировать экономическую зависимость как процент экспортной продукции, идущей государству-покровителю. Процент экспорта становится в нашем случае независимой переменной зависимость. Поддержка может измеряться процентом голосований в Генеральной Ассамблее ООН, в которых зависимое государство голосует иначе, чем государство-покровитель. Процент голосований в ООН становится в нашем случае показателем зависимой переменной поддержка политики государства-покровителя. Теперь мы можем сформулировать рабочую гипотезу, утверждающую наличие между показателями отрицательного отношения: когда процент продукции, экспортируемой государству-покровителю, возрастает, процент голосований в ООН, не согласующихся с позиций государства-покровителя, уменьшается.

Эта рабочая гипотеза сообщает о том, какие наблюдения согласуются с нашей гипотезой и нашей теорией. Она также предлагает возможные отношения между переменными и показателями, которые у нас имеются. Это отношение изображено на рис.3.4.

Рисунок демонстрирует, насколько важно было додумать до конца соотношение между измерениями и переменными. Отношение, предсказанное утверждением и гипотезой, является положительным. А рабочая гипотеза [c.91] предсказывает отрицательное отношение. Это объясняется тем, что отношение между зависимой переменной и ее показателем является отрицательным. В свою очередь это означает, что вследствие того, как мы провели операционализацию зависимой переменной, именно отрицательное отношение между показателями предоставляет данные в поддержку гипотезы и теоретического утверждения, которое предсказывает положительные отношения между понятиями и переменными. Мы должны осознавать это, если хотим избежать неправильной интерпретации данных и сделать на основании наблюдений правильные выводы относительно полезности нашей теории.

Установление отношений между показателями, переменными и понятиями, которые они представляют, настолько важно, что некоторые исследователи в области социальных наук требуют создания наряду с теориями, касающимися политических феноменов, теории измерений, которая бы объясняла наши представления относительно связей между показателями и понятиями ⁴. Что заставляет нас связывать экономическую зависимость с возрастанием экспорта? Какие особенности в распределении экспорта позволяют ему выступать в качестве отражения того, что мы имеем в виду, говоря о зависимости? На такого рода вопросы помогает ответить хорошо разработанная теория измерений. Положения теории измерений объясняют, почему показатели должны менять значения при изменении степени соответствия реальных объектов понятиям.

Показатели выбираются не случайным образом, а в результате тщательного продумывания связей между объектами реального мира. Сходные процессы осуществляются и при разработке теорий, касающихся политических феноменов: выводы, к которым мы приходим, могут оказаться неправильными, свойства, которые мы имеем в виду, используя некоторые понятия, могут на самом деле оказаться не связанными с показателями, которые мы решили использовать в качестве эмпирических мер этого понятия.

Вернемся к примеру с исследованием, которое должно определить, мешают ли безалкогольные напитки академической успеваемости. Мы решили измерять употребление безалкогольных напитков, просто задавая [c.92] студентам вопрос, сколько газированной воды они выпивают за некоторый период времени, предполагая, что они скажут правду и что те, кто выпивает больше, получат более высокое значение нашего показателя, чем те, кто выпивает меньше. Предположим, однако, что ответы студентов на наши вопросы полностью определяются тем, догадались ли они о цели исследования и хотят ли они обмануть университетское начальство в отношении количества потребляемых ими безалкогольных напитков. При таком повороте дел предполагаемая связь между переменной и показателем не будет зафиксирована и мы не сможем, опираясь на наши исследования, сделать на законных основаниях какие-либо выводы о результатах воздействия безалкогольных напитков, если только мы не предложим какое-либо альтернативное измерение.

Обсуждаемая спорная проблема существует ли какая-либо связь между нашим понятием и переменными, с одной стороны, и нашим индикатором или критерием – с другой, стала основной для вопроса о выработке критериев в науке. Вопрос, действительно ли изменения в наших индикаторах есть результат изменений в понятии, которое они представляют, тесно связан с проблемами надежности и достоверности, которые мы обсудим в последующих разделах настоящей главы. Важным моментом здесь является то, что идея теории измерений поможет найти подходы к этим проблемам в нашем исследовании.

Любая операционализация понятия – это, в сущности, гипотеза. Когда мы проводим операционализацию и говорим: “Пусть данное понятие обозначается таким-то показателем”, – мы выдвигаем гипотезу, что объекты, которые мы имеем в виду, используя данное понятие, действительно отражаются в выбранном показателе. Эта гипотеза может подтверждаться, а может и не подтверждаться наблюдениями. Мы не имеем права просто доверять адекватности наших измерений, мы должны проследить за проведенными наблюдениями, чтобы найти факты, подтверждающие, что измерения действительно отражают то, что мы имеем в виду под понятиями. Поиск валидных и надежных процедур измерения в социальных науках – это во многом процесс проверки гипотез. Нужно быть готовым признать ошибки и начать все сначала, если факты говорят о том, что введенные показатели не отражают [c.93] наши понятия. Проверка измерений происходит в первую очередь при попытках оценить валидность и надежность выбираемых показателей. [c.94]

ОШИБКА ИЗМЕРЕНИЯ

В результате измерения разным объектам приписываются различные значения на основе оценок, заданных нашими показателями. Дифференциация в оценках может возникать за счет двух основных источников. Первый источник – это величина реального проявления у объектов определенной степени или аспекта интересующего нас свойства. Разные оценки возникают тогда, когда наши измерения действительно улавливают эту дифференциацию. В этом случае измерения отражают реальные различия между понятиями. Другой источник дифференциации значений – та величина, которая относится к самому измерению или к условиям его осуществления, что предопределяет наличие разных значений у разных объектов. В этой ситуации наши измерения не демонстрируют реальных различий между объектами, т. е. таких, которые отражают подлинную дифференциацию понятий, которые мы хотим измерять. Наблюдаемые нами в этом случае различия возникают из-за погрешностей в процедуре измерения.

Если бы наши измерения были совершенны, они бы демонстрировали только различия первого рода. Однако наши измерения крайне редко (если вообще когда-либо) бывают безупречными. Дифференциация значений, приписываемых разным объектам, неизбежно отражает не только реальные различия в степени проявления некоторого понятия, но и “искусственные” различия, обусловленные процессом измерения. Любая дифференциация значений, приписанных реальным объектам, обусловленная чем бы то ни было, кроме действительных различий, относится к ошибкам измерения. Они представляют собой не действительные различия между объектами, а различия, зарегистрированные ошибочно, из-за недочетов процесса измерения.

Грань между истинными вариациями оценок и вариациями, обусловленными ошибкой измерения, подобна различиям между объектами, фиксируемыми невооруженным глазом, и различиями, отмечаемыми лишь при [c.94] разглядывании их отражения в зеркале. В той степени, в какой зеркало искажает образы, оно либо скрадывает различия, которые можно было бы увидеть невооруженным глазом, либо создает впечатление существования различий, которые мы в других условиях не заметили бы. В социальных науках у нас крайне редко появляется возможность наблюдать ключевые понятия непосредственно, и мы вынуждены полагаться на отражение этих понятий с помощью измерительных процедур, аналогичных зеркалу. Соответственно, правильность наших представлений зависит от точности, с которой наши измерения отражают действительность.

Каковы хотя бы некоторые из источников искажения образов, обусловленных нашими измерениями? Необходимо знать ответ на этот вопрос, если хотим контролировать ошибки измерения или распознавать их, когда они присутствуют в наших данных. Мы можем перечислить несколько основных источников ошибок измерения, установив наиболее частые источники различий в оценках, относимых к другим, неистинным различиям в характеристиках, которые мы хотим измерить ⁵.

1. Различия в распределении между объектами других, относительно постоянных характеристик, которые были непреднамеренно выявлены нашими измерениями. Например, для понимания вопросов, предназначенных для измерения политической идеологии, и ответа на них может понадобиться определенный уровень интеллекта. Если это так, ответы на вопросы будут отражать не только политико-идеологические, но и интеллектуальные различия между людьми. В окончательном результате влияние интеллекта и влияние политической идеологии будут перемешаны, и мы не сможем определить различия в оценках, обусловленные идеологическими факторами, и отличить их от различий, обусловленных интеллектуальными факторами. Аналогичным образом другие характеристики наших единиц анализа (такие, как региональное расположение городов, культурные особенности нации или источники документов) могут случайно отразиться в наших измерениях и исказить наше восприятие рассматриваемых понятий. Там, где эти “возмущающие” воздействия можно выявить и измерить, необходимо посмотреть, что произойдет, если поддерживатьих значения на постоянном [c.95] уровне: исчезнут, уменьшатся или увеличатся различия в оценках, которые получают объекты по нашим измерениям ⁶.

2. Различия в распределении между объектами временных характеристик, которые отражаются в наших измерениях. Характер ответов на вопросы анкеты может определяться настроением или состоянием здоровья отвечающего. Недавние события в политической жизни города (например, раскрытие случаев коррупции среди должностных лиц) могут создавать временные, но систематические различия в том, как жители этих городов отвечают на вопросы исследования. Большое стихийное бедствие может произвести коренные и вместе с тем временные изменения в статистических данных, на которые мы опираемся при выяснении уровня экономического развития. Обнаруживать и контролировать воздействие таких временных “аномалий” труднее, чем воздействие постоянных характеристик объектов. Единственный способ уберечься от воздействий такого рода – это внимательно относиться к сигналам, предупреждающим о том, что отдельные объекты находятся под влиянием таких преходящих факторов (например, изучать недавние события в политической жизни городов, входящих в нашу выборку, или советовать интервьюерам не проводить интервью с человеком, который в данный момент тяжело болен), и выполнять процедуры, предназначенные для проверки надежности измерений (такие процедуры описываются в разделе данной главы, посвященном надежности).

3. Различия, проявляющиеся при интерпретации измерительного инструмента разными людьми. Это проблема возникает лишь в том случае, когда люди прямо отвечают на вопросы, а не тогда, когда исследователь осуществляет измерения, наблюдая за поведением. Если вопросы сформулированы неоднозначно, то и респонденты дадут им разные интерпретации, которые могут привести к различиям в оценках по измерениям, составленным на основании этих вопросов. Предположим, например, что, изучая поведение на выборах, мы несколько легкомысленно задали вопрос: “Вы принимали участие в последних выборах?” Если кто-либо из интервьюируемых не знает, что на прошлой неделе проводились муниципальные выборы, он может ответить да, так как думает, что вопрос относится к [c.96] последним общенациональным выборам, хотя он и не принимал участия в выборах, которые подразумевались в наших вопросах. Обезопасить себя от этих непредвиденных различий в оценках наших измерений можно с помощью предварительных вопросов (см. гл. 6) и проверки измерений на надежность.

4. Различия в условиях проведения измерения. Этот источник ошибок измерения также находится главным образом в исследованиях, результаты которых измеряются с помощью ответов на вопросы. Например, в ходе выборочного исследования надежно установлено, что на характер ответов могут оказывать влияние раса, пол и возраст интервьюера. Ответы (а следовательно, и оценки на шкалах) могут варьироваться от интервью к интервью в зависимости от характеристик самого интервьюера. Сходные проблемы могут возникнуть не только в ходе выборочного исследования. Например, мы можем ошибочно осуществить контент-анализ передачи последних известий, предназначенных для внутреннего вещания, и передачи последних известий, предназначенных для зарубежного вещания. Мы в таком случае будем применять один и тот же инструмент в совершенно разных условиях и на основе одного этого факта вправе ожидать появления различий в оценках. Избежать ошибки измерения такого рода можно одним способом – прилагать все усилия к тому, чтобы ситуации, в которых осуществляются измерения, были стандартизованы.

5. Различия в процессе применения измерительных инструментов. Приписываемые объектам оценки могут различаться в результате разнообразных ошибок, возникающих при сборе и записи информации. Интервьюеры могут неверно понять инструкции и задавать вопросы не так, как предполагал исследователь. Плохое освещение может оказаться причиной того, что респондент неправильно отметит пункты анкеты. В самый ответственный момент карандаш может сломаться, а в авторучке кончиться чернила, так что наблюдатели не сумеют зафиксировать ключевые для группового взаимодействия события. Из-за усталости кодировщик может изменить или проигнорировать инструкции по кодированию единиц в контент-анализе. Все эти типы отклонений в процессе применения измерительных инструментов приводят к [c.97] различиям в оценках вне зависимости от каких бы то ни было различий в реальных значениях исследуемой переменной. Основной способ борьбы с ошибками измерения (помимо привлечения к работе надежных ассистентов) – предварительная проверка инструментов измерения. Пробный прогон поможет вскрыть потенциальные “технические” проблемы, возникающие при применении данного инструмента (такие, как недостаток места в кодовой форме для записи типовых ответов), и человеческие факторы, которые могут сказаться на результатах (например, время, в течение которого наблюдатели могут работать не утомляясь).

6. Различия в обработке и анализе данных. Прежде чем информация может быть проанализирована, она должна подвергнуться тщательной обработке. Часто информация по нескольку раз меняет форму. Например, интервьюеры могут зафиксировать ответы на вопрос, записав каждое слово, сказанное интервьюируемым. Впоследствии, при кодировке ответов, эти письменные фрагменты могут сокращаться, превращаясь в одну-единственную цифру. Эта цифра может быть зафиксирована в битах магнитного диска или магнитной ленты. На каждом из этих этапов анализ данных становится все проще, однако с каждым следующим этапом увеличивается возможность ошибок, в результате которых объекты начинают различаться по некоторой переменной, в то время как на самом деле они не различаются. Возможность таких ошибок приводит к необходимости дважды и трижды проверять данные при каждом преобразовании и сохранять исходную форму для последующей проверки.

7. Различия в характере реакции индивидуумов на форму измерительных инструментов. Эта проблема приобретает важное значение тогда, когда объектами анализа являются люди. Измерительные инструменты могут выступать в самых разнообразных формах – это и устные интервью, и анкеты, которые должен заполнить опрашиваемый, и наблюдение подготовленного исследователя. Различные формы предъявляют к людям – объектам исследования разные требования. Интервью, к примеру, требует умения свободно говорить, анкета – читать и писать. Если люди различаются с точки зрения этих способностей, их оценки могут различаться даже тогда, когда люди [c.98] в действительности сходны по той переменной, которая операционализируется. Лучший способ избежать ошибок измерения такого типа – использовать более чем одну форму измерения для операционализации каждого понятия. Мы еще поговорим об этом в разделе данной главы, посвященном валидности.

Все эти факторы могут привести к проникновению в исследование ошибки измерения. Различные ошибки, происходящие из семи перечисленных источников, обычно подразделяются на систематические и случайные. Систематические ошибки – это ошибки, которые возникают из-за путаницы переменных в реальном мире (см. п. 1) или из-за особенностей самого инструмента. Они появляются каждый раз, когда используется данный инструмент, и постоянно сопутствуют объектам и исследованиям, в которых используется одно и то же измерение. Постоянные ошибки делают наши результаты невалидными в том смысле, что различия (или сходства), которые, как представляется, выявляют наши измерения, не есть точные отражения различий, которые мы, по нашему мнению, измеряем. Случайные ошибки проявляются по-разному и обусловлены преходящими характеристиками объектов, ситуационными различиями в применении инструмента, ошибками в проведении измерения и обработке данных и другими факторами. Они делают наши измерения невалидными почти так же, как и систематические ошибки. Кроме того, случайные ошибки делают наши измерения ненадежными в том смысле, что проявление случайных ошибок не дает возможности постоянно получать одни и те же результаты при использовании одного и того же измерения.

Как же избежать столь разрушительного воздействия на наши результаты ошибок измерения, которое превращает наше исследование в бесполезное или ошибочное? Чтобы ответить на этот вопрос, необходимо внимательно обсудить проблемы валидности и надежности. [c.99]

ВАЛИДНОСТЬ

Мы не так уж часто имеем возможность непосредственно измерить понятия, используемые в социологических теориях. Такие понятия, как власть, демократия и представительство, не так просто представить количественно, [c.99] как понятия типа длины и веса. Нам приходится пользоваться показателями, лишь косвенно соответствующими понятиям, которые они представляют. А в таком случае всегда существует опасность, что выбранные показатели будут неадекватно отражать понятия, которые мы хотим с их помощью измерять. Для обозначения степени соответствия измерений понятиям, которые эти измерения должны отражать, используется термин валидность. Интересоваться валидностью измерения – то же самое, что интересоваться, действительно ли с помощью данного измерения мы измеряем то, что предполагали измерять. Обеспечение валидности часто считается основной проблемой, связанной с измерением в социальных науках.

Чтобы быть валидным, измерение должно быть исчерпывающим и полным. Если, например, мы сравниваем качество коммунальных служб в разных городах, у нас может возникнуть искушение считать показателем качества системы образования количество преподавателей в школах. Это – неуместное измерение, поскольку количество работающих в системе школьного образования в значительной степени определяется количеством учащихся и размерами города и может иметь мало общего с качеством образования. Если за показатель качества системы образования принять отношение количества учащихся к количеству учителей, мы получим более уместное измерение, так что различия, вызванные размерами города, уменьшатся или вообще исчезнут. Тем не менее измерение все еще останется недостаточным. Образование – это не только преподаватели. Образование – это также школьные задания, фильмы, книги, учебные пособия и множество других факторов. Рассмотрение каждого из этих факторов в отрыве от остальных может создать неверное впечатление о качестве системы образования. Система школьного образования может иметь в высшей степени благоприятное соотношение учащихся и преподавателей, однако недостаточное количество средств обучения и учебных материалов. Было бы ошибкой утверждать, что эта система школьного образования не отличается от системы с таким же соотношением учащихся и преподавателей и прекрасными средствами обучения и учебными материалами. Если мы стремимся к валидности, мы должны [c.100] попытаться выбрать такие измерения, которые были бы и уместными и полными.

В этой ситуации возникает два вопроса: как осуществить исчерпывающие, полные и уместные измерения и как убедиться в том, что нам удалось это сделать.

Ответ на первый вопрос начинается с процесса операционализации. Мы можем определить валидность как степень, в которой различия оценок измерения отражают только различия в распределении значений переменной, которую мы собираемся измерять. Так как мы, вероятно, никогда не сможем достичь полной и всеобщей валидности, наша цель должна заключаться в выборе измерений, которые были бы минимально чувствительны к воздействию всех иных различий, кроме различий, обусловленных интересующей нас переменной. Для этого необходимо внимательно рассмотреть все процессы, связанные с нашими измерениями, для обнаружения возможных причин различий в оценках. На этом этапе мы должны быть особенно внимательны, чтобы застраховаться от влияния систематических ошибок.

Рассмотрим такой пример. Возможно, нам понадобится измерить, в какой степени граждане разных государств согласны с политикой своих правительств. Мы решаем использовать в качестве показателя согласия или несогласия ответы на ряд специально подготовленных вопросов. Мы считаем, что единственным источником различий в ответах на вопросы являются различия мнений. Однако минутное размышление наводит на мысль о другом возможном источнике вариаций. Если среди исследуемых нами государств есть государства с авторитарным правительством, прибегающим к услугам секретной полиции для подавления инакомыслия и рассматривающим любую критику своей политики как акт государственной измены, граждане этих государств, вполне возможно, побоятся высказывать в интервью несогласие со своим правительством. В этом случае оценки, полученные для нашего измерения, могут по крайней мере в той же степени определяться отношением правительства данного государства к несогласным, в какой – мнением интервьюируемых, Поскольку вероятность ошибки измерения такого рода очень высока, подготовленные вопросы оказываются неподходящей операционализацией. [c.101]

Сходным образом в самом начале процесса исследования мы должны позаботиться о полноте. Если мы хотим измерить относительное влияние различных групп интересов в законодательном собрании штата, можно подумать об использовании в качестве показателя газетных сообщений о выступлениях этих групп перед законодательными комиссиями. Однако следует спросить себя, сводится ли политическое влияние к произнесению клятвенных заверений на публичных заседаниях. Эта деятельность законно считается частью процесса влияния, однако существует так много других средств оказания влияния, что измерение, опирающееся исключительно на произнесение заверений как показатель влияния, оказывается неполным.

Таким образом, получение уместных и относительно полных операционализаций зависит как от хорошего знания объекта нашего исследования, так и от осуществления тщательного логического анализа альтернативных операционализаций. Однако проверить валидность наших измерений для определения того, хороши ли они, можно лишь после того, как собраны данные. Процесс оценки валидности измерений называется валидизацией.

Имеется четыре основных подхода к валидизации. Первый часто называется прагматической валидизацией, поскольку валидность измерения оценивается на основе данных о том, насколько хорошо оно позволяет предсказывать поступки и события. Например,мы разрабатываем измерение для определения пригодности кандидатов на общественную должность, с точки зрения избирателей. Некоторый показатель валидности этого измерения можно получить, применив его ко всем кандидатам в сенат США в данном избирательном году и предсказав их шансы быть выбранными на основе сравнительных оценок по шкале привлекательности для избирателей. Чем более успешно мы предскажем результаты выборов для всех кандидатов, тем сильнее наша уверенность в валидности измерения, в том, что оно точно отражает понятие, которое мы имеем в виду. Принято говорить, что измерения, позволяющие предсказать будущие события, обладают прогностической валидностью.

Прагматическая валидизация требует наличия у переменных некоторого альтернативного показателя, [c.102] который, по нашему убеждению, является их валидным отражением. Мы проверяем наши измерения по этому альтернативному показателю, как могли бы проверять точность сообщения о возрасте по свидетельству о рождении. К сожалению, для понятий, используемых в социологических исследованиях, редко встречаются явно валидные альтернативные показатели. В итоге нам обычно приходится рассчитывать на валидизацию второго типа – конструктную валидизацию.

Конструктную валидизацию осуществляют, выводя валидность измерения из данных о степени соответствия реальных соотношений между оценками по различным измерениям ожиданий, следующих из теории, предписывающей нам использовать данный показатель. При этом рассуждение ведется по двум направлениям.

Прежде всего, мы должны сказать себе: “Если понятие Х положительно связано с понятием Y и отрицательно – с понятием Z (как и предсказывает наша теория), верно будет также и то, что оценки понятия Х в валидном измерении будут положительно связаны с оценками понятия Y в валидном измерении и отрицательно – с оценками понятия Z в валидном измерении”. Мы не можем валидизировать измерение, сравнивая оценки в этом измерении с оценками той же переменной в другом измерении, которое, как мы знаем, является валидным (как в случае свидетельства о рождении). Однако мы можем судить о его валидности по тому, в какой степени использование данного измерения в качестве показателя переменной создает те же типы отношений между данной переменной и другими переменными, которые мы ожидаем в соответствии с нашей теорией.

В качестве примера возьмем изучение международных сообществ. Мы могли бы построить измерение надежности такого союза на основе контент-анализа газетных публикаций соответствующих стран. Является ли валидным показателем надежности сообщества двух стран то. что газеты данного государства пишут о другом государстве? Мы могли бы ответить на этот вопрос, рассуждая следующим образом: “В соответствии с нашей теорией, чем надежнее сообщество государств, тем чаще они будут одинаково голосовать в ООН и тем меньше ограничений на взаимную торговлю они будут накладывать. Поэтому оценки [c.103] надежности сообщества в валидном измерении будут положительно связаны с оценками в измерениях одинакового голосования в ООН и отрицательно связаны с оценками в измерениях количества торговых ограничений. Затем мы переходим к анализу данных, необходимому для установления того, подтверждается ли это ожидание нашими наблюдениями. Если соотношения окажутся такими, как ожидалось, наша уверенность в валидности измерения надежности сообщества будет выше. Если соотношения будут иными, чем мы ожидали, мы зададимся вопросом, надежным ли измерением для этого понятия мы располагаем”.

То, что мы только что описали, часто называют внешней валидизацией. При этом осуществляется сравнение оценок в измерении, подвергающемся валидизации, с оценками в измерениях для других переменных. Разумеется, для использования этого метода валидизации нам придется включить в наше исследование измерения других переменных. Это означает, что нем следует обдумывать способы валидизации наших измерений уже на ранних этапах процесса исследования. Безусловно, к тому моменту, когда мы будем готовы разрабатывать план исследования, мы должны знать, как будет проверяться валидность наших измерений, для того чтобы наверняка собрать всю необходимую информацию.

Попытки внешней валидизации дадут убедительные доказательства валидности нашего измерения для одной переменной лишь в том случае, если мы будем убеждены в валидности измерений, используемых для остальных переменных. Так, в последнем примере мы не смогли бы сделать никаких выводов относительно валидности измерения надежности сообщества на основе соотношений оценок в данном измерении и оценок двух других переменных, если бы мы не считали показатели одинакового голосования и торговых ограничений валидными. Поскольку часто бывает трудно обнаружить безусловно валидные показатели для переменных, с которыми должна быть связана ключевая переменная, процедуры внешней валидизации следует применять с осторожностью. Все это очень напоминает процедуру проверки гипотезы. Никакой отдельно взятый результат не гарантирует валидности (или невалидности) измерения. Скорее, по мере накопления случаев успешной валидизации наша уверенность [c.104] в валидности измерения возрастает. По этой причине для использования во внешней валидизации разумно искать как можно больше предсказанных теорией отношений. Чем больше имеется в нашем распоряжении разных способов проверки валидности, тем надежнее наш результат.

Та же самая логика рассуждений применима ко второму типу конструктной валидизации – внутренней, или конвергентной, валидизции. Этот тип валидизации включает разработку нескольких измерений для одной и той же переменной и сравнение между собой этих разных измерений. Мы считаем, что, если каждый из показателей дает для рассматриваемого понятия валидное измерение, оценки, получаемые конкретными объектами в этих измерениях, должны быть тесно связаны. Если и А, и В, и С являются валидными измерениями для Х, то оценки любого конкретного объекта в измерениях А, В и С должны быть очень близки.

Предположим, например, что мы хотим получить показатель для качества уличного освещения в окрестностях жилья в рамках изучения работы коммунальных служб. Мы могли бы использовать в качестве такого показателя оценку достаточности уличного освещения, по мнению жителей (выявляется с помощью выборочных интервью). Мы можем выборочно опросить живущих по соседству людей, насколько хорошо, по их мнению, освещена улица около их дома, и взять среднюю оценку за меру качества уличного освещения. Чтобы осуществить внутреннюю валидизацию, мы можем измерить качество уличного освещения также: 1) использовав световой счетчик для получения физической меры яркости и распределения освещения; 2) получив оценки освещенности, сделанные специально обученными наблюдателями; 3) попросив жителей сравнить освещение на улицах с освещением на фотографиях, изображающих улицы, освещенные в разной степени, и усреднив их оценки для получения значения освещенности окрестностей их домов. Таким образом, мы получаем четыре измерения переменной. Если каждое из них является валидным, все они должны быть тесно связаны. Можно проверить это с помощью соответствующих статистических расчетов. Если мы обнаружим, что оценки измерения, в основе которого лежат ответы на вопросы интервью, слабо связаны с оценками остальных трех измерений и что при этом оценки этих трех измерений тесно [c.105] связаны друг с другом, у нас будет основание подозревать, что первое измерение невалидно.

Это очень похоже на взвешивание одного и того же предмета на трех разных весах. Если каждые весы показывают точный вес и у нас нет оснований считать, что в ходе эксперимента вес объекта изменился, мы вправе ожидать, что все эти весы покажут один и тот же вес. Если еще одни весы показывают вес, отличный от данного, можно подозревать, что они не отрегулированы.

На рис.3.5 изображены различия между внутренней и внешней формами конструктной валидизации. Рис.3.5а показывает, что внутренняя валидизация осуществляется через проверку соответствия оценок нескольких разных измерений для одного и того же понятия. Чем точнее это соответствие, тем увереннее мы себя чувствуем, утверждая, что каждое измерение валидно. Рис. 3.5б демонстрирует, что для внешней валидизации требуется установить, как наше измерение одной переменной связано с другими переменными, согласно теоретическим представлениям. Если ожидаемое отношение не проявляется, мы вправе подозревать, что выбранный нами показатель не обеспечивает валидного измерения для понятия. (В гл.14 мы обсудим статистические расчеты, которые можно использовать для определения степени реальной связанности разных измерений.)

Пользуясь внутренней валидизацией, необходимо соблюдать те же предосторожности, которые требуются при внешней валидизации. Мы не всегда можем быть уверены, что наши альтернативные измерения ключевого понятия валидны, и поэтому мы должны с осторожностью делать вывод о валидности или невалидности измерения [c.106] на основании любой проверки валидизации. Наша уверенность в результатах внутренней валидизации может существенно возрасти, если мы последуем простому правилу: альтернативные измерения понятия должны основываться на возможно большем числе различных операционализаций.

В примере с уличным освещением измерения имеют в качестве источника четыре разных типа операционализаций: словесные оценки жителей, физические измерения, оценки наблюдателей и отбор фотографий, произведенный жителями. Каждый из них представляет особый способ операционализации. Чем больше разных способов мы можем использовать и чем более они взаимонезависимы, тем больше мы можем доверять нашей валидизации. Почему? Логика рассуждения здесь такова. Основной источник невалидности – это систематические и случайные ошибки измерения. Разные измерения подвержены ошибкам разных типов. Чем больше показателей для некоторой переменной у нас имеется и чем сильнее они отличаются друг от друга, тем менее вероятно, что во всех показателях проявится одна и та же ошибка измерения. А если это так, то у нас будет больше возможностей обнаружить ошибку измерения как источник различий в оценках в любом измерении и получить точное измерение для переменной в том случае, если мы будем использовать множественные показатели⁷.

Например, факторы, способные сделать непригодным физическое измерение качества уличного освещения (такие, как неисправный световой счетчик), по-видимому, совершенно не связаны ни с какими факторами, которые могли бы внести систематические ошибки в измерение, основанное на оценках жителей (такими, как характерная для людей тенденция считать, основываясь на чувстве местного патриотизма, что их коммунальные службы не хуже, чем в других местах). Если мы используем только один способ измерения, любой источник ошибок измерения может сказаться на оценках в каждом измерении, постоянно предоставляя нам негодный показатель и не давая возможности осуществлять значимые сравнения между измерениями. Если, например, мы опираемся только на физическое измерение освещенности, но снимаем показания несколькими разными способами (на [c.107] тротуаре, на краю тротуара и на мостовой), любой дефект измерительного инструмента (в данном случае светового счетчика) будет оказывать влияние на все измерения и ни одно нельзя будет использовать для проверки другого.

При таком подходе множественные показатели для переменных имеют очень большое значение. Наличие множественных измерений не только дает нам возможность проверить валидность наших показателей, но также в первую очередь увеличивает наши шансы получить валидное измерение переменных. Множественные измерения могут на самом деле повысить валидность измерения, позволяя скомбинировать результаты нескольких разных процедур для получения сложной оценки, которая скорее будет являться правильным отражением действительного значения переменной, чем каждое из измерений, взятое в отдельности. Такая сложная оценка с большей вероятностью будет представлять собой валидное измерение, так как не исключено, что при объединении результатов нескольких процедур измерения ошибки, приводящие к невалидности каждого измерения, нейтрализуются.

Здесь действует практически тот же принцип, что и при взвешивании предмета на многих разных весах. Поскольку весы несовершенны, каждый прибор может показать несколько иное значение веса – чуть тяжелее или чуть легче. Однако если предмет взвешивается на нескольких весах, в соответствии с законами теории вероятности достаточно высока вероятность того, что эти небольшие ошибки нейтрализуют друг друга, давая средний вес, который является правильным. Сходным образом, если мы операционализируем понятия несколькими разными способами, так что ошибка измерения, связанная с каждой операционализацией, не зависит от ошибок, сопровождающих все остальные операционализации, мы получаем хорошие шансы обеспечить точное измерение понятия, комбинируя разные оценки. (В разделах гл.8, посвященных шкалированию и индексированию, будут описаны некоторые возможные методы комбинирования оценок для получения составного измерения.)

Третий способ валидизации называется дискриминантной валидизацией. Задавая вопрос, обладает ли измерение дискриминантной валидностью, мы интересуемся главным образом тем, возможно ли, используя данное [c.108] измерение в качестве показателя некоторого понятия, отличить это понятие от других. Например, если бы мы захотели измерять понятие доверия к политическим деятелям с помощью ряда вопросов обследования, а в нашей анкете есть ряд вопросов, предназначенных для измерения понятия доверия к людям (вообще), то, сравнивая оценки двух измерений, мы можем спросить себя, не отражает ли первый набор вопросов всего лишь иной способ измерения доверия к людям. Если оценки очень близки, мы скажем, что измерение политического доверия не обладает дискриминантной валидностью, поскольку не позволяет отличить понятие “доверие к политическим деятелям” от понятия “доверие к людям”. [c.109]

Наконец, последний способ валидизации опирается на понятие очевидной валидности. Некоторые измерения основаны на столь прямом наблюдении за исследуемым поведением, что задавать вопрос об их валидности представляется неразумным: такое измерение кажется валидным “по внешнему виду”. Предположим, например, что мы хотим измерить степень соблюдения государственного закона, требующего наличия на входной двери каждой фирмы патента на соответствующую деятельность. По-видимому, обучив наблюдателей просто отмечать наличие или отсутствие таких патентов, мы получим явно валидное измерение выполнения закона. И хотя мы всегда должны спрашивать себя, являются ли выбранные нами измерения валидными по внешнему виду, как правило, мы совершали бы ошибку, если бы гарантировали точность результатов исследования, опираясь на одну лишь очевидную валидность. Мы должны попытаться удостоверить валидность наших измерений с помощью стандартных процедур типа тех, что описывались выше.

Основные свойства четырех рассмотренных типов валидизации представлены в табл. 3.1. Если мы хотим на основании наших исследований сделать правильные выводы, мы должны располагать валидными измерениями. Однако чтобы быть валидными, измерения должны быть также надежными. [c.110]

Таблица 3.1

Типы валидизации

Прагматическая валидизация	Конструктная валидизация	Дискриминантная валидизация	Очевидная валидизация
Сверить результаты, полученные путем использования показателя, с результатами, полученными путем использования другого показателя, признанного в качестве валидного измерения соответствующего понятия; или проверить прогностическую валидность показателя, использовав его для предсказания событий, отражающих измеряемое понятие.	Внутренняя (конвергентная) валидизация: сделать вывод о валидности показателя на основании его соотношения с другими показателями для того же самого понятия, использующего множественные показатели. Внешняя валидизация: сделать вывод о валидности показателя на основании его соотношения с показателями для других понятий, с которыми измеряемое понятие теоретически должно быть связано.	Сделать вывод о валидности показателя на основании степени несоответствия показателям для других понятий, теоретически отличных от измеряемого понятия.	Признать валидность, исходя из непосредственной очевидности показателя. (Можно ли убедить людей, находящихся в курсе дела, что это валидный показатель для данного понятия?)

НАДЕЖНОСТЬ

Когда мы говорим о валидности измерения, нас интересует, насколько точно значения, получаемые с помощью этого измерения, соответствуют истинным значениям измеряемой переменной. Когда мы говорим о надежности измерения, нас интересует устойчивость получаемых с его помощью значений. Можем ли мы, применяя измерение несколько раз, получить для любого данного объекта одно и то же значение или же в результате разных подходов одним и тем же объектам приписываются разные значения? Если при неоднократном применении некоторого измерения один и тот же объект не получает одного и того же значения, это измерение является ненадежным показателем соответствующего понятия. Чтобы гарантировать надежность линеек, их изготавливают из нерастяжимого материала. Если бы линейки изготовляли из растяжимых материалов, они вполне могли бы [c.110] показывать разную длину одного и