Проблемы, связанные с построением шкал балльных оценок

Постоянные ошибки и их контроль. Использование балльных оценок основывается на предположении, что человек-наблюдатель является хорошим инструментом количественного наблюдения, что он способен делать точные и объективные суждения. Тем не менее, хотя мы и предполагаем возможность вынесения количественных суждений, мы должны всегда быть бдительными к влиянию предпочтений (байесов) в этих суждениях. Следствием этого влияния могут быть систематические ошибки в суждениях испытуемых. Рассмотрим некоторые наиболее распространенные байесы в процедурах метода балльных оценок.

Ошибки "смягчения" суждений. Многие испытуемые имеют тенденцию оценивать то, что они хорошо знают или то, что чаще встречается, выше, чем следует. Это — систематическая ошибка, которая не зависит от шкалируемого признака. Некоторые самокритичные испытуемые, которые отдают себе отчет в этой слабости, могут, в результате, удариться в другую крайность и давать оценки ниже, чем следует. Для описания таких отклонений и используется термин "ошибка смягчения", применимый к общей постоянной тенденции испытуемого оценивать объекты шкалирования слишком высоко или слишком низко. При занижении оценки постоянная ошибка называется ошибкой негативного смягчения. Так как положительная ошибка смягчения является намного более общей, некоторые исследователи пытались предвосхитить ее и изменить шкалу так, чтобы нейтрализовать ошибку. Примером такой модификации шкалы успеваемости, рассмотренной выше, может служить следующая шкала:

Плохая Средняя Хорошая Очень хорошая Блестящая

Рис. 2. Пример модифицированной шкалы успеваемости

На этой шкале большинство признаков имеет благоприятное значение.

Можно предвидеть, что средняя балльная оценка расположится где-то рядом с признаком "хорошее" и распределение будет симметрично относительно этой точки.

Ошибка центрации, Одной из причин ошибки центрации, или, как ее называют, центральной тенденции, является та, что испытуемый реже дает крайние утверждения и, таким образом, смещает оцениваемые объекты-стимулы в направлении к середине всей группы. Это особенно характерно для балльных оценок таких объектов, о которых эксперты-испытуемые знают не очень много. По этой причине в связи с графическими шкалами давалась рекомендация располагать описательные фразы в середине шкалы с большими промежутками, чем на краях. Подобным же образом в числовой шкале интенсивность описательных прилагательных может быть установлена так, чтобы значения у концов шкалы больше различались между собой, чем значения у центра при одном и том же расстоянии между ними на линии. Это окажет противодействие ошибке центрации,

Влияние контекста. Ошибка центрации является частным случаем более общего типа ошибок, связанных с влиянием контекста на суждения испытуемого. Согласно традиционному подходу при шкалировании сенсорных и перцептивных объектов главный интерес исследователей сосредотачивался на получении оценок каждого стимула, величина которых, как предполагалось, определяется только наличным сенсорным впечатлением и не зависит от стимульного контекста. Первая брешь в этом подходе была пробита Хелсоном, разработавшим теорию уровня адаптации (УА). Согласно Хелсону (1975), оценку любой характеристики стимула (например, вес, яркость, размер) человек соотносит со своей субъективной шкалой, точнее говоря, с нейтральной точкой на этой субъективной шкале или точкой отсчета, названной Хелсоном уровнем адаптации. Значения стимулов, превышающие величину стимула, соответствующего уровню адаптации, оцениваются как более "тяжелые", "яркие", "большие", а не достигающие этой величины — как более "легкие", "тусклые", "маленькие". Хелсон считает, что уровень адаптации является суммарным результатом трех классов воздействия:

1) ряда стимулов, оцениваемых в данном эксперименте;

2) всех других стимулов, воздействовавших на человека во время измерения и составляющих контекст для первого класса стимулов;

3) стимулов, действовавших в прошлом на этого человека и оставивших след в его памяти. Уровень адаптации вычисляется как среднее геометрическое всех воздействовавших стимулов.

В случае получения категориальной шкалы, когда испытуемый использует заданное число категорий для суждения о стимуле, грубая оценка уровня адаптации может быть получена путем вычисления среднего арифметического в средней или нейтральной категории (например, если используется 9 категорий в суждении о стимулах, то стимул, соответствующий среднему среди попавших в пятую категорию, характеризует уровень адаптации). Более точная оценка уровня адаптации получается на основе использования всех полученных в эксперименте данных и состоит в нахождении с помощью метода наименьших квадратов наилучшей аппроксимации полученной психофизической зависимости и определении по ней стимула, соответствующего нейтральной точке шкалы суждений.

Экспериментальное исследование влияния различных контекстов на простые перцептивные суждения проводилось Пардуччи и Маршилл (1961). Эти исследователи предъявляли испытуемым наборы линий с различным распределением их длин и просили их высказывать суждение о длине, приписывая каждой линии одну из шести категорий — от 1 (очень короткая) до 6 (очень длинная). Наборы линий различались по значению либо среднего арифметического длин линий, либо медианы, либо средней точки — средней между самой длинной и самой короткой линиями в ряду. Было обнаружено, что на центрирование шкалы суждений, отражавшихся в величине уровня адаптации, заметно влияет только изменение медианы в наборе линий. Изменение среднего арифметического ряда линий не оказывает существенного влияния на уровень адаптации.

В других работах Пардуччи (1974) было установление, что форма психофизической функции, полученной при использовании категориальных суждений, зависит от характера распределения стимулов в используемом диапазоне стимуляции. Им было показано, что форма функции является более крутой для части стимульной области, где стимулы расположены более плотно в пространстве или предъявляются с большей частотой. Эти данные хорошо согласуются с гипотезой Пардуччи о том, что шкала суждений представляет собой компромисс между двумя различными тенденциями:

1) выносить суждение о длине линий” опираясь на перцептивное впечатление от стимула;

2) использовать различные категории суждений с равной частотой.

"Гало-эффект". Постоянную ошибку, связанную с влиянием всей личности оцениваемого индивида на оценку отдельной черты характера (Уэлс, 1907), называют "гало-эффектом". "Мы судим о наших близких с точки зрения общей умственной установки на них и эта умственная установка по отношению к личности, как к целому, преобладает над установкой в отношении отдельных черт характера", — говорил Торндайк (1920). Результатом "гало-эффекта" будет усиление балльной оценки любой характеристики, совпадающей с общим впечатлением от оцениваемых индивидов. Это делает балльные оценки некоторых характеристик менее валидными. Другим результатом этого байеса будет неверное количество положительных корреляций между оцениваемыми характеристиками. Из-за этого балльные оценки, в которых нет "гало-эффекта", некоторым образом сводятся на нет. "Гало-эффект" похож на ошибку стимула в психофизике. Он включает иррелевантный критерий, которым зашумляются суждения. Конечно, избежать полностью гало-ошибки невозможно, но опыт показывает, что вероятнее всего она обнаруживается в следующих случаях (Саймондз, 1925):

1. В признаках (характеристиках), которые трудно пояснить.

2. В экзотических, нетрадиционных признаках.

3. В недостаточно четко определенных характеристиках.

4. В признаках, включающих связи с другими людьми.

5. В характеристике, имеющей высокую моральную ценность. Это относится и к так называемым чертам характера.

Наилучший способ избежать "гало-эффекта" достигается при использовании метода графического шкалирования, где в каждом случае оценивается только одна характеристика.

Логическая ошибка в балльной оценке. Ошибка, вызванная тем, что эксперты или испытуемые дают одинаковые балльные оценки для тех характеристик, которые кажутся логически соотнесенными друг с другом, называется логической ошибкой (Ньюкомб, 1931). Так же, как и "гало-эффект", эта ошибка искажает взаимосвязи характеристик, увеличивая эти связи, но по другой причине. В "гало-эффекте" это является следствием очевидной для испытуемого связанности отдельных личностных качеств, тогда как в логической ошибке это является следствием логической согласованности различных характеристик, независимо от индивидов. Логической ошибки можно избежать, обращая внимание испытуемого на объективно наблюдаемые связи, а не на абстрактные логические или семантические совпадения характеристик.

Ошибки контраста. Под любой ошибкой контраста подразумевается тенденция испытуемого переоценивать других людей в противоположном направлении по сравнению с самим собой. Например, испытуемые, которые сами очень аккуратны, имеют тенденцию оценивать других как менее аккуратных, чем они есть на самом деле. Ошибки контраста связаны с наличием различного рода личностных и не только личностных) установок. Феномен психологической проекции, выявленный психоанализом, также участвует в формировании этих установок.