Каковы критерии объективности и требования, предъявляемые к психодиагностическим методикам?

Как отмечает Шмелев А.Г. [16] существует принципиальная разница между научно-обоснованными и паранаучными приемами и методами. Как правило, создатели паранаучных теорий и методик не заявляют, что они обращаются к "непознаваемым" связям. Напротив, они часто слишком поспешно объявляют некоторые гипотетические и сомнительные связи "познанными" и "доказанными", в то время как никаких серьезных научных доказательств их идеи не получили*.

*Примечание: следует отметить, однако, что среди многих сомнительных выдумок в паранаучных теориях могут встречаться вполне остроумные догадки, опережающие научные знания своего времени. Один из известных примеров дает хиромантия. Изученное нейрофизиологией только в двадцатом столетии явление соматотопической проекции (соответствие участков коры головного мозга и определенных зон руки, насыщенных афферентно-сенсорными и эфферентно-моторными нервными окончаниями) дает основание полагать, что между рисунком ладони и мозговой организацией существуют в принципе познаваемые материальные связи.

Профессиональный разработчик научного психологического теста при конструировании теста следует особому, научно обоснованному, технологическому алгоритму. Этот алгоритм известен и другим специалистам — его коллегам, поэтому они могут всегда проверить обоснованность авторского ключа к тесту. Принципиальная воспроизводимость алгоритма разработки теста и проверки его "ключей" (связывающих тестовые задания и латентные факторы) вводит научную психодиагностику в мир большой науки, подчиняющейся объективному критерию "независимой воспроизводимости".

В чем суть алгоритма создания научных тестов? При создании научных тестов по поводу каждого ключа к каждому вопросу выдвигается статистическая гипотеза. Эта гипотеза затем обязательно проверяется экспериментально на большой выборке испытуемых. Тут применятся точно такая же логика, как и во всех других экспериментальных науках.

Важно подчеркнуть, что в научной психодиагностике этап разработки тестов - это трудоемкий и строгий научный статистический эксперимент.

В этом психометрическом эксперименте психологи проверяют, реально ли данный тест измеряет то, что он предназначен измерять. В ходе подобного эксперимента нужно не только дать возможность выполнить тест большому числу людей (минимум 50—60 человек), но и собрать объективную информацию об этих людях - информацию о том психическом свойстве, которое мы хотим измерить. Почти всегда эта задача трудна не только методически, но и организационно.

Итак, кардинальное отличие научного метода от паранаучного состоит в том, что паранаучный метод игнорирует принципы внутренней самокритики и ценность отрицательного результата [16].

Таким образом, критерии объективности научных психодиагностических методик заложены в принципах и методах их разработки.

Профессиональный психолог при создании тестов использует, как правило, внешние критерии, не зависимые от его воли и желаний. Результаты ответов испытуемых на каждое отдельное задание теста сравниваются с этими внешними критериями. Те задания, которые дают результаты, совпадающие (или статистически значимо коррелирующие) с критерием, считаются валидными (то есть обоснованными) по данному критерию.

Если, после отсева невалидных заданий, в тесте остаются только валидные задания, тест в целом называется валидным.

Все вышесказанное касалось в основном измерительных, стандартизованных методик психодиагностики - тестов. Несколько иначе обеспечивается объективность при применении экспертных методов.

Например, рассмотрим возможный эпизод со знаменитой методикой чернильных пятен Роршаха. Напомним, что испытуемый, разглядывая эти пятна, дает свободные словесные описания любым фантазиям, которые приходят ему в голову. И вот ребенок усматривает в одном из чернильных пятен «страшное чудовище». Говорит ли это о повышенной тревожности как устойчивой личностной черте ребенка?

Некомпетентный дилетант в психодиагностике может посчитать, что так и есть. Но компетентный специалист - эксперт, владеющий опытом сотен и тысяч проанализированных протоколов методики Роршаха, прочитавший несколько толстых руководств (а только по одной этой методике выпущена в разных странах в течение нашего столетия целая "роршахиада" сотни и тысячи книг и статей), никогда не будет торопиться. Он сравнит этот ответ с ассоциациями, возникшими у ребенка по поводу других пятен Роршаха, с его результатами по другим методикам, включая стандартные тесты, с данными, известными ему от родителей, с материалами собственной беседы и наблюдениями за ребенком. И только проанализировав такой комплекс данных, эксперт приходит к осторожному предположению о возможном повышении уровня тревожности (между прочим, минимально необходимый уровень тревожности - нормальная адаптивная черта любого ребенка и любого человека).

Известно [15, 16], что методики, в которых психолог использует определенную, не вполне формализованную процедуру анализа свободных фантазий испытуемого, называют " проективными тестами " (хотя, в строгом смысле, это, конечно, не тесты, а экспертные методы).

Однако и для экспертных методов в последние годы разработаны статистические процедуры, повышающие их объективность. Это статистическая проверка согласованности независимых экспертных оценок, которая составляет суть, так называемого, " метода независимых судей ".

Несколько профессионально подготовленных людей (не менее трех) независимо друг от друга оценивают какой-то объект (например, видеопленку с записью определенных событий на уроке по определенному набору шкал). Если после обработки их оценок выясняется, что они оказались статистически значимо согласованными, то суммарный результат считается более свободным от субъективизма каждого отдельного эксперта.

Итак, в психодиагностике существуют объективные методики, но только в том случае, когда их применяет профессионально подготовленный психолог.

Ситуацию с использованием психологических тестов дилетантами образно можно сравнить с использованием кардиографа дикарями. Дикари просто не знают, куда надо ставить электроды и какие пики кардиограммы о работе каких отделов сердца говорят. Всем понятно, что использование кардиографа для диагностики сердца требует предварительных научных знаний о работе сердца, о клетках крови. Но далеко не всем понятно, что грамотная постановка и интерпретация (трактовка) результатов того же теста на интеллект требует предварительных научных знаний о природе человеческого интеллекта.

Этим психологические тесты опасны: выражая результат в простой количественной форме, они создают у дилетантов иллюзию легкости и простоты использования, подталкивают их к паранаучному стилю работы с тестами.

Итак, объективные тесты существуют. Зависимость результата от профессионализма исполнителя не означает, однако, что этот результат зависит от личностных качеств этого исполнителя. Другое дело, что прогноз на основании психологического диагноза по тестам возможен на сегодня только с вероятностной точностью. Но подобное положение имеет место в любых других, в том числе точных технических науках. Различие заключается в размере вероятностной ошибки прогноза.

Поэтому научное психометрическое обоснование теста обязательно включает расчет и опубликование " стандартной ошибки измерения " для данного теста. Невысокая точность психологических прогнозов не оттеняет их ценности. Ведь выбирать приходится не между точным и приближенным прогнозом, а между приближенным прогнозом и случайным гаданием, а это уже дает иной раз ощутимые выгоды [16].

Рассмотрим теперь те основные требования, которые предъявляются к психодиагностическим методикам, при этом рекомендуется [15] к психодиагностическим методикам разного типа предъявлять разные требования.

1. Измерительные методы (тесты) должны удовлетворять следующим требованиям:

а) должны быть однозначно сформулированы цели, предмет и область применения методики; причем, предмет (диагностический конструкт) должен быть сформулирован в теоретических понятиях релевантных (соответствующих) понятиям определенной системы теоретического знания.

Должна быть четко выделена область применения теста - особая социальная среда (или сфера социальной практики), контингент испытуемых. Должны быть конкретизированы цели использования результатов: для прогноза, для психологического вмешательства, для принятия определенного типа решений (правовых, административных и пр.) и т.д.

б) процедура проведения должна быть задана в виде однозначного алгоритма, пригодного для передачи лаборанту, не имеющему специальных психологических знаний, или ЭВМ, используемой для предъявления заданий и анализа ответов;

в) процедура обработки должна включать статистически обоснованные методы подсчета и стандартизации тестового балла (по статистическим или критериальным тестовым нормам). Выводы (диагностические суждения) на основе тестового балла должны сопровождаться указанием на вероятностный уровень статистической достоверности этих выводов;

г) тестовые шкалы должны быть проверены на репрезентативность, надежность и валидность в заданной области применения. Другие разработчики и квалифицированные пользователи должны иметь возможность повторить стандартизационные исследования в своей области и разработать частные стандарты (нормы);

д) процедуры, основанные на самоотчете, должны быть снабжены средствами контроля за достоверностью, позволяющими автоматически отсеивать недостоверные протоколы;

е) головная методическая организация (определенного ведомства области применения) должна вести банк данных, собранных по тесту, и производить периодическую коррекцию всех стандартов методики.

Экспертные методы.

а) данный пункт повторяет содержание пункта а) для тестов. Дополнение: инструкция по привлечению экспертов снабжается указанием на требуемую их квалификацию и необходимое количество для получения надежных данных по методу независимых оценок;

б) инструкции к проведению должны пройти специальные испытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (текстов, рисунков, звуковых или видеозаписей и т.п.);

в) процедура обработки результатов должна включать в себя такое документирование промежуточных этапов обработки, которое позволило бы перепроверить конечный результат другому эксперту;

г) пользователи-разработчики должны иметь возможность воспроизвести (повторить) нормативное исследование по измерению экспертной согласованности на эталонном наборе данных;

д) головная организация должна вести банк данных, обеспечивая подготовку пользователей и переподготовку (в соответствии с пересмотренными стандартами методики).

Любая методика, не удовлетворяющая перечисленным выше требованиям, не может считаться профессиональной психодиагностической методикой.

Методики должны проходить аттестацию в рамках головных методических организаций, в обязанности которых входит составление библиотек "аттестованных психодиагностических методик". Вся инструктивная литература по методикам, не прошедшим аттестацию, не может считаться годной для применения в практической психологии. Это не исключает возможность применения не аттестованных методик в исследовательских целях.

Контрольные вопросы для самопроверки: §3. Системы классификации диагностических процедур.

 

1. Что называется "методом" в психодиагностике?

2. Для чего необходима классификация методов психодиагностики?

3. Какие основания можно использовать для построения классификации методов психодиагностики?

4. Что понимается под термином "объективный тест"?

5. Что понимается под "стандартизованными самоотчетами"?

6. Что понимается под "проективными техниками"?

7. Какие существуют основные виды проективных техник?

8. Что такое "инструментальная ошибка" и чем она отличается от "ошибки психодиагноста"?

9. В чем суть патологического метода психодиагностики?

10. Какие существуют другие методы психодиагностики?

11. В чем разница между "номотетическим" и "идеографическим" методами описания личности?

12. Каковы критерии объективности психодиагностических методик?

13. Каким требованиям должны удовлетворять тесты (измерительные методы)?

14. Каким требованиям должны удовлетворять экспертные методы?

 

Литература к теме.

1. Анастази А. Психологическое тестирование. В 2-х кн. М., 1982.

2. Бурлачук Л.Ф., Морозов С.М. Словарь-справочник по психодиагностике. - СПб.: Изд-во "Питер", 1999. - 528 с.

3. Общая психодиагностика / Под ред. А. А. Бодалева, В. В. Столина.- М., 1987.

4. Основы психодиагностики / Под ред. А. Г. Шмелева. Ростов-на-Дону., 1996.