Метод экспертных оценок

Исходная задача нашего исследования состояла в том, чтобы выявить, действительно ли существуют группы индивидов с «автономным» и «зависимым» типами субъектной регуляции деятельности.

Как известно, в психологии отсутствуют строгие методы количественной оценки выраженности индивидуальных ка­честв, поэтому мы обратились к методу экспертных оценок, достаточно распространенному в психодиагностике (Г.С. Прыгин, 2003). Экспертом принято считать высококвалифицированного специалиста, который может создать собственную (субъективную) модель анализируемого явления (Н.Н. Китаев). Это означает, что область деятельности эксперта, его специализация должна соответствовать той области, к которой относится анализируемое явление.

Ввиду того, что основной эксперимент проводился в выс­шем военном инженерном училище с курсантами второго курса (лица мужского пола, в возрасте 19—21 года), в качестве экс­пертов были привлечены 3 воспитателя-преподавателя, которые достаточно хорошо знали характеры, возможности, способности и особенности учебной деятельности оцениваемых учащихся.

При использовании экспертного метода исследователь дол­жен помочь эксперту сформировать исходную адекватную модель исследуемого явления, поэтому каждому из экспертов в индиви­дуальном порядке разъяснялась сущность «автономности-зависи­мости» как противоположных типов осуществления субъектной регуляции деятельности.

На основании анализа психологической литературы, бесед с профессиональными психологами, с пре­подавателями различных школ, вузов, с руководящими работниками различных предприятий, а также на основании собственных наблюдений нами был выделен набор (симптомокомплекс) тех «деятельностных» характеристик личности, от развития которых зависит успешность выполнения любой практической деятельности.

К этому симптомокомплексу были отнесены следующие характеристики: склонность к самостоятельной работе, без контроля со стороны; собранность и настойчивость в достижении поставленных целей; адекватная самооценка; решительность в преодолении возникающих перед ним проблем; уверенность в себе и результатах выполненной работы; чувство ответственности; склонность к систематическому планированию свой деятельность; умение заставить себя сосредоточиться на выполнении задания; в случае необходимости, легкость переключения с одной работы на выполнение другой; внутренняя потребность всегда доводить порученную работу до конца; развитый самоконтроль и рефлексия; умение использовать как внешнюю, так и внутреннюю информацию для достижения поставленной цели; способность критически оценивать свой успех (или неудачу) в деятельности и правильно проанализировать их причины.

После индивидуальной беседы, разъясняющей суть феномена «автономности-зависимости», каждому эксперту давался бланк, со­держащий полный перечень указанных выше характеристик учащегося с «авто­номным» типом субъектной регуляции деятельности и давалась инструк­ция следующего содержания: «Представьте себе идеального человека, о котором можно было бы сказать, что он обладает указанным набором характеристик. Исходя из Ваших представлений об отдельных учащихся, определите, пожалуйста, кто из курсантов в наибольшей степени приближается к указанному образу, и присудите ему первое место в его учебной группе. Затем определите пре­тендента на второе место и т.д., таким образом проранжируйте всех учащихся внутри их академических групп».

Необходимо особо подчеркнуть, что такой важный показа­тель, как успеваемость, специально не был включен в инструк­цию, так как для преподавателя успеваемость в значительной степени определяет общее мнение об учащемся и, в частности, может влиять на восприятие других его качеств (Ананьев, 1980). Для нас же на данном этапе главной была независимая оценка всего комплекса перечисленных выше «деятельностных» характеристик.

Для повышения надежности данных мы воспользовались так­же методом взаимного оценивания, которое было проведено сре­ди учащихся каждой академической группы. Инструкция, которая давалась им, отличалась от той, с которой работали препода­ватели, лишь тем, что учащихся просили не ранжировать состав группы, а написать не менее трех и не более десяти фамилий своих товарищей по группе, которые, по их мнению, больше все­го соответствуют такому идеальному образу. Свобода высказы­ваемого мнения обеспечивалась тем, что опросные бланки уча­щимися не подписывались.

На основании анализа экспертных данных и данных взаим­ного оценивания были выявлены учащиеся, которых можно было отнести к одной из типологических групп: «авто­номным» или «зависимым». Прежде чем описать процедуру формирования групп, рассмотрим несколько подробнее результаты экспертного ранжирования. Наи­больший интерес с этой точки зрения представляет степень со­гласованности между собой мнений экспертов (при ранжировании учащихся по каждой академической группе). Высокий показатель такой согласованности мог бы говорить о том, что каждому экс­перту удалось сформировать адекватную представленному описа­нию модель феномена «автономности-зависимости».

Коэффициент согласованности мнений экспертов подсчиты­вался по формуле (Математическая статистика, 1981):

, (1)

где d – фактически встречающееся отклонение от среднего зна­чения суммы рангов одного объекта;

М – количество экспертов;

n – количество рангов в каждой последовательности.

Средний коэффициент согласованности по всем шести учеб­ным группам составил К = 0,68, т.е. оказался достаточно высоким и значимым при р ≤ 0,01.

Подсчет баллов по методу взаимной оценки учащихся производился следующим образом: подсчитывалось, сколько раз указывалась фамилия курсанта его товарищами по учебной группе. Так как по инструкции учащимся надо было указать не менее трех и не более десяти фамилий, то по каждой учебной группе мы получи­ли списки курсантов, набравших то или иное количество выбо­ров.

Необходимо отметить хорошую согласованность между мне­ниями экспертов и самих учащихся о том, кто из курсантов в наибольшей степени соответствует предъявленному идеальному образу. Эта согласованность выразилась в том, что практиче­ски все курсанты, занявшие по экспертным данным первую треть мест в каждой из академических групп, получили определенное количество баллов (выборов) по взаимной оценке.

При формировании групп мы исходили из следующих сообра­жений. В группу «автономных» учащихся вошли только те курсан­ты, которые по экспертным данным заняли первую треть мест в каждой учебной группе и получили при этом максимальное коли­чество выборов по методу взаимного оценивания. Учащиеся, занявшие при ранжировании последнюю треть мест и при этом не получившие ни одного выбора, составили группу «зависимых». Так как нашей задачей было формирование полярных групп, уча­щиеся, занявшие средние ранговые места в каждой учебной груп­пе, были исключены из дальнейшего рассмотрения. Таким образом, были сформированы две полярные группы по 40 человек в каждой, с которыми и проводились все дальней­шие исследования.

Итак, проведенное исследование показало, что эксперты (преподаватели) и сами учащиеся на основании предложенного описания действительно смогли сформировать адекватную модель феномена «автономности-зависимости» и соответствующим образом оценить весь контингент обследуемых учащихся. Это подтверждает правомерность выделения нами соответствующих личностно-типологических особенностей осуществления деятельности.

2.2.2. Конструирование и психометрическая оценка опросника «автономности-зависимости»

Из описания видно, что эксперты не давали количествен­ных оценок степени «автономности» каждого конкретного учаще­гося; фактически они оценивали только относительную сформированность деятельностных характеристик у одного учащегося по срав­нению с другим. Например, если кто-то из первой учебной груп­пы занимал в ней первое место и кто-то из второй учебной группы также занимал первое место в своей группе, то мы не можем сказать, у кого из этих учащихся данный симптомокомплекс сформирован лучше и насколько. Это связано с тем, что каждый преподаватель (эксперт) оценивал все шесть учебных групп. Естественно, что некоторые из групп он мог знать лучше, чем другие. Понятно, что ни один из экспертов не был в состо­янии с одинаковой степенью компетенции оценить всех курсан­тов, поэтому возникла вторая задача нашего исследования: создать инструмент (методику), позволяющий выделять из общего контингента «автономных» и «зависимых» учащихся, не прибегая к экспертным методам.

Как отмечает А. Анастази, наибольшее распространение при исследовании личностных характеристик получили «личност­ные тесты» в виде опросников. Примерами подобных тестов явля­ются широко известные опросник 16PF Кеттелла, Миннесотский личностный опросник MMPI, опросники Гилфорда, «списки личных предпочтений» Эдвардса, шкала «социальной же­лательности» Марлоу – Кроуна, «I-Е» шкала Дж. Роттера и многие другие.

После тщательного теоретического анализа методов пси­хологического тестирования мы остановились на такой форме, как стандартизованный опросник, поскольку он является наиболее удобным методом групповой диагностики, позволяет более строго интерпретировать ответы и более прост в обработке данных при массовых обследо­ваниях.

На первом этапе разработки опросника для выделения ти­пологических групп «автономных» и «зависимых» мы предъявляли учащимся утверждения, которые были связаны с выполнением ими учебной деятельности или непосредственно оценивали их лично­стные качества, имеющие значение для выполнения деятельности. Примеряя к себе такие утверждения, обследуемый должен был выбрать один из четырех ответов: «Да», «Пожалуй, да», «Пожалуй, нет» и «Нет». Апробация первых вариантов показала, что боль­шей дифференцирующей способностью обладают те утверждения, которые адресуются к особенностям деятельности испытуемых, а не непосредственно к их личностным качествам, хотя по своей психологической сути это могут быть практически эквивалент­ные утверждения.

Специальные беседы с учащимися показали, что особенно­сти учебной деятельности оцениваются ими легче, чем собствен­ные личностные качества, проявляющиеся в этой деятельности. Испытуемые легче и точнее примеряют к себе такое, например, утверждение: «Я с одинаковым старанием выполняю как интерес­ную, так и неинтересную для меня работу», чем утверждение: «Я обладаю чувством ответственности за порученную работу». Особенно отчетливо различия в ответах выступают в тех случа­ях, когда утверждения имеют «негативный» характер. Практиче­ски никто из мужчин не отвечает «Да» на утверждение «Я нере­шительный человек», хотя многие из таких испытуемых согла­шаются с утверждением «Как правило, любые решения я принимаю, советуясь с кем-нибудь» или «Для успешного выполнения ответ­ственной работы необходимо, чтобы меня контролировали».

По-видимому, сказанное связано как с тем, что учащиеся недостаточно хорошо знают или не умеют оценивать себя, что они не видят отра­жения и проявления себя и своих качеств в своей же деятельно­сти, так и с актуализацией в случае «негативных» утверждений механизмов защиты собственного «Я» (Анастази, Клайн, Орлов и др.). В любом слу­чае справедливым является то, что учащиеся легче и точнее оценивают не себя, а свою деятельность.

С учетом полученного опыта и в результате ряда последу­ющих доработок был построен исходный вариант опросника, со­державший 73 утверждения, которые относились к широкому кру­гу деловых качеств, привычек, склонностей и навыков учащихся. Шкала отве­тов была сохранена в прежнем виде, поскольку введение нами вариантов ответов «Пожалуй, да» и «Пожалуй, нет» устраняет категорич­ность, присущую полярной шкале, содержащей только ответы «Да» и «Нет». Этот вариант опросника был использован для обследо­вания курсантов второго курса (всего в обследовании приняло участие 106 учащихся, включая и тех, кто по экспертным дан­ным занял серединные места).

Для того чтобы из 73 утверждений можно было отобрать те, которые обладают наибольшей дифференцирующей способно­стью по параметру «автономности-зависимости», необходимо бы­ло оценить по этому параметру весь обследуемый контингент с помощью данного опросника и затем сравнить полученные резуль­таты с данными экспертного ранжирования. Процедура отбора «работающих» утверждений и установление конструктной валидности опросника проводились следующим образом (Прыгин, 2003).

Каждый испытуемый получал бланк, содержащий утверждения и инструкцию, в которой говорилось, что опросник предна­значен для изучения «особенностей деятельности». При обработке за­полненных бланков положительные ответы «Да» и «Пожалуй, да» объединялись в ответ «Да», а оба отрицательных – в ответ «Нет». Валидность каждого утверждения, относительно признака «автономность», оценивалась с помощью критерия «хи-квадрат» Пирсона; причем, так как наблюдаемые переменные (вид ответа и тип группы) изменяются дихотомически, мы выбрали тетрахорический коэффициент корреляции, ко­торый также относится к классу корреляций Пирсона (Гласс, Стенли).

В данном случае коэффициент корреляции вычислялся по формуле, которая оказалась наиболее удобной при массовом об­счете бланков опросника:

, (2)

где a, b, c, d – соответствующие клетки четырехпольной таб­лицы:

Группы	Ответ
«Да»	«Нет»
«Автономные»	а	b
«Зависимые»	с	d

 

Если коэффициент корреляции получался положительный, то ключом к оцениваемому утверждению являлся ответ «Да», если отрицательный – «Нет». Для того чтобы понять, как отби­рались вопросы и определялся ключ, рассмотрим пример со сле­дующим утверждением: «Мне часто бывает трудно заставить себя сосредоточиться на какой-нибудь задаче или работе». Испытуе­мые, входящие в группу «автономных», в 25 случаях из 40 отве­тили: «Нет», а в группе «зависимых» такой ответ дали только 14 человек. Различия в ответах между группами статистически значимы; следовательно, вопрос обладает дискриминативностью. Расчет коэффициента по формуле (2) показал, что в данном случае он равен –0,42 (для этого утверждения: a = 25,
b = 15, c = 14, d = 26), то есть знак «минус» показывает, что ключом для этого утверждения является ответ «Нет», данный ис­пытуемыми, составившими группу «автономных».

После обработки всех 106 ответных бланков, заполненных учащимися, выяснилось, что дифференцирующим свойством обладают лишь 24 утверждения, из которых, в свою очередь, были отобраны 18, наилучшим образом отражающие тестируемые качества учащихся. Полный текст опросника, с указанием дискриминативности каждого утверждения, инструкция для испытуемого, а также ключ к обработке опросника (с ответами на утверждения, адекватными ответам испытуемых, входящих в группу «автономных») приведены ниже.

«Уважаемый респондент! Если Вы согласны с утверждением, то поставьте знак «+» в графе «Да» или «Пожалуй да», если же не согласны, поста­вьте знак «+» в графе «Нет» или «Пожалуй нет», в зависимо­сти от того, какой ответ больше подходит к Вам. Заполняя опросник, имейте в виду, что утверждения слишком короткие, чтобы в них содержались все необходимые подробности. Пред­ставляйте себе наиболее типичные ситуации и не задумывайтесь над деталями.

Не тратьте времени на раздумывания, отвечайте быстро и давайте первый естественный ответ, который приходит Вам в голову. Не опускайте ничего, отвечайте по порядку и обя­зательно на каждый вопрос. Никаких дополнительных пометок и надписей делать не следует. Возможно, что некоторые вы­сказывания будет трудно отнести к самому себе, в этом слу­чае все равно постарайтесь дать ответ.

При ответах не стремитесь к тому, чтобы произвести за­ведомо благоприятное впечатление – для нас не существует ни «хороших», ни «плохих» ответов. Свободно выражайте свое мнение. Заранее благодарим Вас за помощь в проведении ис­следовательской работы».

Дискриминативность всех 18 утверждений, рас­считанная по формуле (2), варьирует от 0,42 до 0,92; все ко­эффициенты значимы, при р ≤ 0,05.

После выделения валидных утверждений было подсчитано, какое количество баллов набрал каждый испытуемый.

Таблица 1

№ п/п	Содержание утверждения	Ключ	Дискриминативность
	Окружающие люди считают меня уверенным в себе человеке	да	0,74
	Я обязательно возвращаюсь к начатому делу даже тогда, когда меня никто не контролирует	да	0,61
	Мои планы никогда не расходятся с моими возможностями	да	0,45
	При выполнении любой работы я привык оценивать не только ее конечный результат, но и те результаты, которые получаются в процессе работы	нет	–0,7
	Даже при выполнении ответственной работы мне не нужен контроль со стороны	да	0,58
	Я с одинаковым старанием выполняю как неинтересную, так и интересную для меня работу	нет	–0,83
	Для успешного выполнения ответственной работы необходимо, чтобы меня контролировали	нет	–0,54
	Обычно мой рабочий день проходит бессистемно (не по заранее заготовленному плану)	нет	–0,45
	При возможности выбора, я предпочитаю делать работу менее ответственную, но и менее интересную	нет	–0,8
	После того, как я завершил какую-нибудь работу, я привык обязательно проверить, правильно ли я ее сделал	нет	–0,74
	Сомнения в успехе часто заставляют меня отказаться от намеченного дела	нет	–0,68
	Перед началом работы я привык анализировать условия, в которых мне необходимо будет работать	нет	–0,92
	Мне часто не хватает упорства для достижения поставленной цели	нет	–0,7
	Я склонен отказываться от задуманного, если другим кажется, что я начал не так	нет	–0,85
	Как правило, любые решения я принимаю, советуясь с кем-нибудь	нет	–0,72
	Мне часто бывает трудно заставить себя сосредоточиться на какой-нибудь задаче или работе	нет	–0,42
	Когда я поглощен какой-нибудь работой, мне трудно бывает переключиться на выполнение другой работы	нет	–0,8
	Я склонен отказываться от работы, которая «не клеится» (не идет)	нет	–0,66

 

Если ответ на утверждение совпадал с ключом, то испытуемому присуждался один балл; таким образом каждый испытуемый мог набрать от 0 до 18 баллов, что и определяло степень его «автономности». Как показала практика, обычно испытуемые набирают от 3—4 до 15—16 баллов. Распределение частот индивидуальных сумм бал­лов для испытуемых обеих групп (по 40 человек) отражено в таблице 2. Видно, что существуют значимые раз­личия между группами «автономных» и «зависимых» учащихся. Средний балл по группе «автономных» составил X_а = 12,1 при σ_а² = 3,84, а в группе «зависимых» Х_з = 8,0 при σ_з² = 5,23. По критерию Стьюдента различие значимо на уровне р ≤ 0,001.).

Таблица 2