Вопрос о пристрастности теста на интеллект решен окончательно, как может быть решен любой научный спор.

И вот почему. Исследователи могут оценить потенциальную пристрастность теста не только на уровне целого теста, но и на уровне пунктов, составляющих этот

 

тест. Так же, как пристрастный тест даст лишь приблизительное представление о способности одной группы по отношению к другой, о том же скажет и пункт, входящий в этот тест. Психологи называют это явление функционированием пункта разницы (различия),   или ФПР (Hunter & Schmidt, 2000).

Для любой пары групп (таких как женщины — мужчины, или афроамериканцы — белые) мы можем исследовать каждый пункт теста на наличие ФПР. Если члены двух групп показывают одинаковые результаты в остальной части теста, но разные по какому-то одному пункту, это доказывает пристрастность вопросов, представленных в этом пункте. Исследователи обычно обнаруживают, что многие пункты теста на интеллект отвечают критериям ФПР. Рой Фридл и

Ирэн Костин нашли ФПР для пунктов на выявление вербальной аналогии в ЭОАС и выпускных экзаменах, включая аналогии с такими легкими корнями, как в словах «саnое (байдарка): rapids (водоскаты)», и такими трудными, как «sycophant (льстец): flattery (лесть)». На первый взгляд обнаружение ФПР для многих пунктов теста подвергает сомнению вердикт относительно беспристрастности теста в целом. В конце концов: как могут отдельные пункты демонстрировать ФПР без наличия пристрастности в результатах всего теста?

Оказывается, что многие или большинство случаев ФПР малозначительны (Sackett at al., 2001). Даже среди позиций, которые показывают ФПР, направление пристрастности непостоянно. Одни позиции предпочтительны для одной группы, а другие для другой, поэтому последствия обычно аннулируются, когда позиции объединяются в общий итог (Sackett et al., 2001). Таким образом, ФПР не обязательно приводит к необъективности теста (Freedle & Kostin, 1997).

Как мы обнаружили в этой книге, пропасть между исследованиями и общепринятым мнением часто весьма велика, и это особенно верно в сфере интеллекта (Phelps, 2009). Тесты на интеллект законно предсказывают результаты во многих важных областях повседневной жизни без каких бы то ни было доказательств пристрастности в отношении женщин или нацменьшинств. Настоящая пристрастность возникает тогда, когда мы начинаем винить в различиях групповых результатов «посредников», то есть сами тесты на интеллект, и пренебрегаем потенциальными внешними объяснениями типа неблагоприятных культурных факторов.

185

Мифы об интеллекте и обучении

 

Если вы не уверены в ответе на экзамене, лучше всего придерживаться своего первоначального ответа

 

МИФ

16

Немногие фразы вызывают у студентов колледжа больше страха, чем эти три страшных слова: «Тест на множественный выбор». И, наверное, из-за того, что многие студенты предпочли бы сидеть на стуле с гвоздями, чем сдавать такой тест. Они всегда ищут каких-то советов, которые помогут им улучшить свои результаты в борьбе против излюбленного оружия интеллектуальных пыток, которое использует большинство профессоров. К счастью, горстка таких советов действительно может похвастаться научной поддержкой. Например, во время сдачи тестов на множественный выбор более правильными и более точными будут короткие ответы (например, на утверждение

«Американская Конституция была принята в_» —

«1787» будет более точным ответом, чем ответ «между 1770 и 1780») и ответ «все вышеупомянутые» (Geiger, 1997; Gibb, 1964).

Но, пожалуй, самым широкораспространенным представлением о сдаче такого рода тестов является представление о том, что всегда нужно придерживаться первоначального ответа, особенно когда нет уверенности в правильности ответа. В ходе разных опросов было выявлено: большой процент студентов колледжа (от 68 до 100%) говорят, что изменение первоначальных ответов в тесте не улучшит их показатели. А примерно 75% утверждают, что изменение ответов фактически снизит их показатели (Ballance, 1977; Benjamin,

Cavell & Shallenberger, 1984). Этот миф, иногда назы-

 

ваемый «ошибкой первой реакции», распространен не только среди студентов. В одном исследовании среди профессоров 63% посоветовали студентам не менять свои ответы в тестах, потому что это снизит их оценку. Среди профессоров естествознания и гуманитарных наук только 5—6% сказали, что изменение ответов улучшит оценку; среди профессоров образования таких было 30% (Бенджамин и др., 1984).

К тому же множество вебсайтов, включая и созданные специально для предоставления учащимся советов по поводу сдачи тестов, сообщают своим читателям о том, что менять свои первоначальные ответы — это плохо, и призывают их доверять своим первым догадкам. На одном таком вебсайте сказано, что учащиеся «не должны менять свой ответ — обычно ваш первый ответ правилен, если только вы не неправильно прочитали вопрос» (TestTakingTips.com). А еще один вебсайт советует «доверять вашей первой догадке. Когда вы отвечаете на вопрос, следуйте своей первой

 

догадке — изменяйте свои ответ только тогда, когда вы абсолютно уверены в том, что правы» (Tomahawk Elementary School). Третий сайт идет еще дальше и даже цитирует научные доказательства в пользу этого утверждения: «Старайтесь не передумать: есть доказательства того, что учащиеся меняют правильные ответы на неправильные чаще, чем неправильные ответы на правильные» (Fetzner Student-Athlete Academic Center).

А что на самом деле говорят научные открытия? Ежегодно различные экзамены сдают более 3 миллио-

нов учащихся, и этот вопрос едва ли можно назвать незначительным. В действительности научные данные удивительно последовательны, и они указывают на выводы, прямо противоположные тем, что приводятся на этих вебсайтах (Benjamin et al., 1984; Geiger, 1996; Skinner, 1983; Waddell & Blankenship, 1994).

Более 60 исследований приходят, по существу, к одному и тому же вердикту: когда учащиеся изменяют ответы в тестах на множественный выбор (а это обычно видно по стиранию или зачеркиванию предыдущих ответов), они с большей вероятностью меняют неправильный ответ на правильный, чем правильный на неправильный. На каждый балл, который учащиеся теряют, изменяя ответ с правильного на неправильный, они приобретают в среднем примерно два-три балла, когда изменяют ответ с неправильного на правильный (Benjamin et al., 1984; Foote & Belinky, 1972; Geiger, 1996). А учащиеся, которые изменяют больше ответов, обычно получают более высокие экзаменационные отметки, чем другие студенты, хотя это открытие всего лишь корреляционное (см. Введение) и может отразить тот факт, что учащиеся, часто меняющие свои ответы, изначально лучше проходят тесты, чем их коллеги (Geiger, 1997; Friedman 8с Cook, 1995). Все эти выводы применимы не только к тестам на множественный выбор, проводимым в классах, но и к стандартизированным тестам типа экзамена на выявление академических способностей или выпускного экзамена.

Нужно признать, что есть два варианта стратегии «когда сомневаешься, измени свой ответ». Во-первых, исследования показывают, что студентам не следует изменять свой ответ, если они просто предполагают,

что этот ответ может быть неправильным; изменение ответа полезно только тогда, когда есть серьезное основание подозревать, что ответ неверен (Shatz & Best, 1987; Скиннер, 1983). Во-вторых, есть определенные доказательства того, что учащиеся, которые показывают плохие результаты в тестах на множественный выбор, могут извлечь меньшую пользу от изменения своих ответов, чем другие ученики (Best, 1979). Поэтому эти учащиеся могут захотеть изменить свои ответы только тогда, когда они вполне уверены в том, что эти ответы являются неправильными.

Есть ли доказательства того, что учащиеся меняют правильные ответы на неправильные чаще, чем неправильные ответы на правильные?

Существует на удивление мало исследований, которые бы изучали вопрос, почему учащиеся верят, будто изменение первоначальных ответов — в большинстве случаев плохое решение. Но на ум приходят три вероятных объяснения. Во-первых, как мы видели, большинство профессоров, которые дают своим учащимся советы по поводу изменения или неизменения ответов, советуют им не менять ответы в тесте (Benjamin et al., 1984). Поэтому это ошибочное убеждение, вероятно, частично распространяется через «сарафанное радио» (Higham 8с   Gerrard, 2005). Во-вторых, исследования показывают, что учащиеся с большей вероятностью будут помнить те пункты теста, ответы на которые они изменили с правильных на неправильные, чем те, ответы на которые они изменили с неправильных на правильные (Bath, 1967; Ferguson, Kreiter, Peterson, Rowat 8c   Elliott, 2002). Поскольку горький привкус неправильных решений задерживается дольше, чем память о правильных решениях («С какой ста-

189