Тестов социальных установок 2 страница

Специалисты приходят в эту область из самых раз­ных социальных дисциплин. Широко представлены эко­номисты. Вносят свой вклад специалисты в области исследований операций и других сфер «научного управ­ления». В работе участвуют статистики, социологи, психологи, специалисты в области политических наук, исследователи в сфере социального обслуживания, пе­дагогики. То, что их работы и рекомендации, в конеч­ном счете, сходны, свидетельствует о стремительном ста­новлении новой самостоятельной дисциплины, которая, отделившись от своих столь различных «родителей», может вскоре обрести свою собственную индивидуаль­ность.

Поскольку сам я пришел в эту область из социаль­ной психологии, я, хотя и рассматриваю то, над чем работаю сейчас, скорее как «прикладную социальную

 

319

 

науку», нежели как собственно социальную психологию, испытываю тем не менее потребность прокомментиро­вать тот особый вклад, который может внести социаль­ная психология в рассматриваемую область. Во-первых, из всех дисциплин, связанных с интересующей нас сфе­рой исследований, одна лишь психология характеризу­ется ориентацией на лабораторный эксперимент, и именно социальные психологи располагают наибольшим опытом распространения лабораторных эксперименталь­ных моделей на социальные ситуации. С тех пор как для уменьшения неопределенности того, «что чем вы­звано», в исследованиях по оцениванию программ по­является модель экспериментальной науки (см. осново­полагающую работу Шухмана [87]), это наиболее зна­чительный вклад, как в отношении общей ориентации, так и в отношении специфических умений.

Во-вторых, психологи лучше всего подготовлены к работе с критическими и аналитическими понятиями в области измерений. Психология благодаря давней тра­диции построения и критического анализа своих собст­венных мер разработала понятия и математические мо­дели надежности и валидности, в которых очень нужда­ется практика оценивания программ, даже, несмотря на то, что эти меры, вероятно, все еще непригодны для изучения некоторых специальных психологических проб­лем. Понятие отклонения, или «погрешности», в то ви­де, в каком оно разработано старой психофизикой при различении «постоянной ошибки» (bias) и «переменной ошибки» (ненадежности), а также более поздние труды по измерению личностных переменных и установок, включая измерение установок на ответ, галоэффектов, факторов социальной желательности, индексной корре­ляции, факторных методов и т. д. (Cronbach [33, 34]; Edwards [38]; Jackson, Messick [54]; Campbell, Siegman, Rees [25]; Campbell, Fiske [24]), также очень важны и не находят отражения в понятии валидности, если оно определяется как коэффициент корреляции с некоторым критерием. Конечно, это не является нашей монополией. В самом деле, кто, как не представители качественной социологии, исследует условия, при кото­рых складывает оружие социальная статистика (см., например, Becker et al. [6, 7]; Douglas [37]; Garfinkel [42]; Kitsuse, Cicourel [59]; Beck [5]), от кого, как не

 

320

 

от них, исходит необходимый скептицизм по поводу та­ких мер, как данные о частоте самоубийств и преступ­лений? Однако даже здесь именно у психологов оказа­лось достаточно опыта, чтобы различить степени валидности, располагающиеся между полной незначимостью и высшим совершенством, и именно у психологов яви­лось желание использовать, хотя бы критически, те меры, которые, как они знали, были отчасти ненадеж­ны и ошибочны.

В-третьих, многие методологические проблемы осу­ществления социальных проектов и измерения их воз­действий связаны с изучением социально-психологиче­ских аспектов взаимодействия между гражданами и проектами, или между гражданами и способами экспе­риментального воплощения проектов (рандомизация, контрольные группы), или между гражданами и специ­альными измерительными процедурами, используемыми при оценивании. Это специальные проблемы формиро­вания социальных установок и их влияния на ответы, явно находящиеся в сфере нашей компетенции.

После этих замечаний о профессиональных сторонах исследований по оценке эффективности программ в США я хотел бы перейти к проблемам, с которыми мы сталкивались до сих пор, и к решениям, которые нами предлагались. Замечу с сожалением, что со времени моей более ранней работы (Campbell [16]) мы ушли не слишком далеко; однако я попытаюсь привести но­вые иллюстрации.

Последующее изложение сосредоточено, таким обра­зом, на трудностях и проблемах, о которых я считаю необходимым предупредить. Если мы претендуем на то, чтобы быть методологами, мы тем самым намерены быть экспертами по этим проблемам, и, хотелось бы на­деяться, теми, кто вырабатывает решения. Не было бы нужды в такой специальности, если бы не существовали эти проблемы. С этой точки зрения не нужно никаких оправданий. Но мне хотелось бы привлечь новых участ­ников в новую профессию и вдохновить их на то, что­бы они посвятили свои усилия делу, которое может при­нести плоды только с большой отсрочкой. На потенци­альных новых участников, а также и на тех, кто уже занялся этим делом вплотную, полный перечень стоя­щих перед нами трудностей, включая проблему такого

 

321

 

использования наших умений, которое у нас самих не вызвало бы сожалений, может подействовать только расхолаживающе. Мы пока не можем предложить пол­ный перечень профессиональных умений, гарантирую­щих необходимую эффективность. В нескольких случаях успешного осуществления немногих выгодных программ, оцененных однозначно, общество вполне обходится (или могло бы обойтись) без нашей помощи. Мы все еще не можем привести примеров значительных вкладов в об­щественные нововведения, которыми эти последние были бы обязаны нашим методологическим умениям. Потребность в нашей специальности и конкретные ре­комендации, исходящие от нас, все еще должны быть обоснованы скорее обещаниями, чем уже достигнутыми результатами. Наши рекомендации априорны в том смысле, что они представляют собой экстраполяции в новом контексте, не прошедшие, однако, в этом контек­сте перекрестной валидизации. Что касается меня, то я склонен считать проблему проверки социальных образо­ваний реальностью настолько важной, что наши усилия и профессиональные обязанности полностью оправды­ваются обещанием. Я полагаю, что проблемы неодно­значности свидетельств в пользу эффективности про­грамм настолько близки общим проблемам научного вывода, что указанные экстраполяции в разработке ре­комендаций относительно процедур оценивания про­грамм при наличии соответствующей взаимной критики могут быть хорошо обоснованы. Как бы то ни было, исходя отчасти из представления о том, что слишком многочисленные обещания оказываются одним из основ­ных препятствий для осмысленного оценивания про­грамм, я стремлюсь, однако, с двойственных позиций дать честную пессимистическую картину этих про­блем.

Второй круг проблем связан с тем, что множество методологических трудностей неизбежно создается вза­имодействием различных аспектов политической ситуа­ции, образующих контекст социальных программ и их оценивания.

Именно в сфере методологических проблем, вы­званных к жизни политическими соображениями, теря­ют силу исходные посылки об универсальности наших методологических принципов, едва только мы сопоста-

 

322

 

вим практику резко отличающихся друг от друга соци­альных, экономических и политических систем. Ученым, собирающимся на международные конференции, боль­шей частью удается избежать разобщающих политиче­ских вопросов путем концентрации внимания на науч­ных задачах, которые объединяют их как ученых. Когда темой является измерение воздействия, оказываемого запланированными социальными изменениями, мы не можем позволить себе такую роскошь. И все же я не теряю надежды на разработку такой технологии, кото­рая принесет пользу любой политической системе. Я по­лагаю, что методология оценивания программ будет во многом независима от содержания самой программы. В пользу этого свидетельствует подчеркивание роли специалистов в области социальных наук, когда дело касается их помощи обществу при выявлении эффектов, вызванных происходящими в этом обществе политиче­скими процессами, и преуменьшение роли этих специа­листов в разработке новых программ. Возможна ли такая независимость от идеологии, и если да, то, как совместима она с долгом социального ученого способст­вовать развитию более аутентичного человеческого со­знания и созданию более человечных форм обществен­ной жизни, — вот вопросы, которые я пока что не рас­сматривал должным образом, не говоря уже об их ре­шении.

В последующих разделах я сгруппировал наши проб­лемы под тремя общими заголовками, однако не очень заботился о том, чтобы строго придерживаться этой рубрикации при обсуждении. Вначале идут специальные вопросы нашего научного сообщества: их следовало бы поставить даже в том случае, если бы ученые, оценива­ющие программы, стремились лишь к одноплановому оцениванию программ. Это «Метанаучные проблемы» и «Статистические проблемы». Последний раздел вклю­чает взаимодействие с общественным контекстом. В раз­деле «Проблемы политической системы» я обращаюсь к вопросам, которые касаются преимущественно поли­тических процессов и правительственных институтов. Некоторые из этих вопросов являются, вероятно, общи­ми для всех крупных бюрократических обществ, а дру­гие — специфическими для условий США.

 

323

 

Метанаучные вопросы

 

Количественная и качественная методология. Проти­воположность «качественной» и «количественной» форм знания, geisteswissenschaftlich (науки о духе) и naturwissenschaftlich (науки о природе), «гуманистиче­ского» и «сциентистского» подходов характерна сегодня для большинства социальных наук в США. В таких областях, как социология и социальная психология, мно­гие из наших самых талантливых и преданных науке исследователей все больше склоняются к качественно­му, гуманистическому подходу. В политической науке также существует разделение по этому признаку. Ка­жется, только экономика и география относительно сво­бодны от этого разделения.

Этот раскол проник, конечно, и в исследования по оценке эффективности, приняв здесь форму спора по поводу законности количественно-экспериментальной парадигмы при оценивании программ (см., например, Weiss, Rein [96, 97]; Guttentag [48, 49, 50]; Campbell [17, 19]). Разумеется, спор по данному вопросу ведется в несколько иных терминах. Критики, занимающие по­зицию, которую я называю гуманистической, доволь­но часто сведущи в количественных экспериментальных методах. Их специфические критические замечания не­редко хорошо обоснованы именно с позиций эксперимен­татора: эксперименты, связанные с использованием не­коей частной процедуры в каких-то частных условиях, совершенно неопределенны в плане установления того, что чем вызвано; системам измерения свойственна ни­чем не обоснованная жесткость, ограничивающая реги­стрируемые выходные данные заранее ожидавшимися параметрами; экспериментальная программа, сосредото­ченная на общем эффекте некоего комплексного воздей­ствия, часто игнорирует сам процесс, поэтому знание таких эффектов имеет сомнительное значение для по­вторного осуществления или улучшения программы; про­граммы широкого масштаба часто бывают безнадежно неопределенны во всем, что касается целей и релевант­ных индикаторов; изменения программы воздействия в ходе какого-нибудь улучшающего эксперимента, хотя и имеют решающее значение в практическом отношении, делают невозможным истолкование соотношения входа

 

324

 

и выхода; осуществление социальных программ часто обеспечивается несостоятельными с точки зрения экс­периментальных моделей способами; даже в тщатель­но контролируемых ситуациях экспериментирование является делом крайне утомительным и неопределен­ным; экспериментирование — слишком медленный про­цесс, чтобы быть полезным в политическом плане и т. д. Все эти соображения соответствуют истине и подчас до­статочно справедливы для того, чтобы побудить к энер­гичному поиску альтернатив. Однако предлагавшиеся до сих пор альтернативы качественного знания (см., напри­мер, Weiss, Rein, [96, 97]; Guttentag [48, 49, 50]) для меня неубедительны.

Я полагаю, что натуралистическое наблюдение за событиями является, в сущности, неопределенным осно­ванием для каузальных выводов, с помощью каких бы средств — качественных или количественных — такое наблюдение ни проводилось, ибо имеет место смешива­ние фактора отбора и воздействий. Всякая попытка уменьшить неопределенность будет приводить к тому, что условия будут становиться более «эксперименталь­ными». «Эксперименты» — это фактически и есть осо­бый тип специально разработанных условий наблюде­ния, оптимальный для каузального вывода. Проблемы вывода, связанные с оцениванием программ, присущи самой природе программ, осуществляемых в ходе соци­альных процессов. Экспериментальные планы не явля­ются источником этих проблем и фактически облегчают их решение, хотя часто лишь в небольшой степени.

В таких возражениях часто содержится неявный протест против подмены качественного знания косвен­ными и гипотетическими процессами научного познания. Но хотя я вынужден отвергнуть этот аспект гуманисти­ческой критики, существуют иные аспекты, побуждаю­щие к такой критике, к которым я могу всей душой присоединиться. Эти критические положения можно обозначить как «пренебрежение релевантными качест­венными контекстуальными данными» или «чрезмерная зависимость от небольшого числа квантифицированных абстракций, ведущая к игнорированию противоречащих им и дополняющих их качественных данных».

Под влиянием миссионеров из лагеря логического позитивизма представители количественной социальной

 

325

 

науки слишком часто исходят из предположения, что в истинной науке качественное обыденное знание заме­няется знанием количественным. В действительности дело обстоит совсем иначе. Скорее, наука зависит от обыденного качественного знания, даже если она в луч­шем случае и выходит за его пределы.

Чтобы подвергнуть сомнению обыденное понимание какой-то частности и внести в него поправки, следует доверять обыденному пониманию в целом.

С этим связано также подчеркивание в эпистемоло­гии качественного распознавания целостного образа как исходного по отношению к распознаванию атомарных частиц, могущих быть квантифицированными, в проти­воположность все еще широко распространенной логи­ческой атомистической интуиции (Campbell [13]). Та­кая эпистемология скорее фаллибилист ¹,чем провидец: она делает акцент на предположении о том, что при подобном распознавании образов допускаются ошибки, а не на признании способности восприятия служить надежной основой достоверности. Но она также видит в этом подверженном ошибкам, интуитивном, гипотети­ческом обыденном восприятии единственный возможный путь. Дело не в том, что перцептивные данные выше всякой критики (Campbell [15]), но они доступны кри­тике лишь благодаря доверию к другим многочислен­ным перцептивным данным того же гностического уровня.

Если мы применим такую эпистемологию для оценки эффективности программ, это сразу узаконит «описа­тельную» часть большинства отчетов и подскажет, что такая деятельность получает формальное признание в планировании и проведении исследований. Без этих материалов исследования по оценке эффективности недоступны интерпретации и в большинстве своем ин­терпретировались бы лучше, если бы этих материалов было больше. Тот факт, что содержание их субъектив­но и грешит ошибками, должен привести нас к более тщательному подбору лиц, привлекаемых для регистра­ции событий, и к подготовке формализованных про­цедур, с помощью которых все заинтересованные участ-

______________________________________________________________________________

¹ Фаллибилизм (от лат. fallere) — воззрение, основывающееся на утверждении подверженности познания разного рода ошибкам. — Прим. перев.

 

326

 

ники могли бы внести дополнения и исправления в офи­циальную версию. Следует предусмотреть использова­ние профессионально подготовленных историков, антро­пологов и специалистов в области качественной социо­логии. Без описательной части не обходится ни один заключительный отчет, и для ее подготовки должны использоваться самые совершенные качественные ме­тоды.

Следует также осознать, что как участники разра­ботки и внедрения планируемых изменений, так и на­блюдатели на протяжении веков не прибегали для оценки их ни к квантификации, ни к научному методу. Наши научные данные должны основываться на обыден­ном знании, научное знание должно превзойти, но не заменить обыденное знание. Однако при количествен­ных оцениваниях это обстоятельство обычно игнори­руется, разве что к делу приобщается несколько слу­чайно подобранных эпизодов. Согласно отстаиваемой мной эпистемологии, исследователю следует попытать­ся систематически учитывать все критические заме­чания и оценки с позиций здравого смысла в адрес программы, исходящие от клиентов, их семей и членов общины. Наряду с количественными процедурами, таки­ми, как вопросники и оценочные шкалы, которые из со­ображений удобства будут вводиться на этой стадии исследования в целях сбора и суммирования данных, должны быть предусмотрены и неколичественные мето­ды сбора данных — например, работа с иерархически организованными дискуссионными группами. Там, где подобные оценки приходят в противоречие с количест­венными результатами, последние следует брать под сомнение, пока не будут поняты причины расхождения. Конечно, ни те, ни другие методы не непогрешимы. Но вот что следовало бы запомнить многим из нас: коли­чественные результаты могут быть столь же мало за­страхованы от ошибок, как и качественные. В конце концов, измерительные приборы в физических лабора­ториях часто работают неадекватно, и неисправность обнаруживается лишь благодаря качественному знанию и предположениям по поводу того, что должен был бы показывать этот прибор. (Это весьма далеко от мифа о том, что метрические показатели операционально оп­ределяют теоретические параметры.)

 

327

 

Приходится, к сожалению, констатировать, что в американских работах по оценке эффективности про­грамм такое тонкое сочетание способов познания пока что не практикуется. Вместо этого наблюдается переход от одной крайности к другой. Когда для оценивания используются наблюдения антропологов, как это имеет место, например, при оценках моделей городов, они ско­рее замещают собой, чем дополняют количественные показатели, предусматривающие предварительное и ито­говое тестирование и сравнения с контрольными груп­пами. Актуальный пример — использование антрополо­гов в программе «Экспериментальные школы». В одном случае предполагалось участие группы из пяти антропо­логов, в течение пяти лет занимавшейся изучением систе­мы школьного образования для города с населением в 100 тысяч человек. Эти антропологи не имели ранее опыта изучения какой-либо другой системы школьного образования в США. Им не предоставили времени для специальной подготовки до введения программы, вместо этого они приступили к работе уже после того, как программа была начата. Их планы не предусматривали изучение какой-либо иной сравнимой системы школьно­го образования, не претерпевшей соответствующего из­менения. Для того чтобы поверить, что в таких неблаго­приятных для наблюдения условиях эти наблюдатели, использующие качественный подход, смогут прийти к заключению о том, какими именно характеристиками наблюдаемые ими процессы обязаны нововведениям, предусмотренным данной программой, нужно больше ве­ры, чем есть у меня, хотя, пожалуй, следовало бы воз­держаться от суждений до ознакомления с результа­тами. Более того, в исследовании делается упор на не­посредственные наблюдения самих антропологов, а не на их роль в отборе и использовании в качестве инфор­мантов тех лиц, которые сами вовлечены в изменения, осуществляемые по данной программе ¹. В результате —

_____________________________________________________________________________

¹ Подробнее о методе использования информантов в полевых исследованиях см. в следующей работе: C a m p b e l l  D.  T.  and   L e V i n e  R.  A.  Field — Manual Anthropology. — In: A Handbook of Method in Cultural Anthropology. Ed. by R. Naroll and R. Cohen, Garden City, N. Y., The Natural History Press, 1970, p. 366—387.— Прим. ред.

 

328

 

тенденция игнорировать данные других наблюдателей, придерживающихся качественного подхода и находя­щихся в более благоприятных условиях, чем эти антро­пологи. К таким наблюдателям относятся родители, имевшие других детей, которые обучались в школе до ее преобразования, учителя, наблюдавшие именно эту систему до, во время и после преобразования, учителя, у которых до прихода в эту школу уже имелся опыт ра­боты в школах, сравнимых с новой по каким-то другим параметрам, и сами учащиеся. Желательно, вероятно, располагать большим массивом таких наблюдений, по­лученных с помощью вопросников. Поэтому естествен­ным было бы и желание задавать соответствующие вопросы до осуществления экспериментальной програм­мы и, кроме того, провести этот опрос в какой-нибудь школьной системе, не подвергшейся такой реформе, восстановив, таким образом, экспериментальный план и количественные обобщения качественных оценок. (Подробное обсуждение вопроса о качественном и коли­чественном подходах читатель может найти в работе: Campbell [20] ¹.)

Хотя вопрос о количественной и качественной ориентациях имеет большое практическое значение, он, тем не менее, как мне кажется, является, прежде всего, во­просом, входящим в компетенцию специалистов в облас­ти социальных наук и относительно независимым от более глобального политического процесса. То, какого подхода мы придерживаемся, во многом зависит от того, из какого подразделения в сообществе социальных исследователей затребована соответствующая рекомен­дация, что в свою очередь отчасти объясняется разоча­рованием в ранее применявшейся модели. Иными сло­вами, решение данного вопроса принадлежит нам.

Прочие вопросы, относящиеся к числу метанаучных, больше связаны с вненаучными вопросами о человече­ской природе, социальных системах и политическом процессе. Здесь я лишь классифицирую их, поскольку считаю, что первый шаг в их решении должен был бы состоять в достижении взаимопонимания между ме­тодологами — специалистами по оцениванию программ, а единство взглядов предполагает согласие не столько

______________________________________________________________________________           

¹ См. перевод этой работы в данной книге.

 

329

 

по поводу деталей метода, сколько по поводу метанаучных вопросов.

Осуществление и оценивание программ. Одна из стратегий, утвердившихся в правительственных учреж­дениях США, наиболее тесно связанных с оцениванием программ, состоит в организационном отделении про­цесса осуществления программ от их оценивания. Эта рекомендация исходит от академической группы теоре­тиков научного управления, она получила распростра­нение в конце 60-х годов в правительственных кругах как «Система программирования, планирования и фи­нансирования», или «PPBS» ¹,согласно которой эти функции, как и функции надзора за программой или ее оценивания, должны были быть поручены отдельной ор­ганизационной единице, не зависящей от учреждений, решающих практические задачи. (Соответствующее из­ложение этой стратегии принадлежит Уильямсу и Эвансу [103].) Эта рекомендация основывается на теории организационного контроля, известной как принцип про­верок и балансов. Она подтверждается не только общи­ми наблюдениями, свидетельствующими о нежелании человека заниматься самокритикой, но особенно наблю­дениями из области давно принятой в США самоохра­нительной практики, при которой на отчеты о достиже­ниях и другие оценки программ в первую очередь с не­обходимостью возлагается задача оправдать бюджет следующего года. Как полагает типичный администра­тор программы совершенствования в США, будь это экспериментальная программа или одна из давно при­нятых программ, бюджеты должны получать непрерыв­ное оправдание. Для подобного администратора оценки программы вряд ли могут быть оторваны от этой не­прекращающейся отчаянной борьбы. В такой ситуации имеется глубочайший смысл в том, чтобы функцию оце­нивания программ осуществляло отдельное подразделе­ние, которому никакие бюджетные ограничения не ме­шают давать честные оценки. В этом отношении такая стратегия не вызывает возражений.

Мои собственные наблюдения, однако, приводят меня к выводу, что и эта стратегия не работает. Рассма-

_____________________________________________________________________________

^{1 См. о системе «}PPBS» в работе: Г в и ш и а н и  Д.  М. Орга­низация и управление. М., «Наука», изд. 2-е, 1972, с. 462—471. — Прим. ред.

 

330

 

триваемое разделение направлено против тех форм осу­ществления программ, которые оптимизировали бы ин­терпретацию данных оценивания. Такие формы сущест­вуют, и они к тому же дешевы, но они требуют усовер­шенствованного планирования и тесной кооперации ис­полнителя и оценщика. Внешние оценщики, помимо все­го прочего, лишены, как правило, фундаментального качественного знания о происходящем. Постоянный конфликт между оценщиками и исполнителями, который примет достаточно острые формы при общем локальном руководстве, имеет тенденцию к углублению. Пригод­ность мер для целей локальных программ и опасности особенно уменьшаются в условиях принятых в США процедур выполнения договорных исследований. Оцени­вание становится деморализующим фактором и источ­ником отвлекающего конфликта. Можно было бы наде­яться, что специализация способствовала бы притоку более опытных методологов. Если и есть такой вы­игрыш, он полностью уничтожается недостаточным экс­периментальным контролем.

Конечно, поднятые проблемы обязаны своим проис­хождением не только разграничению осуществления и оценивания. И доводы в пользу такого разграничения остаются весьма вескими. Тем не менее, эти проблемы вызывают беспокойство, и они достаточно взаимосвяза­ны, чтобы служить обоснованием для пересмотра этого принципа, особенно если учесть, что такое разграниче­ние, видимо, полностью отсутствует в экспериментальной науке. Возникает метанаучный вопрос о том, каким об­разом в науке, несмотря на погрешности исследователя, достигается объективность, а также об уместности этой модели для объективности в оценивании программ.

Обычно в науке тот, кто задумывает эксперимент, сам же регистрирует показания прибора. Соответствен­но существует проблема пристрастной мотивации. Ис­следователь почти неизбежно является пристрастным защитником какого-то одного результата опыта. Появ­ляются неопределенности в интерпретации. Под угрозой оказывается честное имя и дело всей жизни. Не все допущенные ошибки исправляются перед публикацией, причем ошибки, которые подтверждают гипотезу авто­ра, выявить гораздо труднее. Загадка о том, как наука обретает свою объективность (если только она ее

 

331

 

обретает), представляет собой метанаучный вопрос, ко­торый все еще не решен. Хотя ученые, по-видимому, чест­нее, осторожнее и самокритичней большинства других социальных групп, эти их качества являются скорее по­бочным продуктом социальных сил, порождающих науч­ную объективность, чем ее источником. Главными фак­торами служат, вероятно, традиция и возможность независимого повторения. Хотя философы и социологи науки лучше прояснят эти вопросы, методологи исследо­ваний по оценке эффективности программ должны про­являть внимание к возможностям моделей, применимых в их области. Забегая несколько вперед, отмечу, что я прихожу к следующей предварительной точке зрения.

Осуществление и оценивание программ совершенст­вования в США требуют сегодня большего энтузиазма, преданности и более высоких моральных качеств. Они могут быть усилены путем принятия в качестве модели экспериментатора-оценщика образа ученого. Если бы могли быть созданы условия для повторной перекрест­ной валидизации, а бюджет мог быть избавлен от угроз, проистекающих от негативных оценок (напри­мер, если бы исполнители программы могли полу­чить право переходить для достижения той же самой цели к альтернативным программам), то от политики разграничения осуществления и оценивания можно было бы отказаться.

Наш вопрос не требует сугубо однозначного ответа. Внешние оценки могут сочетаться с внутренними оцен­ками. Вероятно, внешнее оценивание можно было бы вполне безболезненно свести к проверке внутренних оценочных данных, поручив его кому-нибудь из методо­логов по оцениванию.

Максимизация повторения и критики. Продолжая разговор на ту же метанаучную тему, которая была за­тронута в предыдущем разделе, можно привести еще целый ряд рекомендаций относительно исследователь­ской стратегии. Некоторые из них противоречат орто­доксальным взглядам и практике, распространенным в США сегодня.

В настоящее время предпочтение отдается единич­ным, согласованным в масштабе страны оценкам даже в том случае, если нововведения по программам осу­ществляются во многих районах. Если бы задача состо-

 

332

 

яла в имитации научного подхода к объективной реаль­ности, оптимальным было бы, вероятно, разделить боль­шие эксперименты и общие оценки на части и заклю­чить вместо одного два или более контрактов, пресле­дующих общую цель, с тем чтобы получить какую-то возможность одновременного повторения. Компенсатор­ные образовательные программы (например, такие, как «Head Start», «Follow Through» и др. ¹) иногда прини­мают, согласно нашим основным оценкам, такой размах, что подобное разделение не способствовало бы значи­тельному увеличению расходов. Мы часто могли бы пре­дусматривать нашими планами сравнительную провер­ку при повторении, которая помогает науке оставаться объективной.