Типы качественного оценивания

 

Племена, правительства и добровольные объедине­ния на протяжении веков учреждали новые программы, которые затем приостанавливались, поддерживались или распространялись. С точки зрения социальной эво­люции (Campbell [15]) такие судьбы программ явля­ются оцениваниями и процессы принятия решений, опре­деляющие судьбу программы, составляют механизмы оценивания. Некоторые из этих механизмов связаны с выживанием организации — своего рода социально-эво­люционным естественным отбором. Но гораздо чаще эти решения — и, конечно, заимствование решений — включают в себя людские суждения, которые представ­ляют ценности, необходимые для потенциального вы­живания. Эти процессы замещающих суждений, веро­ятно, имеют ценность, приближающуюся к адаптивной, так как они сами являются продуктами биологического и социального естественного отбора.

Сырьем для таких оценок служит накопленный опыт участников, преобразованный в институциональное ре­шение посредством некоторого формального или нефор­мального политического процесса. Опыт, накопленный участником, следует трактовать как наиболее примитив­ное и распространенное качественное знание, имеющее отношение к оцениванию программ. Поскольку память о прошлом непрерывно модицифируется под влиянием наличного контекста и более позднего опыта, особое

 

257

 

значение приобретает зарегистрированный опыт уча­стников — например, посредством записей и учета голо­сов. В случае исследования действия имеется ряд дру­гих релевантных групп непрофессиональных наблюдате­лей, лиц, находящихся в удобной для наблюдения пози­ции, что не характерно для иных социальных ролей. Сюда входит руководящий персонал программы и те группы граждан, которые находятся в постоянном кон­такте с лицами, испытывающими на себе действие про­граммы.

Качественная оценка, производимая экспертами по оцениванию (специалистами в области социальных наук), может принимать многочисленные формы. Она может содержать в себе собственный качественный опыт социального исследователя, полученный, например, на какой-то единовременной выборке при обследовании на месте, или весь опыт целостного социального дей­ствия, включая предпрограммный период, как при вклю­ченном наблюдении, так и при наблюдении со стороны. Но еще более общим для качественного подхода в со­циальной науке является участие эксперта в регистра­ции и сопоставлении опыта участников путем интервью с информантом, обследования мнений или интервью по поводу опыта, проводившихся Комитетом по изучению общественных взаимоотношений.

В политических процессах, в ходе которых группы трансформируют сохранившийся в памяти участников опыт в оценочные решения, может применяться голосо­вание — один из способов квантификации качественного опыта в целях объединения субъективных суждений. Точно так же роль социального исследователя в сопо­ставлении опыта участников может включать и квантификацию, как это имеет место при кодировании сво­бодных интервью, при подсчете числа участников, в це­лом оценивающих программу негативно, или в случае предъявления оценочных шкал и структурированных вопросов, по которым участники могут квантифицировать свой собственный субъективный опыт. На самом деле многое из того, что мы считаем эксперименталь­ными и количественными показателями, зафиксирован­ными при предварительном и итоговом тестировании, как в экспериментальной, так и в контрольной группе, является фактически квантификацией субъективных

 

258

 

суждений. Социальный исследователь, сторонник каче­ственного подхода, может, кроме того, прибегнуть к ко­личественной обработке при регистрации или суммиро­вании своего собственного непосредственного опыта. Ниже я попытаюсь провести различие между каче­ственным и количественным сравнением качественного опыта, однако и то и другое будет рассматриваться в рамках общей категории качественного.

Оценивание процесса предлагалось в качестве допол­нения (Freeman, Sherwood [40]) или альтернативы к количественному оцениванию экспериментальных про­грамм (см., например, Weiss, Rein [94], Guttentag [48, 49]). Этот подход в резкой форме представлен в одном фундаментальном положении: «Причина, по которой мы требуем использования «контрольных групп» в экспери­ментальной науке, состоит в том, что изучаемые процес­сы протекают, согласно предположению, в знаменитом «черном ящике». Так что мы не можем наблюдать край­не важное внутреннее промежуточное состояние. Мы можем лишь контролировать вход и измерять выход. Но там, где возможно наблюдать промежуточные звенья — сам процесс, — можно обойтись без грубой эксперимен­тальной модели» (Bennis [6, с. 231]).

На практике оценивание процесса предполагает ка­чественное рассмотрение конкретных событий, имеющих место при осуществлении программы, включая типич­ный опыт участников. Оценивание процесса может производиться самим персоналом, занятым в осуще­ствлении программы, или специалистами по оценива­нию процесса, занятыми только этой работой, или, воз­можно, путем привлечения участников для дневниковой регистрации событий. Типичный продукт такой работы может иметь форму литературно-исторических описаний опыта, связанного с программой. (Каплан [54] говорил о них как об экстенсивных данных, составляющих осно­ву его суммарной оценки моделей города. См. также Gilbert, Specht [43].) Хотя до сих пор нет классических примеров и критических реакций, мы можем быть уве­рены, что предсказанное Беннисом непосредственное восприятие каузальных связей отсутствует. Однако хо­рошо спланированное и добросовестно выполненное описание процесса представляется желательным ком­понентом в оценивании любой программы как ее пере-

 

259

 

 крестная валидизация и своего рода критика процесса измерения и экспериментальных планов. (Задание, по­лучаемое обычно оценщиком процесса, должно быть явно сформулировано шире, чтобы оно охватывало эти последние виды деятельности.)

Если бы нам предстояло стать свидетелями широко распространенной практики оценивания процессов и если бы оценщики процессов должны были критиковать друг друга и спорить по поводу измерений эффектов программы, их обоюдный критицизм почти непременно заставил бы их заново изобретать некоторые черты экспериментального плана. Иными словами, ощущалась бы потребность в регистрации сходных процессов, пред­шествовавших инновации, и в регистрации процессов, которые протекали в сопоставимых социальных образо­ваниях, переживавших те же исторические события, что и изучаемые, за исключением предусмотренных про­граммой. Экспериментальный план может быть отделен от квантификации. Неопределенность вывода, на сни­жение которой рассчитан экспериментальный план, су­ществует для качественной оценки в той же мере, что и для количественной.

От суммативного оценивания, представляющего со­бой количественное измерение воздействия, оказываемо­го программой, которое является целью типичного ко­личественного оценивания экспериментальной програм­мы, отличается формативное оценивание. Формативное оценивание связано с постоянным контролем за новой программой, спланированным с целью обеспечивать безотлагательные пересмотры тех аспектов программы, которые оказываются «неработающими» или явно неэф­фективными. Хотя и не исключено, что какая-то часть этих оценок могла бы быть осуществлена с помощью ко­личественных экспериментов, связанные с ними услож­ненность, необходимость немедленного реагирования и тот факт, что многие ошибки планирования можно за­метить невооруженным глазом, обусловливают то, что формативное оценивание становится по преимуществу делом обыденного знания. Это, несомненно, желательное введение к количественному экспериментированию или к полному оцениванию процесса, поскольку эти дорого­стоящие процедуры не следует выполнять в отношении программ, которые те, кто осуществляют эти програм-

 

260

 

мы, не желали бы видеть вновь воспроизведенными и распространенными в том же виде. Там, где это возмож­но, такая формативная «доводка» программы должна предшествовать ее оцениванию. Необходимость форма­тивного оценивания требует внимания и учета. В про­тивном случае возможна реализация программы, спро­ектированной только на бумаге, и при этом можно не увидеть вполне доступные качественные данные, свиде­тельствующие о неудаче реализации.

Системный анализ представляет собой широко реко­мендуемую альтернативу и дополнение к количе­ственному экспериментальному подходу (Baker [1, 2]; Schulberg, Baker [80]; Schulberg, Sheldon, Baker [81]; Weiss, Rein [94]). В то время как в биологии и инже­нерном деле (см., например, Jones [53]) он является в высшей мере квалифицированным использованием эк­спериментальных результатов, в оценивании социальных программ он представляет собой пример качественного подхода, для которого характерны внимание к органи­зационному функционированию, связь с другими систе­мами и пристальное внимание к процессам, включенным в программу. Тем самым ему удается избежать узости и близорукости многих количественных оценок. В ожида­нии дня, когда в нашем распоряжении окажется какой-то исчерпывающий системный анализ новых программ и их воздействий, я не стану пытаться отграничить этот подход от оценивания процессов или методов полевой работы, которые будут описаны ниже, и повторю, что он представляется ценным приложением к количествен­ным оценкам.

Использование антропологов в роли оценщиков про­грамм было предпринято в программе национальных институтов образования «Экспериментальные школы». Хотя это и не приводит к полному отказу от количе­ственного измерения, антропологическая полевая рабо­та представляет собой одну из главных исследователь­ских затрат в довольно дорого обходящихся оценива­ниях программ. Антропологи, которых воспринимали как постоянных жителей, работали также по оценке эффективности некоторых «моделей городов».

До Малиновского большинство антропологических исследований представляло собой собирание фактов, от­ражающих опыт информантов, и часто ставило своей

 

261

 

целью реконструировать картину местной культуры до контакта с европейцами. Со времен Малиновского обыч­ной целью стало описание сегодняшней живой культуры какого-то определенного поселения, безотносительно к ее историческим истокам или культурной типичности¹. В связи с этим антрополога стали рассматривать как непосредственного наблюдателя, участвующего в кол­лективной жизни данного сообщества настолько полно, насколько это возможно, основательно изучающего ме­стный язык и живущего жизнью сообщества 24 часа в сутки в течение ряда лет. Именно эта последняя антро­пологическая модель преобладала до сих пор в оцени­вании программ. В частности, большое влияние имело обследование управления школой с использованием ме­тода внешнего наблюдения (Wolcott [97]), хотя это исследование и не было само по себе сосредоточено на оценивании какой-либо программы. В качестве моделей использовались также методы полевой работы, приме­няемые социологами, придерживающимися качествен­ного подхода (Nelson, Giannotta [68]).

В настоящее время целый ряд примеров этого под­хода содержится в программе «Экспериментальные школы» (Nelson, Reynolds, French, Giannotta [69]). Су­ществует также методологическая работа, связанная с практикой подобного рода (Everhart [38]). Через не­сколько лет мы освоим этот опыт и будем в состоянии более точно оценить этот подход. Уже сейчас я взялся бы утверждать, что эти материалы создают основу, ко­торая поможет интерпретировать количественные оцен­ки, стоит только этим последним появиться на свет. В них мы найдем богатое деталями повествование о том, как протекали события и что «было не так» и по­тому могло иногда привести к игнорированию количе­ственного оценивания как не заслуживающего внимания, поскольку, в конечном счете, не наступило никаких ре-

_____________________________________________________________________________________

¹ Ряд специальных методологических проблем антропологиче­ского полевого исследования и взаимной связи антропологии и психологии рассматриваетсяв: C a m p b e l l  D. T. The Mutual Methodologycal Relevance of Anthropology and Psychology. — In: Psychological Anthropology. Ed. by F. K. L. H s u. Homewood, I11., The Dorsey press 1961; L e V i n e  R. A., C a m p b e l l  D. T Ethnocentrism. Theories of Conflict, Ethnic Attitudes and Group Behavior. N. Y., Wiley, 1972. — Прим. ред.

 

262

 

альных изменений, или из-за того, что одновременно вмешивалось такое множество более могущественных сил, что воздействие экспериментальной программы не имело никаких шансов проявиться. Но мне, тем не менее, кажется, что эти этнографические описания не мо­гут быть приняты сами по себе в качестве свидетельств в пользу эффективности программы и заменить собой адекватную количественную экспериментальную оценку.

Антропологи, о которых идет речь, не имели ника­кого опыта изучения каких бы то ни было школьных систем. Они были привлечены уже после того (или в тот самый момент), как программа была запущена, и им неизбежно приходится изучать смесь старого и но­вого в условиях, где легко по ошибке приписать про­грамме результаты, которые имели бы место в любом случае. Делу можно было бы помочь, если бы наши антропологи уделяли половину своего времени изуче­нию какой-нибудь другой школы, во всем похожей на исследуемую, с тем лишь исключением, что в ней от­сутствует новая экспериментальная программа. Это, очевидно, не было предусмотрено. Польза была бы и в том случае, если бы антрополог стал изучать данную школу за год или два до начала программы. (Тут труд­но что-либо планировать, но мы могли бы рассматри­вать ныне ведущиеся энтографические описания школ как исследования, предшествующие будущим иннова­циям.)

Всякое знание является сравнительным, каким бы абсолютным оно ни казалось феноменально, и антропо­лог занимает обычно очень слабые позиции для осуще­ствления валидных сравнений, поскольку его собствен­ный исследовательский опыт и знания о школах, по­лученные им из вторых рук, предполагают столь раз­личные подходы и точки зрения, что остаются лишь не­значительные возможности для сравнений. Позиция не­профессиональных участников программы фактически более выгодна, чем позиция антропологов, как мы пока­жем ниже. В исследованиях в Миннеаполисе (Nelson et al. [68], [69]) несколько антропологов, работавшие с разными школами, имели преимущества ввиду воз­можности сравнивать свои записи.

Методы антропологического и социологического по­левого наблюдения в начале их применения не были

 

263

 

сосредоточены на каузальном воздействии какого-то единичного фактора или нового института. Напротив, их цель заключалась в том, чтобы описывать вещи, как они есть, без обращения к причинам. В самом деле, методо­логическая ориентация часто предполагает отрицание релевантности или возможности установления каузаль­ных связей. Принимая заказ на оценивание влияний и эффективности программы, антрополог или социолог утрачивает в значительной мере свою свободу и воз­вращается в более традиционную научную сферу ка­узального вывода. Уже приступив к работе, он осознает неопределенность этой задачи и в конце концов часто может действительно оправдывать свои усилия той цен­ностью, какую могут иметь для антропологии и педаго­гики подробные этнографические описания школ, оста­вив без внимания центральный вопрос о воздействии программы. Каким бы испытанным средством в дости­жении обычных для них целей ни являлись методы по­левого наблюдения, они пока не прошли проверки в оценивании программ.

Исследования надежности или валидности полевого наблюдения, насколько я знаю, отсутствуют. Я склонен думать, что если бы двух этнографов послали исследо­вать одну и ту же культуру или двух социологов от­правили бы в качестве включенных наблюдателей на одну и ту же фабрику, то их результаты в значитель­ной мере совпадали бы. Но когда вы предлагаете такие исследования, то оказывается, что «качественного» со­циального исследователя больше интересуют различия, чем совпадения, и он не стал бы непременно ожидать сходных результатов, потому что за каждым наблюдате­лем признается уникальный угол зрения или потому, что считается, что не существует никакой социальной реальности, кроме той, которая сконструирована наблю­дателем. С таким взглядом на многообразие результа­тов вряд ли сможет примириться какое-нибудь прави­тельственное учреждение или добровольное объединение, пытающееся принять решение о расширении или завер­шении навой программы. Степень, в которой два неза­висимо друг от друга работающих антрополога прихо­дят к согласию относительно описания той или иной институциональной программы, в скором времени бу­дет, по всей вероятности, подвергаться проверке. Что

 

264

 

касается меня, то я полагаю, что существует вполне до­стоверная социальная реальность, которая и должна быть описана, и поэтому будет обнаружено довольно значительное совпадение результатов. Но, разумеется, дадут о себе знать и индивидуальные особенности антро­пологов (Campbell [14]), и я не уверен, что согласие будет простираться до малоконтрастных деталей, свя­занных с эффективностью программы.

Однако такая возможность повторения нуждается в демонстрации не только в случае качественных оценок. Количественные экспериментальные исследования пред­полагают такое множество решений в отношении спосо­ба осуществления программы, выбора мер и их форму­лировок, объединения данных в процессе анализа и т. п., что они тоже должны дублировать друг друга. Наши обширные программы оценивания должны осуще­ствляться не менее чем в два приема и независимо друг от друга. Когда результаты совпадают, ясно, какое ре­шение следует принять. Когда же они не совпадают, мы тем самым получаем предупреждение об ограниченной общности полученных данных. Если качественная и ко­личественная оценки были бы осуществлены в отноше­нии одних и тех же программ, я склонен ожидать, что они совпадут. Если же этого не произошло, нам, как мне кажется, следует признать возможным, что имела место ошибка в количественных расчетах. (Я думаю, что именно так обстояло дело при первом основном оцени­вании программ компенсаторного начального обучения, хотя, насколько мне известно, качественные оценки в этом случае никогда систематически не собирались и не суммировались (см. Campbell, Erlebacher [24].)

К качественной оценке программ следовало бы привлекать и историков. Специалисты в области поли­тических наук уже привлечены к этой работе (см., на­пример, Greenstone, Peterson [47]; впрочем, они из­бегают оценивать воздействие). Если качественной оценке программ суждено стать обычном делом, методо­логические основы гуманитарных исследований долж­ны быть перестроены и пересмотрены. Самым распрост­раненным методологическим комплексом приемов является «изучение отдельных случаев», объединяющее все доступные данные, поступающие от информантов, из периодики, документов, архивов и непосредственных на-

 

265

 

блюдений. Существуют такие стандарты регистрации данных, до которых доросли пока что не все исследо­вания по оцениванию процессов и этнографические опи­сания программ. В условиях полевой антропологической и социологической работы существует требование ежедневного ведения полевых записей, которые затем используются для проверки попыток обобщения. На факультете антропологии в Беркли Лови и Крёбер тре­бовали обычно, чтобы все мифы и истории были запи­саны отдельно по меньшей мере от двух информантов. В отчете, где Гринстоун и Петерсон бойко перечисляют имена и события, восстанавливая незаписанную исто­рию программы, они считают возможным утверждать следующее: «Во всех случаях отчеты о поведении уча­стника основываются... на свидетельствах, полученных от нескольких действующих лиц, которые высказыва­ются о нем с разных точек зрения» [47, с. 7]. Подобное требование способствует, конечно, повышению воспро­изводимости исследования.

В прежних своих работах [12, 13, 19] я непочтитель­но отзывался о единичном случае, единичной совокуп­ности условий, одномоментном исследовании случаев не из-за их качественной природы, а вследствие того, что такая ограниченность точек наблюдения сочеталась в них с избытком возможных каузальных концепций, что обманчивое совершенство их вида было почти очевид­ным. В недавней донкихотской и двойственной статье «,,Степени свободы“ и изучение отдельных случаев»¹я покаялся в своих заблуждениях, напомнив себе, что по­добные исследования регулярно вступают в противоре­чие с первоначальными ожиданиями их авторов и для таких скептиков, как я, являются убедительными и ин­формативными до такой степени, которую мой прямоли­нейный негативизм не допускает. Мое предположитель­ное решение состоит в том, что в пространстве много­смысловых атрибутов должно существовать множество «степеней свободы», что придает подобному исследова­нию силу тестируемого и проверяемого, чего я раньше не допускал. Возможно, что результаты конкретных исследований случаев при оценке программ смогут, в конце концов, убедить меня в том, что такие исследо-

_____________________________________________________________________________

^{1 См. перевод этой статьи в данной книге (с. 278).}

 

266

 

вания в состоянии оценивать программы. В частности, они, возможно, могут валидно обнаруживать неожидан­ные последствия, упущенные при более структурирован­ных подходах. Я жду, однако, конкретных примеров. (Другие соображения по поводу антропологического ме­тода, затрагивающие иногда квантификацию, но, как правило, с уважением относящиеся к качественному подходу, изложены в работах: Campbell [10, 12, 14, 21]; Campbell, LeVine [25]; Werner, Campbell [95].)

Все увеличивающееся со временем знакомство с со­бытиями и людьми дает даже стороннику количествен­ного подхода качественное знание, которое помогает ему обнаруживать в своих данных неверные истолкова­ния, ошибки и подтасовки. В случае, когда один и тот же человек запускает программу воздействий, собирает данные и анализирует результаты, качественные наблю­дения могут в значительной мере подкреплять количе­ственные результаты. В современном крупномасштаб­ном количественном оценивании программ эта опора на знакомство с материалом может быть утрачена — в зна­чительной мере или полностью. В худшем случае сбор данных перед началом воздействия, руководство про­граммой, сбор итоговых данных и анализ результатов производят четыре разные группы по четырем разным контрактам. Разделение труда в рамках проекта вызы­вает подобное разъединение даже в том случае, если исследования ведутся по одному контракту. Убеждение в том, что внешние оценщики более объективны, служит еще одним препятствием для заинтересованности в ка­чественном опыте. Несомненно, что цифры, выдаваемые вычислительной машиной, часто создают псевдонаучный фасад, для которого использованы принятые на веру количественные данные, не имеющие на деле валидного качественного основания. Этот пробел могли бы запол­нить занятые в работе над проектом антрополог, социо­лог или историк, если бы перед ними была поставлена задача обыденного ознакомления с общим контекстом, включающим социальные взаимодействия, которые при­водят к таким количественным результатам.