Методологические требования к описанию исследования

Научная деятельность – это субъективная деятельность человека, поддерживаемая специально созданными социальными институтами и направленная на поиск истины. Занятия наукой осуществляются по вполне определенным и обязательно одобренным научным сообществом методологическим правилам. Обычно считается, что методология изучает метод получения знания. Но наука отличается от других видов деятельности человека не особым способом генерирования гипотез, а проверкой и обоснованием выдвинутых гипотез. Перефразируя А. Ахматову, не так уж важно, «из какого сора» приходят новые идеи. Методологические правила важны, прежде всего, для обоснования сделанных утверждений, а также способов представления полученных результатов научному сообществу. Если ученые будут «играть в науку» и обосновывать свои утверждения по разным правилам, то итог будет столь же результативным, как если бы разные игроки играли друг с другом в разные игры: один – в шахматы, другой – в преферанс, а третий – в бильярд. Пока один ученый полагает, что надо обязательно приводить в статье название марки компьютера, на котором он обрабатывает данные, а другой считает излишним давать оценку статистической достоверности полученных в итоге результатов, то взаимопонимание между ними не наступит никогда. Принятые научным сообществом методологические правила позволяют и понять, и оценить проведенные исследования.

Вот, например, Американская Психологическая Ассоциация (АРА) формулирует ряд требований, по которым принимаются статьи в ведущие научные журналы.

В подразделе, посвященном постановке проблемы и формулировке задач исследования, авторы статьи должны осветить максимальное количество известных на момент написания работы публикаций других авторов по данной тематике, а также полученные ими результаты. (Это, конечно, не только абсолютно невыполнимое требование, но в своей буквальности и удручающе бессмысленное, ведь речь идет не о хороших работах, а вообще обо всех, что нелепо, впрочем, в АРА, по-видимому, подразумеваются только работы на английском языке и при том самых последних лет.) Редакторы и приглашенные для оценки статьи рецензенты оценивают обзор литературы и могут отклонить статью, если автор не указал какую-либо работу, в которой, по их мнению, получены существенные результаты по изучаемому вопросу. В принципе, правило разумное: автор должен знать историю вопроса и хорошо ориентироваться в современных исследованиях. Менее всего требования АРА позволяют оценить саму проблему – по сути, не имеет значения, достойна ли она изучения, так как – согласно позиции «чистого эмпиризма», к которой очевидно тяготеет АРА, – изучать можно все. Поэтому, признаюсь, именно постановка задачи исследования в американских журналах зачастую вызывает самое удручающее впечатление.

Ряд существенных требований выдвинут и к описанию проведенных экспериментов. Обязательными подпунктами этой части статьи являются:

1. Введение, в котором формулируются гипотезы, их обоснование и проверяемые следствия. Правда, менее всего уделяется внимание логической обоснованности гипотез. Зато – и это весьма полезно – часто рассматриваются причины, по которым выбран описываемый в статье дизайн эксперимента.

2. Метод,при описании которого должны быть подробно описаны участники (количество испытуемых, принципы их отбора для участия в исследовании), дизайн эксперимента, стимулы, стимульный материал, аппаратура. При всей правильности призыва он не может быть строго формализован.

В самих фактах не содержится информации о том, сколь подробно надо их описывать. Необходимо принять специальное и внеэмпирическое решение о том, с какой степенью подробности должен описываться факт. И это решение принимается только самим исследователем. В конце концов, мир разбивается на те или иные факты только потому, что мы так разбиваем его. Рассмотрим, например, описание какого-нибудь конкретного факта: время реакции испытуемого на предъявление такого-то стимула – столько-то миллисекунд. Но этот же факт можно описать тысячью способами, увеличивая число различных деталей: такого-то числа в такое-то время суток при таких-то погодных условиях (количестве осадков, атмосферном давлении, скорости ветра и пр.) в таком-то месте (характеристики влажности, температуры помещения, площадь и объём, цвет стен, количество людей в помещении и пр.) через столько-то часов после сна или еды (особо оговаривается качество еды и/или характер сновидений), через 12 лет после серьезной физической травмы, через два года после свадьбы, через 35 дней после окончания обучения с таким-то средним баллом, через два месяца после… и т.д. Время реакции испытуемого (пол, возраст, профессия, стаж работы, социометрический индекс, оценка психического состояния, опыт трансовых состояний, число тренировочных заданий, отношение к эксперименту, к экспериментатору, к футболу, в это время показываемому по ТВ, и т.д.) на предъявление такого-то стимула (способ предъявления, качество изображения, фирма, год выпуска использованного прибора для предъявления и т.п.) составило столько-то миллисекунд (оценка точности измерения прибором, погрешности считывания показания экспериментатором, погрешности набора данных в типографии и пр.) при такой-то субъективной оценке испытуемого (степень готовности к данному измерению, субъективная успешность, наличие субъективно переживаемых непредвиденных обстоятельств и др.) и пр., и пр.

3. Процедура. Этот подпункт является наиболее подробным, указываются инструкции, задания, шаг за шагом описывается ход эксперимента, так, чтобы у читателя не возникало никаких вопросов типа «А что делал испытуемый, если он давал неправильный ответ?» или любых подобных вопросов. Это чрезвычайно важное требование для российских психологов. Ведь многие описания психологических экспериментов в русскоязычной литературе остаются непонятными даже после многократных попыток в них разобраться.

4. Результаты. Здесь подробно описываются критерии, по которым обрабатывались результаты, используемые статистические показатели. Обязательным считается указание значений статистических критериев для каждого сделанного утверждения. Конечно, результаты надо описывать грамотно. Но, на мой вкус, увлечение техническими подробностями иногда только затрудняет понимание.

5. Выводы, которые, при наличии нескольких экспериментов, делаются отдельно по каждому. Этот подпункт посвящен емкой и четкой формулировке заключения по результатам проведенного эксперимента, ответам на вопросы, которые ставились автором во введении.

Только после описания всех экспериментов автор статьи пишет общее заключение. Поразительно, но эта часть статьи относительно небольшая. Здесь автор соотносит полученные им результаты с теми, которые получены в других исследованиях, говорит о том, как описанное явление вписывается в общую теоретическую картину или теоретическую модель, проверяемую в исследовании.

К очевидным достоинствам такого подхода АРА можно отнести требование к единообразию структуры статьи, к четкости и ясности описания исследования. К часто критикуемым недостаткам относят избыточное количество несущественных формальных требований. Это особенно бросается в глаза, когда авторы углубляются в описание марки прибора, размера монитора и т.п. и делают это с такой страстью, будто именно от этого зависит полученный ими результат. Самый существенный недостаток этих требований – ориентация на характерное для «чистого (он же «ползучий», «наивный» и пр.) эмпиризма» представление: чем подробнее и безличнее излагать полученные данные, тем больше надежды на объективность полученных результатов. А ведь это представление, благодаря, прежде всего, постпозитивизму, давно кануло в Лету.

В последнее время достаточно бурно происходит обсуждение методологических требований к описанию и проведению исследований в стане отечественных психологов. Дискуссии среди петербургских психологов побудили меня создать эскиз методологического манифеста, в котором удалось изложить некоторые другие требования по сравнению с принятыми в АРА (см. Аллахвердов, 2005а).

Вот сокращенное резюме.

1. Проявления субъективизма в научном исследовании следует учитывать, а не скрывать. Чем яснее субъективная составляющая будет представлена в научных текстах, тем лучше этот текст будет пониматься и оцениваться. К сожалению, в научном сообществе принят канон безличного описания полученных результатов, призванный даже стилистически подчеркнуть, что изложенные результаты не зависят от получившего их ученого, а, следовательно, претендуют на объективность. Отсюда, например, широко распространенное недопустимо лукавое употребление в научных текстах стыдливо-загадочного авторского «мы» (особенно нелепого в конструкциях типа: «мы думаем, что …») вместо однозначно понимаемого «я». Употребление «мы» возможно, если оно направлено на стилистическое единство автора и читателя. Математики правомерно говорят: «допустим», ибо тем самым подразумевают, что мы все – и автор, и читатель – должны вместе нечто допустить.

2. Авторам следует указывать в своих текстах, насколько описываемые ими данные соответствуют имевшимся у них до начала исследования ожиданиям, а редакторам при публикации текстов следует сохранять приводимую исследователями маркировку. Так, заведомо очевидные исследователю (и читателю) эмпирические факты, призванные пояснять развиваемые в тексте идеи, должны специально маркироваться в тексте как иллюстративные. Данные, подтверждающие авторскую гипотезу, должны отмечаться как подтверждающие. Полученный же исследователем эмпирический факт, кажущийся ему настолько неожиданным, что он хочет обратить на него внимание научного сообщества, также должен в тексте специально маркироваться как неожиданный, а автор должен специально объяснить, почему этот факт показался ему неожиданным.

3. Если непосредственно наблюдаемый факт противоречит наличной системе научного знания, то его непосредственная наблюдаемость должна ставиться под сомнение до тех пор, пока не будет указано либо как совместить этот факт с имеющимися знаниями, либо как изменить наличную систему научного знания. Если ученый все-таки решается на сознательный риск и предлагает обратить внимание на факт, который, как ему кажется, в корне противоречит наличному знанию, то он должен специально обращать на него внимание научного сообщества, т.е. маркировать такой факт как аномальный.

4. Следует избегать противоречий. А потому, например, анализируя литературу по теме, нельзя (хотя это часто делается в диссертациях) в качестве обоснования ссылаться на заведомо противоречащие друг другу позиции, если, разумеется, не ставится специальная задача доказать совместимость этих позиций по данному конкретному поводу.

5. При изложении фактов не следует уделять места описанию таких деталей явления, которые не имеют ни теоретического, ни прагматического значения и никак далее не обсуждаются. Выбор того, с какой точностью описывается данный факт, а также вычленение тех или иных сопутствующих условий получения данного факта, должен сопровождаться явным или подразумеваемым указанием на соответствующие теоретические или прагматические соображения.

6. Автор должен специально проверять, не внес ли он в описание непосредственно наблюдаемого явления заметных искажений в сторону удовлетворяющей его интерпретации. Выполнение этого требования в полной мере невозможно (некоторые критики даже назвали это требование утопичным). Тем не менее оно опирается на интеллектуальную добросовестность и интуицию автора. Исследователь должен выполнять это требование столь же непреложно, как и требование описывать действительно наблюдаемые, а не придуманные им самим явления.

7. Ни классификация данных, ни утверждение о наличии или, наоборот, об отсутствии связи, ни, тем более, утверждение о тождественности чего-либо с чем-либо не могут быть обоснованы только статистическим анализом. Так, выявление статистически значимых коэффициентов в корреляционной матрице является только основанием для выдвижения гипотезы, которую надо еще независимо проверять в дополнительном исследовании.

8. Осмысленность вычислений статистических параметров не определяется используемыми математическими методами, правомерность применения математического аппарата должна специально содержательно обосновываться и проверяться. Поэтому, в частности, психодиагностические методы должны статистически подтверждаться, но не могут возникать в результате статистических расчетов.

9. Алгоритм обработки данных должен быть фиксирован до того, как получены сами данные. Если же переход к другому алгоритму приводит к более качественным результатам, то следует фиксировать новый алгоритм и ко всем новым данным далее применять уже только его. При эмпирическом обобщении данных из всех способов статистической обработки лучше начинать с самого простого. Правила последовательного усложнения алгоритма обработки данных надо тоже фиксировать заранее.

10. Индивидуальные константы могут определяться из эмпирического закона только после того, как сам закон обоснован в общем виде.

11. Любая интерпретация фактов, в том числе любое эмпири- ческое обобщение, полученное в результате статистической обработки данных, всегда является внеэмпирической интерпретацией и должно независимо проверяться. Поэтому любая гипотеза должна подтверждаться данными, отличными от тех, на основе которых она была предложена.

Все работы, представленные в этой книге, так или иначе соотносились как с требованиями АРА, так и с требованиями «Манифеста петербургских психологов». Но каждый автор был вправе принять самостоятельное решение о том, в какой степени его текст должен им соответствовать, ведь только он сам несет ответственность за сказанное.