Анализ данных повторных и сравни­тельных исследований

 

Различают несколько видов повторных и сравни­тельных эмпирических исследований [80, 252, 251].

(1) Международные и межрегиональные, цель кото­рых — выявление общего и специфического в изучае­мых социальных процессах и явлениях, где последнее обусловлено особенностями социально-экономической природы, культуры, истории отдельных стран или осо­бенностями условий и образа жизни населения раз­личных регионов одной страны.

(2) Панельные повторные исследования, проводи­мые по единой программе на той же самой выборке об­следуемых и с использованием единой методики и про-цедур анализа данных. Это наиболее формализованный вид сравнительных исследований с определенным вре­менным интервалом, их цель — анализ динамики, изме­нений в изучаемых аспектах.

(3) Повторные когортные исследования — особая разновидность панельных, отличающиеся тем, что выбо­рочный объект — возрастная группа, изучаемая на про­тяжении достаточно длительного времени. Термин "ко­горта" заимствован из демографии, им обозначают лю­дей одного поколения (и более строго — одного года рождения), прослеживают, как с течением времени ме­няются условия и образ жизни данной когорты, их ин­тересы и образ мыслей [36, 270].

(4) Повторные трендовые исследования, которые проводятся на аналогичных выборках или в рамках единой генеральной совокупности с интервалом во вре­мени и с соблюдением относительно единой системы процедур для того, чтобы установить тенденции (тренды) социальных изменений.

Общие правила, предъявляемые к сравнительному и повторному исследованию. Все разновидности повтор­ных и сравнительных исследований предполагают¹⁸:

¹⁸ Панельные и когортные исследования называют также генети­ческими, а трендовые — псевдопанельными. Все повторные исследова­ния могут быть отнесены к "диахрониим", в отличие от разовых — синхронных. В психологии и этнологии длительное изучение одной со­вокупности лиц называют "лонгитюдным" исследованием (от английс­кого "Longitude" — протяженный), а в педагогике — монографическим изучением (всесторонним описанием) одного объекта — коллектива, семьи, отдельных индивидов, например, личности учащегося.

 

во-первых, соблюдение требований сопоставимости двух и более разовых обследований, будь то сравнение данных по разным странам и регионам или выявление тенденций и сдвигов во времени при анализе одного или аналогичных социальных объектов;

во-вторых, обоснование существенности или несущественности различий по сравниваемым показа­телям в качественном и количественном аспектах.

С формальной точки зрения при сравнении эмпири­ческих данных должны соблюдаться следующие прави­ла, необходимые в логике экспериментального анализа:

(1) два состояния одного процесса сопоставимы, если они содержат хотя бы одно общее свойство или показатель;

(2) ни один фактор не может быть признан причи­ной сравниваемых явлений, если в одном случае при регистрации изучаемого явления он имеет место, а в другом — нет (правило согласия Милля);

(3) вместе с тем данный фактор не может быть при­чиной изучаемого явления, если в одном случае (иссле­довании) он имеет место, а само явление не фиксируется, хотя в другом случае (исследовании) дело обстоит так, что регистрируются и явления, и данный фактор (пра­вило различия);

(4) наконец, некий фактор (условие, обстоятель­ства...) не может достоверно считаться определяющим в отношении изучаемого процесса, если в другом случае (в другом исследовании) наряду с ним изучаемому про­цессу сопутствуют другие факторы [377. С. 267].

Эти логические правила, напоминающие нам о стро­гости экспериментального вывода, нельзя игнорировать. Но проблемы сравнительного анализа никоим образом не сводятся к формальным процедурам. Это прежде все­го — область содержательного, вдумчивого изучения и только затем — формально-количественной оценки су­щественности различий. В каких именно аспектах со­поставимы и в каких — несопоставимы для сравнения изучаемые объекты, каковы ограничения сопоставимос­ти по объективным условиям, по составу и выборке об­следуемых, по выделенным показателям?

Особые трудности возникают в международных сравнительных исследованиях, где даже при соблюдении всех формальных правил единства методик исследова­ния и выборки возникают проблемы, связанные с разли­чием образа жизни, культуры, восприятия и реакции людей на одни и те же "стимулы" (например, вопросы анкеты). В разных странах различны стандарты благо­состояния, системы образования, социально-профессио­нальные "дистанции", социальная структура, характер социальных отношений, мировоззрение и идеология, культура, ее стереотипы, весь уклад жизни.

При интерпретации данных межнациональных (международных) исследований воздействие социально-экономических и социально-культурных факторов, ко­нечно, выдвигается на первый план. Но в методическом аспекте такое воздействие может быть аккуратно фик­сировано при условии, что уже в разработке инструмен­тария исследования качественные различия между стра­нами приняты во внимание и на стадии пилотажа мето­дик были предприняты соответствующие коррекции всех инструментов исследования. С этой целью произво­дят аккуратное сопоставление главных параметров вы­борок: отнесение к социальной группе, выравнивание по уровню образования, другим подобным показателям социального статуса, а затем осуществляют утомитель­ную работу по идентификации методик, особенно опрос­ных. В последнем случае социально-культурные разли­чия респондентов могут радикальнейшим образом по­влиять на сопоставимость результатов межнационально­го исследования.

В межрегиональных исследованиях крайне важно принимать во внимание всю доступную из имеющейся статистики информацию об особенностях экономичес­ких и социальных условий жизнедеятельности населе­ния в сравниваемых регионах; сведения о производ­ственном потенциале и развернутости инфраструктуры, о различиях в уровне заработной платы и прожиточно­го минимума, о положении с трудовыми ресурсами и сведения о миграционных потоках, национальном соста­ве и общей плотности населения и т. д.

Так, в одном из исследований, где выяснялись регио­нальные различия в отношении рабочих к труду с уче­том особенностей условий и образа жизни (Ленин­град — Барнаул, исследование В. Мартыновой), обнару­жилось, что иркутские рабочие в общем более удовлет­ворены теми аспектами производственной ситуации, ко­торыми ленинградцы менее довольны. Анализ конкрет­ной социальной ситуации в двух городах убедил в том, что в Барнауле намного меньше возможности выбора места работы (отсюда меньше текучесть, больше "терпи­мость" к данным условиям труда на данном производ­стве), существенно выше ставки заработной платы, ниже показатели общей квалификации при выполнении ана­логичных функций на рабочем месте; в общем, можно сказать, что притязания работников к условиям труда существенно более умеренны. При "прямом" же сравне­нии можно было заключить, что, судя по оценкам удов­летворенности, ленинградцы находятся в худшем поло­жении, что, учитывая сказанное, сомнительно.

В повторных и сравнительных исследованиях любо­го типа возникает вопрос об идентичности или сопос­тавимости методик сбора первичных данных. В меж­национальных и межрегиональных исследованиях обычно используют единую методику. Иногда для той или иной страны (региона) к ней добавляют "вкла­дыш", т. е. дополнительные пункты информации, связан­ные с особыми условиями деятельности в данном регио­не и особыми научно-практическими интересами орга­низаторов исследования, заинтересованных в дополни­тельных данных по своему региону, своей стране.

В повторных исследованиях дело осложняется тем, что с течением времени возникают новые явления и процессы, новые социальные проблемы, которые заранее не могли быть предвидены. Следовательно, методики "базового", т. е. первого, обследования не могут полнос­тью и без изменений использоваться в повторных. Но тогда неясно, можно ли сравнивать данные, полученные разными методами.

Решение проблемы состоит в том, что часть полевых документов полностью повторяет инструментарий базо­вого обследования, а другая — вводится заново.¹⁹

¹⁹ Можно рассчитать коэффициент прямой сопоставимости дан­ных в повторных исследованиях: Kn=ff/N_l 100%, где N — число пунк­тов информации, общих для двух исследований, a N_l — число таких пунктов в бааовом или предыдущем исследовании. Под пунктами ин­формации имеются в виду, например, вопросы анкетного листа, смысло­вые единицы контент-анализа, шкалы для регистрации данных наблю­дения и т. п. [81].

 

Напри­мер, при повторном обследовании отношения молодых рабочих к труду мы полностью повторили все пункты информации базового обследования, добавив немало но­вых, связанных с особенностями быта, внепроизводствен-ной активности рабочих, их целостного образа жизни. Устанавливая прямые связи между новыми показателя­ми и показателями, имеющимися в обоих исследованиях, мы даем более широкую интерпретацию этим послед­ним. Естественно, такая интерпретация правомерна при­менительно к повторному обследованию, но с определен­ным допущением ее можно распространить и на базо­вое. Правда, в этом случае нужны дополнительные ак­куратные проверки и перепроверки устанавливаемых зависимостей, построение анализа по логике мысленного эксперимента.

Напомним, что, поскольку порядок вопросов в анке­те влияет на характер ответов респондента, все пункты информации, копирующие базовую методику, должны располагаться в начале опросного листа повторного об-следования, а новые — следом за ними. Таким путем сохраняется возможность прямого сопоставления дан­ных, фиксированных единой процедурой.

Наилучшая сопоставимость данных достигается а случае, если уже при осуществлении первого исследования авторы планируют повторные. Так организовали свою работу новосибирские социологи [94. С. 121 — 129]. Заранее предполагается развитие общей кон­цепции исследования, и оставляются открытыми некоторые методические вопросы будущих обследова­ний, используются не прямые сопоставления но срав­нения гипотетических структур, относительно инвариантных в разных обследованиях пользуются не прямыми индикаторами, а комбинированными (струк­турными, индексными) показателями.

Наиболее простой способ — буквальное повторение вопросов и вариантов закрытий каждого из них. Такого рода опросы в режиме мониторинга особенно важны для изучения социальных процессов в условиях реформиро­вания экономики и общественно-политической жизни общества²⁰.

²⁰ Классический пример — опросы Всероссийского центра изуче­ния общественного мнения, начатые в 1967 г. под руководством Т.Н.Заславской и интенсивно развиваемые ее преемником Ю. А. Ле­вадой. Ежемесячник "Экономические и социальные перемены: монито­ринг общественного мнения" публикует трендовые таблицы и диаг­раммы, аналитические статьи по итогам мониторинга. Издается с 1993 г. см. [300]).

 

Существенно сложнее процедуры обоснова­ния сопоставимости данных, полученных разными ав­торами и в разное время. Для этого используются доста­точно сложные приемы вторичного анализа исходной информации, которая предварительно преобразуется так, что в итоге один показатель в разных исследованиях описывается различными индикаторами.

Особый вопрос — определение интервала времени, в рамках которого целесообразны сравнительные иссле­дования. Этот интервал определяется в "масштабе" изу­чаемых социальных процессов. В случае оценки органи­зационных нововведений повторное обследование прово­дится по схеме эксперимента "до—после" вскоре после реализации нововведения. В случае изучения социольных тенденций (трендовые исследования) "масштаб" сопоставления должен быть увеличен в зависимости от проблематики исследования. Важно, однако, выдержи­вать более или менее единый интервал времени или же использовать неравные интервалы, но связанные с каче­ственными изменениями в экономических и соци­альных условиях деятельности людей. Например, пере­ход к рыночной экономике, период социально-эко­номического кризиса требует сокращения интервалов с опорой на "пороговые точки" (отпуск цен, активная приватизация, резкое повышение или падение спроса на рабочую силу, политические потрясения и т. д.). Так, в нашем мониторинге изучения сдвигов социальных идентификаций российских граждан начиная с 1992 г. до 1994 г. мы соблюдали 3™6-месячные интервалы и обнаружили лишь одну "пороговую" зону (политичес­кий кризис осенью 1993 г. с использованием оружия со стороны лидеров Думы и Президента). Четыре последу­ющих "замера" существенных сдвигов не выявили. Сле­довательно, интервал может быть увеличен, что и было сделано: 1,5—2 года вместо 6-ти месяцев [308].

Оценка существенности различий в сравнитель­ном или повторном обследовании представляет собой довольно сложную и ответственную задачу методологи­ческого и методического характера. С методологической точки зрения она состоит в содержательном осмысле­нии и интерпретации "меры" различия изучаемых каче­ственных процессов. Ведь философская категория меры относится к качественно-количественной определеннос­ти явлений. Накопление количественных изменений ве­дет к качественному сдвигу. Но где тот предел, за кото­рым мы вправе говорить о существенном, качественном сдвиге?

В работах некоторых социологов можно часто встре­тить выражения: "Лишь столько-то процентов опрошен­ных сообщили, что..." или "Однако более чем столько-то процентов активно участвуют в такой-то деятельности". Слова "лишь" и "однако" указывают на социальную и нравственную позицию исследователя. Он тем самым дает понять, что в первом случае имеют место явления негативные, а во втором — позитивные. Между тем сле­дует привести убедительные основания для оценки. В одном случае различие в 2—3% (если они статистичес­ки значимы) может быть существенно, в другом — и 20% расхождений практически еще не говорят о суще­ственности сдвига. От каких факторов зависит оценка существенности различий?

(1) Прежде всего — от содержания изучаемых про­цессов, их "собственной" внутренней динамики, меры устойчивости и изменчивости данного процесса и явле­ния. Различные проявления повседневной жизнедея­тельности в решающих компонентах их целостного об­раза- жизни, обладают относительно высокой устойчи­востью. Изменения в этих видах деятельности не могут происходить, что называется, ежечасно и ежедневно. По­этому даже небольшие сдвиги и различия будут здесь важны и в принципе существенны для социального ана­лиза. Изменения во взглядах и системе ценностей должны оцениваться в ином "масштабе".

(2) Существенность различий зависит также от со­циальной значимости изучаемого явления. Чем больше значим данный процесс, тем более существенны даже малые изменения и различия, чем он менее значим для жизни общества или функционирования данного соци­ального института, организации и т.д., тем шире будет диапазон вариаций, в рамках которых мы можем пола­гать явления существенно не различающимися.

(3) С формально-статистической точки зрения суще­ственность различий в фактических данных прямо за­висит от численности сравниваемых подвыборок (чем меньше выборки, тем большие различия могут оказать­ся несущественными вследствие величины выборочной ошибки) и от величины ошибки фиксирования первич­ных данных.

Вспомним, что абсолютно точных измерений мы ни­когда не достигаем. Все данные фиксируются с опреде­ленной погрешностью, связанной и с природой изучае­мого процесса, и с особенностями инструмента измере­ния, и с ошибкой выборки, и с субъективными ошибка­ми исследователя. Значит, существенные различия срав­ниваемых в численном выражении данных должны неп­ременно перекрывать величину ошибки, имевшей место при их первичной регистрации. Но так как в сравни­тельных и повторных исследованиях мы имеем дело с удвоенной ошибкой измерения первичных характерис­тик (в одном и другом обследованиях), логично предпо­ложить, что существенный сдвиг фиксируется тогда, когда его величина перекрывает ошибку первичной ре­гистрации.

Предлагается (Г. И. Саганенко) следующая формула [233. С. 167—168], в которой учитывается Я — абсолют­ный сдвиг (различие) в двух сопоставляемых состояни­ях одного показателя (например, удовлетворенности сво­ей жизнью в двух интервальных обследованиях), aj — мера устойчивости измерения данной характеристики в первом исследовании (или в одном из сравниваемых исследований), Л^ — мера устойчивости измерения той же характеристики во втором (в другом) обследовании. Тогда существенным следует признать сдвиг (разли­чие), отвечающий формуле:

|λ| = |∆I| - |∆II| > o

где разность ошибок двух измерений должна быть выше нуля, т. е. перекрывать ошибки двух измерений.

Если в обоих исследованиях используется один и тот же инструмент и если мы вполне основательно пред­полагаем, что ошибка измерения зависит главным обра­зом от инструмента, то достаточно воспользоваться по­казателем ошибки регистрации данных в повторном (или в одном из двух) исследовании и преобразовать формулу следующим образом:

|λ| - 2 |∆| > О

где постулируется, что значимая ошибка вдвое перекры­вает ошибку первого замера.

Приведем пример. В трехбалльной шкале мы фиксирова­ли отношение рабочих к различным сторонам труда в 1962 и 1976 гг. Такой аспект производственной ситуации, как при­влекательность работы, был зарегистрирован с ошибкой 0,3 балла, что вполне удовлетворительно, ибо составляет лишь V₃ деления трехбалльной шкалы и не перекрывает соседние ее градации.

Групповой, т. е. систематический, сдвиг в оценках одной из подвыборок обследованных (рабочие старших возрастов) со­ставил в интервале 14 лет 0,7 балла, т. е. почти укладывается в пределы сдвоенной ошибки первого замера (0,372=0,6). Но аналогичные сдвиги по группам молодых рабочих оказались намного выше, различия в сдвигах отношения к привлекатель­ности работы между молодыми и рабочими старших возрастов также были достаточно существенны. Значит, в истекший пе­риод в данном аспекте менялось отношение к работе молоде­жи 60-х гг. (во втором обследовании это уже рабочие за 40 с лишним лет), но установки рабочих, которым 15 лет назад было больше 30, остались стабильными. (Кстати, это еще раз указывает на то, что в подобных аспектах жизнедеятельности сдвиги происходят медленно. Правда, мы имели дело с "застой­ным" периодом жизни общества. В реформируемом обществе такие сдвиги имеют более короткие временные интервалы.)

Эти весьма строгие статистические критерии рекомен­дуется использовать в тех случаях, когда оценивается су­щественность различий в малых выборках или же сдвиги в индивидуальных состояниях обследуемых при панель­ных, когортных и подобных исследованиях. На больших выборках, в трендовых исследованиях, где индивидуаль­ные ошибки погашаются по закону больших чисел, мож­но расширить и критерий существенности различий, взяв лишь V₃ ошибки первичной регистрации данных, т. е.

|λ| - 1\2 |∆| > О

При отсутствии сведений об ошибке первичного из­мерения (это часто имеет место в сравнительных исследованиях, если мы используем данные других авторов) существенными можно полагать различия, где как ми­нимум перекрываются ошибки выборки. Последние же рассчитываются по формулам выборочных ошибок.