Метаанализ

 

Прежде в целях интеграции данных составлялись нарративные сборные рефераты, в которых более или менее полно (это зависело от скрупулезности составителя) была представлена соответствующая литература. Благодаря использованию банков данных степень этой произвольности снизилась и литературу можно обрабатывать систематически. Помимо систематического использования банков данных добавились статистические методы обработки результатов, благодаря чему в распоряжении появился новый метод обработки литературы, который называется метаанализ (англ. Meta-analysis)(понятие Glass: Lipsey & Wilson, 1993). В метаанализе вся имеющаяся литература систематически оценивается с помощью статистических методов. Метаанализ применяется не только в исследовании клинико-психологических интервенций, но и в других, самых разных областях науки. Если первичный (оригинальная оценка) и вторичный анализ (расширенная оценка данных первичного анализа) — предмет отдельных исследований, то в метаанализе интегрируются данные нескольких работ (Fricke & Treinies, 1985). Метаанализ может осуществляться по-разному и не является унифицированным методом (см. Lipsey & Wilson, 1993; Rosenthal, 1995). Тем не менее этот метод протекает по общей схеме, как можно видеть из табл. 20.5.

 

Таблица 20.5. Методика метаанализа (по Fricke & Treinies, 1985; Grawe et al., 1994; Köhnken, Seidenstücker & Baumann, 1979; Lösel, 1987; Rosenthal, 1995; Wittmann & Matt, 1986)

(1) Формулирование вопросов исследования, на которые должен ответить метаанализ

Пример. Каково соотношение между эффективностью психотерапии и эффективностью медикаментозной терапии при депрессивных расстройствах?

(2) Поиск литературы

(2.1) Определение искомых понятий: исходные критерии

Пример: (1) психотерапевтическое исследование, (2) медикаментозная терапия и (3) депрессивные расстройства

(2.2) Стратегия поиска (как правило, поиск литературы при помощи компьютера)

Пример. PsyINFO / PsycLIT, PSYNDEX, MEDLARS и т. д.

(2.3) В случае необходимости — отбор найденной литературы на основе других критериев

Пример. Число пациентов в лечебной группе должно быть больше, чем X

(3) Разработка системы описания (системы кодирования, системы рейтинга) отдельных работ

(3.1) Структура (содержание) работы (здесь: для психотерапевтических работ; см. также табл. 20.4)

Пример. Библиографические указания; планирование экспериментов (факторы, временнАя сетка и т. д.); сведения о психотерапевтах, пациентах, интервенциях; инструменты для измерения процесса и успеха; статистика и т. д.

(3.2) Квантификация результатов исследований

Пример. Классифицирование значимых результатов (изменение р<0,05: +; р>0,05: -); вероятности (In-Funkion);сила эффектов (d, r и т. д.) с доверительным интервалом и т. д.

(3.3) Оценка работы (главным образом — валидность по Куку и Кемпбеллу: внутренняя, внешняя, статистическая валидность, валидность конструкта)

Пример. Профиль качества (Grawe et al., 1994); клиническая релевантность, внутренняя валидность, качество информации, осторожность при интерпретации, содержательность измерения, качество и содержательность итоговой оценки, содержательность результатов, релевантность индикации

(4) Проверка единодушия в оценках относительно системы описания (в случае необходимости — ревизия)

(5) Оценка отдельных работ по системе описания

(6) Обработка данных

Пример. Суммирование значений вероятности (суммирование, In -функция и т. д.); средняя сила эффекта; связь данных структуры и данных оценки с силой эффекта (например, обладают ли исследования с более опытными психотерапевтами более высокой силой эффекта, чем исследования с неопытными психотерапевтами)

(7) Представление результатов и интерпретация

(8) Документация (особенно список использованных работ; при необходимости — обзорные таблицы по отдельным работам, включающие наиболее важные параметры)

 

Для каждого пункта предлагается часто несколько разных решений. Особое значение имеет квантификация результатов исследований с привлечением таких параметров, которые не зависят от масштаба отдельных признаков, благодаря чему можно сравнивать разные работы. Нередко в качестве такого параметра берется сила эффекта ES, базирующаяся на коэффициентах корреляции или d -коэффициенте; при этом различные подходы можно переводить один в другой (Fricke & Treinies, 1985):

Сила эффекта ES (effect size): d =(MT - MK) / SK,

где MT, MK — средние значения по окончании терапии в терапевтической группе (T) и контрольной группе (K);

SK — стандартное отклонение контрольной группы в конце терапии.

За масштаб сравнения берутся контрольные группы без лечения или получавшие незначительное лечение. Сила эффекта может быть малой (d = 0,20), средней (d = 0,50) и большой (d = 0,80). При нормальном распределении послетестовых значений сила эффекта в d = 0,85 (значение по Smith, Glass & Miller, 1980) означает, что некий средний индивид (процентный ранг PR = 50) в результате терапии достигает значения критерия PR = 80 (z = 0,85), что говорит об однозначном улучшении. В этой методике предлагаются разные способы вычисления и разные статистические проверочные тесты для силы эффекта (Lipsey & Wilson, 1993). Если контрольной группы нет, можно вычислять силу эффекта на лечебную группу и сопоставлять их: (М_пре - М_пост) / S. М_пре — среднее значение в начале терапии; М_пост — среднее значение в конце терапии; S — распределенное стандартное отклонение предтестовых значений всех лечебных групп (Grawe et al., 1994).

Метод метаанализа вызвал острые дискуссии между его сторонниками и критиками (о критике см. Lösel, 1987). Критикуют метаанализ, в частности, по следующим пунктам: нельзя обобщать исследовательские работы, качественно различающиеся с методической точки зрения; в рамках отдельного исследования данные зависят друг от друга, поэтому на работу можно вычислить только одну-единственную среднюю силу эффекта; терапевтические методы различаются по количеству и выбору способов исследования, что приводит к проблемам при сопоставлении; в метаанализе не учитываются данные процесса и работы по изучению отдельных случаев. Все эти аргументы против метаанализа, конечно, имеют вес, и все же они не являются принципиальными. Как видно из дискуссий по поводу результатов метаанализов (Grawe, Donati & Bernauer, 1994), метаанализ — как и любое эмпирическое исследование — можно подвергнуть критике в разных плоскостях. Но особенно обостряются эти дискуссии, когда речь заходит о мероприятиях политики в сфере здравоохранения, базирующихся на метаанализе.

Обобщая, можно сказать, что метаанализ играет важную роль и в оценке клинико-психологических интервенций. Прежде всего он предоставляет описания, но может и доказывать различия в эффективности разных форм терапии. Однако различия оцениваются — и это относится ко всем статистическим важным вопросам — в зависимости от конвенций (альфа-риск и т. д.), и наряду со статистической значимостью необходимо учитывать и клиническую значимость. Поэтому при оценке терапевтических методов нельзя ориентироваться исключительно на метаанализ; здесь нужны и другие подходы.

 

6.2. Нормативные методы: каталоги критериев, рекомендации по лечению

 

Для оценки терапевтических методов Американской психологической ассоциацией (Task Force АРА, 1993) был предложен каталог критериев с целью проверки: насколько тот или иной терапевтический метод валидизирован эмпирически (empirically validated treatments). При этом выделяют «терапевтические методы с хорошо доказанной эффективностью» и «вероятно эффективные терапевтические методы». Речь здесь идет о нормативном методе, основанном на эксплицитных правилах, сформулированных для оценки интервенций. Для предиката «хорошо доказанная эффективность» требуются по меньшей мере два основательных исследования групп, выполненных разными исследовательскими группами, или большое число экспериментальных работ по изучению отдельных случаев; и в первом и во втором случаях исследования должны удовлетворять определенным сформулированным методическим критериям качества. Так, например, в исследованиях групп эффективность данной терапии должна оказаться лучше, чем при каком-то другом лечении или плацебо-терапии.

Существенно также, что исследуемые формы терапии базируются на руководствах по психотерапии. Нередко такого рода пособия рассматриваются как неадекватные ограничения для психотерапевтов. Против этого можно возразить, что в конечном итоге любая форма терапии нуждается в возможно более точном описании соответствующего образа действий; в этом отношении руководства по психотерапии составлены в эксплицитной форме. Руководства по психотерапии могут относиться к разным направлениям (например, межличностная, поведенческая, психодинамическая психотерапия; см. Task Force АРА, 1993). Психотерапевтическое лечение может иметь разную разрешающую степень, в зависимости от того, что оно предлагает: структуру отдельного сеанса или более всеобщие указания для конкретного образа действий. Руководства по психотерапии не обязательно являются гарантией, что в отдельных формах терапии осуществляются на деле требуемые концепции; поэтому для исследования терапии очень важна проверка на верность концепции (верность руководству; treatment integrity), иными словами — в какой мере требуемые терапевтические концепции осуществляются на деле.

Стоит упомянуть, что критерии, предлагаемые Американской психологической ассоциацией, — это эксплицитные критерии, и что при определенных условиях исследования отдельных случаев можно считать эквивалентными исследованиям групп. Эта точка зрения до сих пор не принималась во внимание при метаанализе. Экспертная группа отдает себе отчет в произвольности этих критериев, но, базируясь на существующих знаниях, обосновывает их формулировку и предлагает перечень психотерапевтических методов, удовлетворяющих выдвинутым критериям. Понятно, что такого рода перечни нуждаются в постоянной актуализации и пересмотре (ср. фаза IV), поэтому подобный «знак качества» нельзя выдать на неограниченное время (о контроверзе см. Kazdin, 1996a).

Если критерии, предложенные Американской психиатрической ассоциацией, ориентированы на методы, то опубликованные ею же (1993, 1997) Practice Guidelines (рекомендации по лечению) ориентируются на расстройства, т. е. они представляют собой указания на апробированные формы лечения при конкретных расстройствах. Эта информация включает критерии лечения (по терминологии, используемой в гарантии качества, — см. главу 19), которые иногда могут возрастать до стандарта лечения. Со стороны психотерапевтов эти рекомендации иногда подвергались критике: мол, они крайне односторонние и ориентируются на медикаментозную терапию (Persons, Thase & Crits-Christoph, 1996). Предполагается, что рекомендации по лечению должны составляться компетентной экспертной комиссией, члены которой тщательно просматривают имеющуюся литературу и на этом основании дают рекомендации. Важно, чтобы эти органы были широкими по своему составу, т. е. чтобы в них входили и клинические психологи/психотерапевты; тогда можно будет давать различные оценки разных подходов (ср. American Psychologist, 1994). Рекомендации по лечению можно отнести к пограничной области между фазами III и IV на том основании, что в них всегда следует учитывать результаты исследования в фазе IV (практический контроль). Таким образом, рекомендации по лечению способствуют также гарантии качества.