Если вы разделите всех детей на две равные группы и дадите капсулы с плацебо одной, а капсулы с действующим веществом другой, вы сможете сравнить успехи каждой группы и посмотреть, действительно ли разница объясняется ингредиентами в пилюле или на успехи влияет сам факт приема пилюль и участия в испытании. Почему это важно? Потому что вы должны помнить: что бы вы ни делали с детьми в процессе испытания пилюли для улучшения их школьных результатов, их результаты улучшатся.
Во-первых, детские навыки совершенствуются в любом случае: они растут, время идет, и их результаты улучшаются. Вы можете считать, что вы умный, когда сидите без слюнявчика и читаете эту книгу, но ведь так было не всегда, о чем вам может рассказать ваша мама.
Во-вторых, дети — и их родители — знают, что им дают таблетки для улучшения их школьных оценок, поэтому на них будет действовать эффект плацебо. Я уже достаточно распространялся на эту тему, поскольку считаю, что настоящая научная связь между телом и разумом гораздо более интересна, чем все, что выдумывают в сообществе сторонников чудесных исцелений, и здесь достаточно напомнить, что эффект плацебо очень мощный: сознательно или бессознательно дети будут ждать улучшения, и этого же будут ждать их родители и учителя. Дети чрезвычайно чувствительны к тому, чего мы от них
ждем, и каждый, кто в этом сомневается, должен отказаться от звания родителя.
В-третьих, дети будут учиться лучше только потому, что их отобрали в специальную группу, которую исследуют, наблюдают, уделяют ей повышенное внимание: сам факт, что они участвуют в испытаниях, улучшит их учебу или будет способствовать выздоровлению от болезни. Этот феномен называют «эффектом Готорна», не по имени человека, а по названию фабрики, где его впервые наблюдали. В 1923 году Томас Эдисон (тот, что изобрел лампочку) был председателем Комитета по связи качества и количества освещения с эффективностью промышленности.
Различные отчеты промышленных компаний заставляли предположить, что лучшее освещение может увеличить производительность труда, поэтому исследователь по фамилии Деминг решил со своей командой проверить эту теорию на одном из заводов компании Western Electric, фабрике Готорна в городе Цицеро, штат Иллинойс.
Я приведу упрощенную «невероятную» версию результатов в качестве редкого компромисса между педантизмом и простотой. Когда исследователи увеличили освещенность в помещении, они обнаружили, что производительность выросла. Но когда они уменьшили освещенность, производительность также выросла. Фактически, что бы они ни делали, производительность росла. Этот результат очень важен: когда вы говорите рабочим, что они участвуют в эксперименте, который может улучшить производительность труда, а потом что-то делаете, то производительность растет. Это своего рода эффект плацебо, поскольку плацебо — это не только сахарные пилюли, это культурное значение вмешательства, которое включает, среди прочего, ваши ожидания и ожидания людей, которые что-то с вами делают.
Помимо всяких технических подробностей, мы также должны поместить результаты выпускных школьных экзаменов — собственно, то, что измерялось в этих испытаниях — в нужный контекст. В Дареме всегда была неважная статистика результатов школьных экзаменов, поэтому местный совет будет усиленно бороться за то, что может эту статистику улучшить, используя различные инициативы, дополнительное финансирование и эксперименты с рыбьим жиром.
Мы также должны вспомнить ту особую английскую традицию, согласно которой результаты школьных экзаменов улучшаются год от года. Однако любой, кто попробует утверждать, что экзаменационные задания просто становятся менее сложными, будет подвергнут критике за то, что недооценивает успехи школьников. На самом деле это упрощение становится очевидным, если мы посмотрим экзаменационные задания О-уровня сорокалетней давности и убедимся, что они сложнее, чем современные задания A-уровня, а сегодняшние задания по математике на выпускных экзаменах в университете легче, чем старые школьные А-уровня.
Итак: результаты школьных экзаменов улучшатся в любом случае; Дарем будет отчаянно пытаться повысить результаты и другими способами, и любой ребенок, который принимает пилюли, будет учиться лучше вследствие эффекта плацебо и эффекта Готорна.
Этого можно было избежать, разбив детей на две группы и давая одной группе плацебо, а другой — настоящие пилюли, чтобы отделить специфический эффект рыбьего жира от эффекта плацебо и других эффектов, описанных выше. Это могло бы дать очень полезную информацию.
Приемлемо ли вообще проводить исследования, подобные тому, которое было проведено в Дареме? Да. Вы можете провести то, что называется «открытым испытанием», без плацебо- группы, и это приемлемый вид исследований. Фактически здесь вы получили важный урок о науке: вы можете провести менее жесткий эксперимент по практическим причинам, если только вы честно говорите о том, что делаете, когда представляете свое исследование, чтобы другие люди могли сами решить, как интерпретировать ваши результаты.
Вот еще важное предостережение. Если вы проводите такое «компромиссное» исследование, без плацебо-группы, открытое, но в надежде получить как можно более точную картину пользы лечения, тогда делайте это насколько возможно тщательно, осознавая, что ваши результаты могут быть искажены ожиданиями, эффектом плацебо, эффектом Готорна и т. д. Вы можете включить детей в исследование спокойно и осторожно, сказав как бы между прочим, что проводите небольшое неофициальное исследование таблеток, но не объясняя, что вы ожидаете от этого исследования; дать им пилюли без помпы и спокойно посмотреть на результаты в конце.
То, что было сделано в Дареме, было совершенно противоположным. Операторы с камерами, звукооператоры, осветители заполнили классные комнаты. Дети давали интервью для радио, телевидения, газет; то же делали и их родители и учителя; Мадлен Портвуд (Madeleine Portwood), образовательный психолог, проводившая исследование, и Дейв Форд (Dave Ford), глава Отдела образования, всюду рассказывали о том, что они, несомненно, ожидают положительных результатов. Они делали буквально то, что, по моему мнению, гарантировало ложноположительные результаты и уничтожало малейший шанс на то, что их исследование даст значимую и полезную информацию. Как часто такое происходит? В мире диетологии, к сожалению, это стандартный протокол исследований.
Следует также отметить, что в этих испытаниях рыбьего жира измерялись трудноуловимые параметры. Успехи на школьном экзамене и поведение (слово с достаточно обширным семантическим отпечатком, если возможно таковой увидеть) — это весьма расплывчатые и переменчивые вещи. Они меняются в разные моменты, в разных обстоятельствах, в разном настроении больше, чем другие параметры. Поведение — это не уровень гемоглобина в крови, не рост и даже не интеллект.
Даремский совет и Equazen (компания — производитель пилюль) оказались настолько успешными в своем стремлении к публичности то ли благодаря неукротимому энтузиазму, то ли просто по глупости (честное слово, не знаю), что фактически саботировали свои испытания. Прежде чем хоть одна капсула была проглочена хотя бы одним ребенком, патентованная добавка Eye Q и сами испытания были широко разрекламированы в местных газетах, а также в газетах Guardian, Observer, Daily Mail, Times, Daily Express, Daily Mirror, Sun, журнале Women’s Own, на телеканалах Channel 4, BBC, ITV и многих других средствах массовой информации. Никто не мог сказать, что дети не были хорошо подготовлены[22].
Вы не являетесь образовательным психологом. Вы не глава отдела образования в местном совете. Вы не доктор медицины с многомиллионным бизнесом по производству пилюль, проводящий огромное число испытаний. Но я совершенно уверен, что вы хорошо понимаете всю эту критику и озабоченность, поскольку это все-таки не строительство летательных аппаратов.
Дарем защищается
Будучи человеком наивным и открытым, я пошел к людям, проводившим испытания, и сказал им, что они сделали все, чтобы гарантировать бесполезные результаты. Это то, что сделал бы любой в академической среде, и в конце концов это были испытания. Их ответ был прост. «Мы выразились совершенно ясно, — сказал Дейв Форд, инициатор проекта. — Это не испытания».
Неубедительно. Я уличаю их в том, что они проводят плохо спланированные испытания, и вдруг оказывается, что все о’кей, потому что на самом деле это не испытания. Были и другие основания считать защиту несостоятельной. Ассоциация прессы называла это испытаниями. Газета Daily Mail называла это испытаниями. Channel 4, ITV и все остальные очень четко представляли это как исследования (можете посмотреть клипы на сайте badscience.net). Да и сам Даремский совет в своем пресс-релизе называл это «исследованием» и «испытанием» неоднократно[23].
Они давали что-то детям и измеряли результаты. Эту деятельность они сами называли испытаниями. Теперь они говорят, что это были не испытания.
Я обратился в Equazen, компанию-производитель, которую до сих пор хвалят в прессе за участие в этих испытаниях, которые должны были почти гарантированно — благодаря методологическим недостаткам, которые мы уже обсудили, — дать ложноположительные результаты. Адам Келлихер (Adam Kelliher), президент компании, разъяснил, что это была «инициатива». Это были не «исследования» и не «испытания», поэтому я не мог критиковать их как таковые. Хотя трудно игнорировать тот факт, что в пресс-релизе Equazen говорилось о том, что будут даваться капсулы и измеряться результаты, и слово, которое компания использовала для описания этого мероприятия, звучало как «испытания».
Доктор Мадлен Портвуд, проводящая исследование, называла это испытаниями (дважды — в газете Daily Mail). Все описывали это как исследование. Они давали «X» и измеряли «Y». Они называли это испытаниями, это и были испытания — но очень глупые. То, что они просто сказали: «Это не испытания», я не счел ни адекватной, ни слишком взрослой защитой. Они, похоже, даже не считали, что испытания необходимы, и Дейв Форд объяснил, что уже есть доказательства того, что рыбий жир полезен. Давайте посмотрим.
