Анализ результатов и обратная связь

Искусство точных прогнозов

Пол Шумейкер, Филип Тетлок

ПРИНЯТИЕ РЕШЕНИЙ

Август 2016

Распечатать

Представьте себе, что у вас появилась возможность научить вашу фирму составлять гораздо более точные ­прогнозы, чем сейчас. Для этого сначала надо изучить, ­насколько ­ненадежны ее нынешние прогнозы и насколько непрофессиональны люди, которые их делают.

Именно так поступили американские спецслужбы — и получили поразительные результаты. В октябре 2002 года Национальный совет по разведке опубликовал официальное заключение: у Ирака есть химическое и биологическое оружие и он активно производит оружие массового поражения. Конечно, оказалось, что все совершенно не так. Потрясенный своей неудачей, этот орган разведывательного сообщества США, состоящий из 17 госучреждений, содержание которых обходилось в $50 млрд, взялся выяснить, как впредь избежать подобных провалов, понимая, что по ходу дела вскроются вопиющие недостатки в его работе.

Так на свет появилась программа исследований, которая предусматривала проведение многолетнего турнира по составлению прогнозов Good Judgment Project (его соруководителем был один из авторов этой статьи Филип Тетлок). После нескольких раундов — тысячи любителей выступали против опытных аналитиков разведслужб — вырисовались три занятных вывода. Во-первых, прогнозы талантливых эрудитов, как правило, точнее, чем у специалистов. Во-вторых, лучшая подготовка обеспечивает более качественные прогнозы. И в-третьих, грамотно управляемые группы работают лучше отдельных специалистов. Это очень важные выводы для организаций, которым приходится прогнозировать то, что трудно предсказать: например, чем конкурент ответит на новый продукт, какой доход принесет реклама и как покажут себя в деле претенденты на те или иные должности.

Наш метод — речь идет о развитии у организации постоянно совершенствующейся способности к прогнозированию — не подборка проверенных временем рецептов. В нем много новых правил, их совсем недавно применяют в бизнесе. Но, как показывают наши исследования, пользуясь ими, руководители могут обнаружить в своих компаниях способных прогнозистов и научить их делать более точные прогнозы.

Идея коротко

Проблема

Как известно, и организации, и отдельные люди плохо оценивают вероятность малопредсказуемых событий. Обычно на качестве прогноза сказываются установки его составителей, их желание оказывать влияние на других и боязнь подмочить свою профессиональную репутацию. И конечно же, неверные прогнозы могут иметь серьезные последствия.

Исследование

На основе результатов исследования, в котором участвовали 25 тысяч человек, составивших 1 млн прогнозов, авторы определили несколько методов, повышающих прогностическую способность компаний: обучение основам статистики и теории когнитивных искажений; обсуждение прогнозов в командах; наблюдение за качеством работы и критическое ­обсуждение результатов.

На практике

Чтобы научиться составлять более точные прогнозы, компаниям нужно в реальном времени следить за тем, как лучшие группы их специалистов делают выводы, какие основополагающие допущения они делают, какими источниками информации пользуются, какие происходят внешние события и т. п. Секрет успеха состоит, в частности, в том, что надо требовать частые и точные прогнозы и оценивать их точность.

Найти золотую середину

И организации, и люди плохо оценивают вероятность событий, которые трудно предвидеть, об этом однозначно говорят исследования. Понятно, что неправильные выводы чреваты самыми серьезными последствиями. В 2007 году Стив Бэлмер заявил, что «у iPhone нет шансов получить значимую долю рынка» — и в Microsoft не стали разрабатывать альтернативные сценарии. Но хотя бы минимальное повышение качества прогнозов дает фирме конкурентное преимущество. Компания, не ошибающаяся в трех предсказаниях из пяти, будет все дальше отрываться от конкурента, у которого верны только два прогноза из пяти.

Прежде чем рассуждать о том, как преуспеть на ниве прогнозирования, мы расскажем, оценки какого типа легче всего совершенствовать, а на какие вообще нет смысла тратить силы. Какой толк от заранее известных или невыполнимых прогнозов? Понятно ведь, где, например, будут стрелки ваших часов через пять часов. С такой же вероятностью страховые компании рассчитывают страховые премии на основе обновляемых таблиц смертности. Если что-то можно очень точно предсказать с помощью эконометрических инструментов и методов научной организации производства, то развитие навыков субъективной оценки выигрыша не даст. Данные говорят сами за себя.

На другом полюсе у нас — вопросы сложные, плохо изученные, трудно определяемые количественно, например формирование облаков в конкретный день или дата очередного появления прорывной технологии в Силиконовой долине. В таких случаях тоже глупо тратить ресурсы, чтобы совершенствовать оценки: на эти вопросы едва ли можно дать ответы.

Компаниям стоит сосредоточиться на прогнозах, для составления которых нужно несколько ингредиентов: данные, логика и аналитика, тщательные исследования, расспросы и выводы экспертов. Это и есть та самая золотая середина. Чтобы предсказать коммерческий потенциал лекарства, проходящего клинические испытания, нужны и опыт научной работы, и деловое чутье. Специалисты, которые дают заключение о намеченных для поглощения бизнесах, пользуются официальными моделями количественной оценки, но им надо еще учитывать важные моменты: впишется ли корпоративная культура нового предприятия в вашу, есть ли взаимопонимание между руководителями, насколько вероятно, что удастся получить предполагаемую синергию.

Вот, например, что произошло с одним британским банком. В начале 1995 года он ссудил деньги американским кабельным компаниям, акции которых сначала росли в цене, а затем резко подешевели, — и понес большие убытки. Директор по кредитам провел расследование ошибок, совершенных при предоставлении кредитов, проанализировал типы этих кредитов, характеристики клиентов и менеджеров банка, причастных к кредитам, их интересы и другие факторы. Он оценил «плохие» кредиты по каждому фактору и проанализировал, какие из них лучше всего объясняли разницу в объеме потерянных денег. К самым большим убыткам, как выяснилось, привели неточности в оценке платежеспособности заемщиков. Поэтому ссуды получили клиенты с шатким финансовым положением или те, что раньше не пользовались услугами банка, — а тут-то как раз и требовались профессиональные знания и точная оценка. Банку удалось выправить свою работу, что положительно сказалось на финансовых результатах и позволило минимизировать убытки.

Отталкиваясь от нашего исследования и опыта консультирования, мы определили методы, благодаря которым руководители могут повысить качество прогнозов золотой середины. Наши советы таковы: развивать способности к прогнозированию надо, обеспечив подготовку, обсуждение прогнозов в коллективе, оценку их качества и быструю обратную связь. Конечно, мы говорим об общих правилах, их надо корректировать с учетом особенностей каждой организации, и они могут меняться по мере того, как становится ясно, что и когда попадает в цель.

Good Judgment Project

В 2011 году Филип Тетлок и Барбара Меллерс из Уортона начали Good Judgment Project. Цель проекта они ­определили так: бывает ли врожденная способность к прогнозированию и нельзя ли улучшить качество прогнозов. GJP был одной из пяти научно-исследовательских групп, которые участвовали в турнире, устроенном IARPA (Intelligence Advanced Research Projects Activity). В ходе этих соревнований прогнозисты должны были давать ответы примерно на те же экономические и геополитические ­вопросы, какие американские спецслужбы ставят перед своими аналитиками.

Турнир IARPA проходил с 2011-го по 2015 год, и в нем участвовало более 25 тысяч человек: они составили более миллиона прогнозов. Темы были самые разные: от того, выйдет ли Греция из еврозоны, до вероятности смены правительства в России и риска финансовой паники в Китае. GJP убедительно победил на турнире — одержав верх даже над аналитиками самого разведсообщества.

Учиться делать верные выводы

Большинство прогнозов, будь то бюджеты проектов, будущие объемы продаж, качество работы кандидата на должность или прибыльность приобретенного бизнеса, — вовсе не ­результат холодного расчета. Они зависят от того, как человек, составляющий прогноз, понимает основные статистические параметры, какие «ошибки сознания» типичны для него, хочет ли он повлиять на мировоззрение других и насколько для него важна его репутация. Иногда прогнозы бывают намеренно расплывчатыми: это дает свободу маневра в случае, если заключение окажется неправильным. Но, обучая людей рассуждать и не совершать когнитивных ошибок, можно научить их делать верные прогнозы. Как показал проект Good Judgment, один час тренировки повышает точность прогнозирования в течение года примерно на 14% (см. врезку «Как тренинги и работа в команде повышают качество прогнозов»).

Изучение азов. Основные логические ошибки (вы, например, думаете, что если монета, которую вы подбросили, три раза подряд упала решкой кверху, то в следующий раз выпадет орел) резко снижают точность прогнозов. Поэтому компаниям нужно серьезно относиться к самим основам прогнозирования. Когда, например, участникам GJP рассказали о таких статистических методах, как регрессия к среднему значению и байесовская вероятность (корректировка оценки вероятности при получении новой информации), их прогнозы стали гораздо более точными. Кроме того, в прогнозе должно быть четко сформулировано, что нужно предсказать (скажем, вероятность, что кандидат на должность выполнит план по продажам), и указаны сроки, например год. Важно жестко соблюдать эти условия. Саму вероятность того или иного сценария надо представить в числах — чтобы потом можно было точно оценить правильность прогноза. То есть прогнозист должен быть не «вполне уверен», а «уверен на 80%», что потенциальный сотрудник справится с поставленной перед ним задачей.

Понимание «ловушек сознания». То, что предвзятость сказывается на решениях, — широко известный факт. Вредоносность некоторых когнитивных ошибок особенно ярко проявляется при прогнозировании. Они заставляют нас думать и поступать «как все», выбирать информацию, подтверждающую нашу точку зрения, и во что бы то ни стало настаивать на своей правоте. Защитить свои решения от «ошибок сознания» очень трудно, но участники GJP научились распознавать те из них, от которых зависит качество прогноза, — и это мы считаем большой удачей. Например, они на­учились выявлять предвзятость подтверждения, из-за которой человек верит в правоту своих на самом деле ошибочных суждений, и учитывать факты, противоречащие его мнению. Они поняли, что проблемы нельзя рассматривать в отрыве от общей ситуации — что нужен «взгляд со стороны», как говорил нобелевский лауреат Дэниел Канеман. Скажем, надо было сказать, сколько времени понадобится для некоего проекта. Участникам GJP советовали сначала узнать, за какое время обычно выполняются такие проекты, чтобы верно оценить его продолжительность.

На тренинге слушатели узнают о психологических факторах, из-за которых люди неверно оценивают вероятность, например о склонности полагаться на интуицию, которая часто оказывает медвежью услугу, а не на анализ. Статистические наития подвержены влиянию иллюзий и предрассудков. Биржевые аналитики порой видят в данных закономерности, которые никак не подтверждаются статистически, а спортивные болельщики считают удачные штрафные броски в баскетболе проявлением особых способностей спортсменов, хотя на самом деле тут проявляется феномен непредсказуемых вариаций в малой выборке.

Еще один способ проинформировать людей о когнитивных искажениях, из-за которых появляются ошибки в оценках, — устраивать «проверки доверия». Участников GJP просят назвать доверительный интервал, отвечая на вопросы общей эрудиции (например: «В каком возрасте умер Мартин Лютер Кинг?») или имеющие отношение к жизни компании (допустим: «Какие федеральные налоги наша фирма заплатила в прошлом году?»). Задача прогнозистов — сформулировать свои ответы и сказать, насколько они точны. Например, человек может предположить с 90-процентной уверенностью, что Кинга убили, когда ему было 40—55 лет (ему было 39). Важно оценить не столько его эрудицию в той или иной области, сколько то, хорошо ли он осознает пробелы в ней. Как не без иронии заметил Уилл Роджерс, «нас подводит не то, чего мы не знаем, а то, что мы вроде бы знаем, а на самом деле — нет». Большинство участников обнаруживает, что половина, а то и больше их ответов, которые они сочли верными на 90%, ошибочны.

Опять-таки, нет универсального средства, которое защищало бы от подобных ошибок. Компаниям надо выстраивать программы подготовки с учетом своих особых обстоятельств. Susquehanna International Group, частная глобальная фирма, которая специализируется на алгоритмическом трейдинге, нашла особое решение. Основанная в 1987 году страстными любителями игры в покер, компания проводит операции на сумму свыше $1 млрд в год. Она требует от новых сотрудников, чтобы они на работе помногу играли в покер. По ходу дела люди узнают о когнитивных ловушках, эмоциональных факторах, типах самообмана, о поведенческой теории игр и, конечно, о теории опционов, арбитраже и регулировании валютных операций и правилах торговли. Осваивая игру в покер, сотрудники учатся мыслить вероятностными категориями, учитывать асимметрию информации (противник может знать то, чего не знаю я), чувствовать, когда надо выйти из игры, и понимать, что успех — это не победа в каждом раунде, а наилучшие результаты во всей игре.

Кроме того, компаниям важно организовать тренинги с учетом своей специфики и ориентировать их на конкретные области прогнозирования (скажем, продажи или НИОКР) либо на направления работы с неудовлетворительными результатами. Если ваши продавцы обычно слишком завышают свои трудовые достижения, это заблуждение надо последовательно искоренять. Специальные программы труднее и разрабатывать, и проводить, чем программы общего характера, но пользы от них обычно больше благодаря их целенаправленности.

Грамотно формировать ­коллективы

Объединяя прогнозистов в группы, можно добиться более высокого качества предсказаний. В рамках проекта Good Judgment нескольким сотням произвольно отобранных специалистов поручили работать самостоятельно, а еще нескольким сотням — в группах. Турнир IARPA (Intelligence Advanced Research Projects Activity) продолжался четыре года, и каждый год прогнозисты, работавшие в группах, оказывались проницательнее одиночек. Конечно, сильными группами надо умело управлять — и у них должны быть свои отличительные особенности.

Состав. Прогнозисты, во время соревнований показавшие лучшие результаты, честно говорят, что иногда они дают верные выводы не благодаря анализу, а вопреки ему. Они осторожны, скромны, непредвзяты, обладают аналитическим складом ума — и у них хорошо с математикой (см. врезку «Кто эти суперпрогнозисты?»). Набирать в группы нужно людей с врожденным талантом к прогнозированию, которые, к тому же, тонко чувствуют «ошибки сознания», умеют здраво рассуждать и ответственно относятся к данным.

Важно также, чтобы группы были разно­образны интеллектуально. В ней должен быть хотя бы один специалист в конкретной области, скажем финансист в группе прогнозирования бюджета, но неспециалисты тоже нужны, особенно если они готовы спорить со специалистами. Нельзя недооценивать эрудитов. Во время турнира GJP прогнозисты без специального образования часто обыгрывали подготовленных аналитиков разведслужб в их же области.

Обсуждение вариантов, их оценка и формулирование решения. Какие бы прогнозы ни составляла группа — связанные с разовым событием вроде вероятности экономического кризиса в США через два года или с циклическими, например ежегодно оцениваемый риск экономического спада в ряде стран, — они попадают в цель, если группа хорошо знает все три этапа работы. На этапе обсуждения вариантов проблема, допущения и методы поиска ответа рассматриваются под разными углами; этап оценки вариантов и выбора самых правдоподобных предусматривает, в частности, дискуссии; на последнем этапе группа приходит к окончательному решению. На каждом этапе группа анализирует информацию и продвигается вперед особенно быстро, если вопросы формулируются точно и коллеги постоянно комментируют выводы друг друга.

Первые два этапа очень важны; если их проводить наспех или пропускать, у группы сужается поле зрения: она зацикливается на одной гипотезе или быстро находит неверный ответ. Это можно предотвратить, если, например, собирать и анализировать новые данные и тестировать ключевые для прогноза допущения. Кроме того, нужно выявлять и нейтрализовывать такую частую ошибку, как эффект якоря или привязки, когда первоначальная и, вероятно, неверная оценка не дает иначе посмотреть на дело. Это часто происходит бессознательно, поскольку легко отталкиваться от цифр, которые просто получить. (Установлено, что люди «привязываются» даже к случайным числам первой оценки, и это отражается на их окончательных выводах.)

Один из авторов этой статьи (Пол) провел эксперимент с участием слушателей программы МВА Чикагского университета. Это исследование показало, как первый этап влияет на путь к окончательному прогнозу. В ходе одного теста добровольцев из контрольной группы попросили сказать, на сколько американская команда обгонит команду другой страны по количеству золотых медалей на следующей летней Олимпиаде, и представить свои заключения в доверительном интервале и с вероятностью 90%. Другой группе сначала надо было найти несколько причин, объясняющих, почему медалей может быть больше или меньше, чем в прежние годы, а потом уже дать прогноз. Вторая группа, естественно, вспомнила об атаках террористов и бойкотах, рассмотрела и другие факторы, которые могли сказаться на результатах: болезни спортсменов, лучшую их подготовку, употребление допингов. В итоге у этой группы получились почти вдвое более широкие интервалы, чем у контрольной. В целом, более широкие интервалы соответствуют более взвешенным прогнозам, а узкие обычно свидетельствуют об излишней ­ самоуверенности — и меньшей тщательности — составителей прогноза.

Доверие. Наконец, чтобы хорошо работать, члены коллектива должны доверять друг другу. Прежде всего это относится к группам, составляющим прогнозы, — в силу специфики их деятельности. Предсказывая успех или неудачу приобретения нового бизнеса или утверждая, что не удастся выгодно продать часть предприятия, они могут спровоцировать корпоративную борьбу за ресурсы, задеть чье-нибудь самолюбие и подмочить кому-нибудь репутацию. Они могут показать всей организации, что какие-то ее отделы или сотрудники не умеют планировать будущее. Чтобы прогнозисты не скрывали своих оценок от коллег по группе, они должны доверять друг другу и своему руководителю — знать, что он будет отстаивать их выводы и репутацию и не допустит их увольнения. Ничто так быстро не расхолаживает прогнозистов, как понимание того, что своими выводами они могут навредить всей группе.

Анализ результатов и обратная связь

И проект Good Judgment, и наша работа с компаниями показывают, что для повышения качества прогнозов нужно следить за результатами этой работы и вовремя высказывать замечания.

Поясним на примере американских синоптиков, которые, сколько бы ни злословили на их счет, делают свое дело превосходно. Если они говорят, что вероятность дождя — 30%, так это и будет. Секрет столь выдающихся результатов в том, что точность их прогнозов постоянно оценивается и обычно учитывается при аттестации. Игроки в бридж, штатные аудиторы и геологи-нефтяники тоже виртуозные прогнозисты — отчасти благодаря здоровой критике и стимулам к повышению мастерства.

Чтобы оценить точность прогноза, в том числе на протяжении какого-то времени, лучше всего воспользоваться показателем Бриера, статистическим методом с выходными данными в диапазоне от 0 до 2. Он позволяет компаниям напрямую и статистически достоверно сравнивать прогнозистов по ряду их прогнозов. Результаты выявляют лучших среди отдельных специалистов, членов групп или целых коллективов (см. врезку «Показатель Бриера выявит ваших лучших и худших прогнозистов»).

Показатель Бриера выявит ваших лучших и худших прогнозистов

Важно, чтобы прогнозисты точно оценивали вероятности, например вероятность того, что в первом квартале их фирма продаст от 9 до 11 тысяч единиц нового товара, — 80%. Прогнозы можно анализировать и сравнивать с помощью показателя Бриера. В результате менеджеры могут выявлять самых сильных и слабых прогнозистов.

Чтобы рассчитать показатель Бриера, надо возвести в квадрат разницу между прогнозом вероятности и реальным результатом, который обозначается как 1, если событие произошло, и как 0, если не произошло. Например, если прогнозист присваивает коэффициент 0,9 (уровень доверия 90%) вероятности, что фирма перевыполнит план продаж, и это потом действительно происходит, показатель Бриера для этого прогноза (0,9—1)² или 0,01. Если же фирма не выполняет план, то показатель (0,9—0)² или 0,81. Чем ближе показатель к нулю, тем качественнее прогноз.

Показатель Бриера показывает, кто хорошо прогнозирует, а кто — нет. Этот метод, позволяющий прямо сопоставлять прогнозистов, заставляет их глубже ­анализировать информацию и ­выводит на чистую воду тех, кто дал необдуманную оценку или стал жертвой когнитивного искажения.

Но просто зная показатель группы, ее точности не повысить; надо еще понимать, как она составляла прогноз. Надо проверять, почему были получены именно такие — хорошие или плохие — результаты. Иногда проверки показывают, что к правильному или ошибочному прогнозу привели неверные действия на том или ином этапе работы. Иногда прогноз оказывается точным, несмотря на ошибочный ход рассуждений (то есть повезло), или неправильным не по вине аналитиков, а из-за необычных обстоятельств. Скажем, торговая сеть очень точно спрогнозировала количество покупателей в магазине в конкретный день. Но случился форс-мажор: угроза взрыва. Магазин закрыт, а прогноз на этот день оказывается ошибочным. Показатель Бриера отразит плохую работу прогнозистов, но аудит процесса покажет, что они сделали все как надо, но им не повезло.

Надо также проанализировать, как взаимодействуют члены группы. Если сотрудничество не отлажено, не спасут никакие самые качественные данные и правила прогнозирования, сколь бы точно их ни соблюдали. Вспомним историю запуска злосчастного «Челленджера» в 1986 году и спор между NASA и компанией-подрядчиком Morton Thiokol. Сначала инженеры Thiokol не советовали запускать шаттл, опасаясь, что уплотнительные кольца, скрепляющие швы разгонного блока, не выдержат низких температур. Они считали, что именно из-за температуры вероятность не­удачи выше обычной. Но, к несчастью, Thiokol пересмотрела свое мнение.

С аналитиками все было в порядке, плохо была организована общая работа. Реконструкция событий того дня по материалам слушаний в Конгрессе показала, что на качестве прогноза отразилось сразу несколько факторов: недостаток времени, авторитарность руководства, нежелание выслушать инакомыслящих и подробно рассмотреть иные точки зрения, вера в свою непогрешимость — в конце концов 24 предыдущих полета прошли благополучно.

Чтобы избежать катастроф и снова и снова добиваться успехов, компаниям нужно регулярно собирать и анализировать составляемые в реальном времени отчеты о работе их ведущих групп прогнозистов. В этих отчетах нужно фиксировать принятые допущения, использованные данные, указывать, с какими специалистами консультировались, какие события имели место и т. д. Можно просматривать видеозаписи или стенограммы совещаний. Хорошо также, чтобы каждый прогнозист записывал, как работает именно он. Вспомним Susquehanna International Group, которая учит своих трейдеров играть в покер. Эти трейдеры обязаны записывать, как они рассуждали, открывая или закрывая позицию до заключения сделки. Им надо ответить на несколько вопросов: какая информация, которой у вас нет, но которая есть у других, могла бы повлиять на сделку; почему вы считаете, что у фирмы есть в этой сделке преимущество? И Susquehanna идет еще дальше: привязывает премии трейдеров не просто к результатам отдельных сделок, но и к обоснованности примененного метода анализа.

Благодаря хорошо спланированным проверкам можно задним числом понять, что пошло не так: может быть, прогнозисты не смогли отрешиться от ошибочной точки зрения, или плохо сформулировали проблему, или проглядели важный вывод, или не привлекли к обсуждению (а то и отстранили от него) несогласных с ними. Проверки могут показать, какие этапы процесса привели к точным прогнозам, а значит, остальные группы получат метод, который поможет и им работать лучше.

Описанные нами методы (подготовка, формирование коллектива, выявление самых способных) — залог надежных прогнозов. Каждый из них компаниям нужно применять с учетом своих особых обстоятельств, и нет, насколько нам известно, фирмы, которая бы освоила все четыре, объединив их в комплексную программу. Та, что первой сделает это, получит колоссальное преимущество, особенно если в ней принято пробовать новые принципы работы и если она готова экспериментировать, как разведсообщество.

Но компания получит это преимущество, лишь если инициативу возглавят заинтересованные в ней руководители, которые поощряют метод проб и ошибок, готовность не идти на поводу у своего самолюбия и вытаскивать на свет «то, что мы знаем, а на самом деле — нет», чтобы в их организации всегда делали только точные прогнозы.

Пол Шумейкер (Paul J. H. Schoemaker) — экс-директор по науке Института инновационного менеджмента Мака Уортонской школы бизнеса, один из авторов книги «Peripheral Vision». Филип Тетлок (Philip E. Tetlock) — преподаватель Пенсильванского университета и соавтор книги «Superforecasting». Шумейкер был консуль­тантом, а Тетлок — соруководителем Good Judgment Project.

 

Источник: http://hbr-russia.ru/liderstvo/prinyatie-resheniy/a17969/#ixzz4FQspnUm1