Правда о результатах моделирования

Хотя ценность оптимизации для улучшения будущей результативности системы открыта для дебатов, абсолютно очевидно, что использование оптимизированных результатов будет значительно искажать подразуме­ваемую будущую результативность системы. Причина состоит в том, что, как было показано ранее в этой главе, корреляция между наиболее ре­зультативными для одного периода параметрами системы и теми пара­метрами, которые приведут к наилучшей результативности в следующий период, крайне мала, если вообще существует. Следовательно, предпо­ложение, что результативность, достигнутая в прошлом, может быть по­вторена в будущем при том же самом наборе параметров, абсолютно нереалистично.

После многих лет работы мое отношение к симулированным резуль­татам подытоживается тем, что я называю «Швагеровским законом моде­лирования» (по аналогии с денежным законом Гришэма). Как читатели могут вспомнить из «Economics 101», Гришэм утверждал, что «плохие день­ги вытесняют хорошие». Суть соревнования, которое описывает Гришэм, состояла в том, что если в обращении находится два типа денег (напри­мер, золото и серебро) с произвольным курсовым соотношением (напри­мер, 16 к 1), то плохие деньги (деньги, переоцененные фиксированным курсом обмена) будут вытеснять хорошие. Таким образом, если бы спра­ведливая стоимость унции золота была выше стоимости 16 унций сереб­ра, соотношение 16 к 1 приводило бы к тому, что серебро вытесняло бы золото из обращения (поскольку люди стремились бы накапливать золото).

Мое закон формулируется так: «плохое моделирование вытесняет хорошее». Термин «плохое» означает моделирование, построенное на крайне ненадежных предположениях, а не плохое в смысле показанной результативности. Скорее наоборот, «плохое» моделирование будет показывать бросающиеся в глаза результаты.

Я часто получаю рекламу систем, которые предположительно дела­ют 200, 400 или даже 600% в год. Давайте будем консервативны (я ис­пользую этот термин свободно) и предположим доходность лишь в 100% годовых. При таком уровне доходности $100 000 превратились бы все­го за тринадцать лет в миллиард долларов! Может ли такая доходность быть достижимой на практике в течение длительного периода? Ответ: не может. Дело в том, что при достаточном желании можно добиться практически любого уровня ретроспективной результативности. Если бы кто-то попробовал продавать систему или программу для торговли, основанную на действительно реалистичном моделировании, результа­ты были бы до смешного ничтожны по сравнению с тем, что предлага­ет реклама. Именно в этом смысле плохое (нереалистичное) моделиро­вание вытесняет хорошее (реалистичное) моделирование.

724 ЧАСТЬ 4. торговые системы и измерение эффективности торговли

Как искажаются результаты тестов? Существует несколько основных способов.

1. Специально подобранный пример. При конструировании
специально подобранного примера промоутер системы выбира­
ет наилучший рынок в наилучший год, используя наилучший на­
бор параметров. Предполагая, что система тестируется на 25
рынках за 15 лет и использует 100 вариантов наборов парамет­
ров, мы получили бы в обшей сложности 37 500 одногодичных
результатов (25Х 15Х 100). Было бы трудно построить такую
систему, в которой хотя бы один из этих 37 500 возможных ис­
ходов не показал бы великолепных результатов. Например, если
вы подбрасываете десять монет 37 500 раз, неужели вы думае­
те, что они не упадут несколько раз десятью «орлами» вверх?

2. Специальное устранение убытков системы. С помощью
добавления параметров и создания дополнительных системных
правил, которые подходящим образом обслуживают убыточные
периоды прошлого, вполне возможно создать фактически лю­
бой уровень ретроспективной результативности.

3. Игнорирование риска. Рекламируемые результаты системы
часто используют оценку доходности как процента маржи (за­
логовых средств). При торговле с плечом, когда открывается
позиция, по объему в несколько раз превосходящая размер мар­
жи, ожидаемая доходность возрастает в соответствующей про­
порции. Разумеется, риск при этом также многократно увели­
чивается, но реклама не касается таких деталей.

4. Пропущенные убыточные сделки. Нередко на графиках в
рекламе торговых систем показываются сигналы к покупке и
продаже, приносящие прибыль, а убыточные сигналы этой же
системы на графики не наносятся.

5. Оптимизация, оптимизация, оптимизация. Оптимизация
(выбор наборов параметров с наилучшей результативностью в
прошлом) может колоссально преувеличивать прошлую резуль­
тативность системы. Фактически любая система, когда-либо за­
думанная человеком, выглядела бы замечательно, если бы ре­
зультаты основывались на оптимальном наборе параметров (на­
боре параметров с наилучшей прошлой результативностью) для
каждого рынка. Чем больше используемое количество наборов
параметров, тем шире выбор прошлых результатов и значитель­
нее виртуальная прибыль, которую можно получить в компью­
терном тесте на исторических данных.

6. Нереалистичные транзакционные затраты. Часто симули­
рованные результаты принимают в рассмотрение лишь комисси-

ГЛАВА 20. тестирование и оптимизация торговых систем 725

онные, но не проскальзывание (разница между предполагаемы­ми и реальными иенами сделок, которые были бы зафиксирова­ны при использовании рыночного приказа или стоп-приказа). В случае быстрых систем игнорирование проскальзывания может дать такую систему, которая выглядела бы как машина по про­изводству денег, но в реальной жизни привела бы к разорению.

7. Подделки. Хотя достаточно просто сконструировать систему с правилами, приводящими к замечательной результативности в прошлом, некоторые промоутеры не беспокоятся даже об этом. Например, один бесчестный тип продолжает появляться с пред­ложениями различных систем по цене в $299, которые пред­ставляют собой откровенное мошенничество. Брюс Бэбкок из журнала «Commodity Traders Consumers Report» так и прозвал этого жулика — «человек $299».

Я вовсе не собираюсь обвинять всех продавцов торговых систем или тех, кто использует моделированные результаты. Несомненно, есть мно­го людей, кто производит компьютерное моделирование в достаточно строгом стиле. Однако печальная правда состоит в том, что чрезвычай­но неправильное использование оптимизации в течение долгих лет при­вели фактически к обесцениванию результатов моделирования. Рекла­мируемые результаты очень похожи на ресторанные обзоры, написан­ные владельцами заведений, — вряд ли вы когда-нибудь увидите небла­гоприятный обзор. Я могу вас заверить, что вы никогда не увидите тор­говую систему, которая показывала бы длинную позицию по S&P при закрытии 16 октября 1987 г. Пригодны ли все-таки к использованию результаты компьютерного моделирования? Да, если вы разработчик системы и если вы знаете, что делаете (используете методы моделиро­вания, разобранные в предыдущем разделе), или если вы абсолютно уверены в честности и компетентности разработчика системы.