Тестер исторических данных

Программист помог мне построить тестировщик исторических данных или бэктестер. Эта программа, связанная с базой данных исторических цен, которая позволяет мне проверять гипотетическую прошлую результативность любого правила для торговли средней сложности. Я могу просто применять механическое правило торговли, подобное покупке акции, если она закрывается более, чем на 1.83% выше её средней цены предыдущей недели и немедленно получаю идею относительно прошлой результативности такого правила. Экран высветит мой гипотетический отчет о сделках, связанных с этим правилом торговли. Если мне не нравятся результаты, я могу изменять процент, скажем, 1.2%. Я могу также сделать правило более сложным. Я буду продолжать, пока не найду хорошо работающий набор правил.

Что я делаю? Точно та же самая задача поиска оставшихся в живых в пределах набора правил, которые, возможно, могут работать. Я приспосабливаю правило к данным. Такая деятельность называется выискиванием данных. Чем больше я пробую, тем больше вероятность простой удачной находки правила, которое работало на прошлых данных. Случайный ряд будет всегда представлять некоторую обнаружимую модель. Я убежден, что существует торгуемая ценная бумага в Западном мире, которая на 100% коррелирует с изменениями температуры в Улан-Баторе, столице Монголии. Строго говоря, есть даже худшие расширения «взаимосвязей». Недавняя выдающаяся статья Салливана, Тиммермана и Уайта идет дальше и полагает, что правила, которые могут успешно использоваться сегодня, могут быть результатом пристрастия выживания.

Предположим, что какое-то время инвесторы экспериментировали с техническими правилами торговли, взятыми из очень широкого набора данных - тысячи параметров и разнообразных типов правил их объединения. С течением времени, правила, которые, оказались результативными, получают большее внимание и рассматриваются, как "серьезные соперники" инвестиционным сообществом, в то время как неудачные правила торговли, скорее всего, будут забыты.

Если рассматривается достаточное число правил торговли в течение времени, то некоторые правила, благодаря чистой удаче, даже в очень большой выборке, производят превосходный результат, даже если они совсем не обладают прогнозирующей властью над доходностью актива. Безусловно, вывод, основанный исключительно на подмножестве выживших правил торговли может вводить в заблуждение, так как он не учитывает полный набор начальных правил торговли, большинство из которых вряд ли имеет меньшую результативность

Я вынужден предостеречь от чрезмерности в тестировании исторических данных, которую я наблюдал в течение своей личной карьеры. Есть превосходный продукт, предназначенный только для этого, называемый Omega Trade Station, который предлагается в настоящее время на рынке и используется десятками тысяч трейдеров. Он даже предлагает свой собственный компьютерный язык. Борясь с бессоницей, компьютеризированные трейдеры стали тестировщиками, пропахивающими данные в поисках сочетаний некоторых свойств. Они бросают своих обезьянок на пишущие машинки, не определив для себя, что за книгу они хотят, и жаждут натолкнуться где-нибудь на гипотетическое золото. Многие из них слепо верят в это.

Один из моих коллег, человек с престижными степенями дошел в своей вере в такой виртуальный мир до точки – до полной потери всякой связи с реальностью. Могла ли капелька здравого смысла остаться в нем, исчезая под насыпями моделирования, или у него не оставалось ничего – я не могу сказать. Наблюдая за ним, я понял, что его естественный скептицизм, возможно, просто был раздавлен грузом данных – поскольку он был чрезвычайно скептичен, но в других областях. Ах, Юм!

Более тревожные выводы

Исторически медицина работала методом проб и ошибок – другими словами, статистически. Мы знаем к настоящему времени, что могут быть полностью случайные связи между симптомами и лечением и что некоторые лекарства успешно проходят медицинские испытания чисто случайно. Я не могу претендовать на роль эксперта в лекарствах, но в последние пять лет много читал медицинскую литературу.

Медицинские исследователи редко бывают статистиками, а статистики – медицинскими исследователями. Многие медики даже отдаленно не знают про пристрастие выживания. По правде, оно может играть несущественную роль, но оно, безусловно, существует. Одно недавнее медицинское исследование связывает курение сигарет с сокращением рака легких, таким образом, конфликтуя со всеми предыдущими исследованиями. Логика подсказывает, что результат может быть подозрителен и является простым совпадением.