О проблемах тестирования советников

[Haos]

В статье Секреты анализа результатов теста советников мы рассмотрели чрезвычайно важные правила при тестировании советников, без которых анализ результатов этих тестов будет бесполезным и просто повлечет потерю средств на депозите. Эти правила позволят поставить под контроль почти все возможные факторыпри тестировании советников. Но есть один фактор, который не может быть поставлен под контроль никаким образом. Вот об этом и поговорим.

Это фактор того, что рынок ведет себя случайным образом, т.е. ценовые колебания непредсказуемы. Мы изначально исходим в процессе тестирования советников из того, что прошлое определяет будущее. Но что если не так? Что полученные прошлые влияния случайны? Как тогда быть?

Хорошо. Давайте так. У нас есть советник с несколькими параметрами, которые могут варьироваться. Предположим это индикаторы. Если мы вообще не знаем какие параметры необходимы для торговли советником, а точнее какой диапазон параметров индикаторов в советнике необходимы для работы советника, мы его тестируем. Делаем бэк-тест. Получим параметры, дающие нам прибыль на истории. Бэк-тест необходимо проводить не не всем доступном периоде истории (точнее, не только на всем периоде истории), а на нескольких периодах по отдельности.

Тут сразу возникают проблемы:
1. на одном участке графика одни параметры прибыльны;
2. на другом - другие.
Какие выбрать на будущее? "Средние по больнице"? Обычно по этому пути идут робо-трейдеры.Но остаются не решенными вопросы:

1. Является ли это среднее генеральным (т.е. средним генеральной совокупности)? Ответ очевиден: нет.
Если это не среднее генеральное, то среднее выборочное, а значит... пальцем в небо. Да, некоторую
амортизацию оно может принести, но если смещение от среднего генерального незначительно и будущие периоды торговли не будут иметь среднее выборочное смещенное совсем в другую сторону. Иначе будет полный провал. "Коту под хвост" будет такое тестирование. Вот в чем основная проблема!

Т.е. тестирование дает всегда некие средние выборочные параметры индикаторов, которые как пальцем в небо имеют отношение к генеральной средней параметров индикаторов. Трейдеры же надеются, что найденное среднее выборочное параметров индикаторов, принесшее прибыль в бэк-тесте, совпадает с генеральным средним параметров индикаторов причем также приносящим прибыль!

А если попытаться решить проблему через поиск параметров по всей генеральной совокупности (всей истории графика, вплоть до 1970-хх годов или позже), то можно просто не получить ни одного параметра индикатора, который будет прибыльным на всем графике, т.е. на всей генеральной совокупности! Кстати, именно так, почти всегда и бывает. В этом достаточно просто убедиться, если пробежать по всем параметрам в тестере Метатрейдера простого советника на одной-двух МАшках. В результате окажется, что нет ни одной пары периодов МАшек, которые были бы прибыльными!

Это всё подтверждает концепцию того, что цена движется случайно в рамках статистических исследований. Это значит, что выбранные периоды для бэк-теста - это, практически, бесполезное занятие. Нет никаких оснований считать, что какое-то деление графика на участки бэк-теста имеют большее значение чем другие. Т.е. все результаты таких бэк-тестов случайны и никак не влияют на будущие результаты. В этом также легко убедиться. Если бы была бы "инерция" в найденных оптимизационных параметрах на прошлом участке в сравнении с настоящим участком, то это бы говорило о том, что найдена и доказана неслучайность ценовых колебаний, что можно было бы каждый раз по окончании участка делать анализ параметров советника и в будущем участке срывать все бабки с рынка! Рынку бы уже давно пришел конец, т.к. за считанные часы во всем мире было бы обнаружено такое свойство, такой феномен. Но рынок живет, а жить он может только в одном случае: эффективность его бесспорна, прошлые параметры никак не влияют на будущие.

Итак, мы пришли к выводу, что найденные параметры в тесте советника в качестве оптимальных для прибыли такими не являются. Они случайно были прибыльными в прошлом и какие будут прибыльны в будущем не известно. Является ли это фактом того, что вообще невозможно торговать в прибыль роботами на основе предсказаний будущего курса? По большому счету, да. Но пытаться можно. Можно пойти на ухищрения в виде огрубления параметров. Т.е. если они настолько грубы, что исчисляемы по пальцам, то как бы рынок не повел себя, с достаточно большой вероятностью наши параметры "выстоят". Это особенно так, если используется полный или больше половины хотя бы набор из всего набора параметров, т.е. осуществляется хеджирования о котором и шла речь в упомянутой в начале этой темы статьи. Т.е. грубо говоря: трейдер определил, что всегда работают грубо два из трех наборов параметров двух МАшек, типа:

20 -100
50 - 700
300 - 900
на М5, к примеру, ТФ.

Тогда запустив все три набора параметров одновременно в советнике, трейдер может надеяться, что в сумме он выйдет в прибыль в будущем участке торговли. Здесь, конечно, очень оптимистическая гипотеза прозвучала: "всегда работают грубо два из трех наборов параметров". Очевидно, что это тоже было бы "разгадкой рынка". В реальности, скорее всего, один из двух параметров будет в прибыли, второй в убытке, а третий... как бог на душу положит. Т.е. всегда результаты будут случайны. Может быть прибыльны, а может быть и нет.

Главное, что трейдер будет знать, что прошлые результаты (бэк-тест) не имеют никакого значения для будущей торговли советником. Результат всегда будет случаен. Если робо-трейдер готов к такому, если он понимает какие наборы параметров могут дать ему хеджирование в советнике и, в конце-концов, верит в удачу, то он может запустить советник и торговать на рынке.

Также отмечу, что речь шла о робо-торговле. В ручной торговле играет роль опыт трейдера, интуиция и там результаты, вообще говоря, отличаться могут от формальных методов торговли торговыми роботами. Будут ли они прибыльными и тем более всегда - никто не знает.