Целью полного тестирования является определение оптимальных параметров для разработанной торговой системы. Помимо этого будет рассмотрено наличие или отсутствие взаимосвязи результатов раздельного тестирования и полного тестирования. В полном тестировании будет уделено внимание выбору подходящей величины защитной приостановки, для каждой из которых будет проведено отдельное тестирование.
Для полного тестирования системы были выбраны следующие параметры индикаторов системы: для MACD-гистограммы 10, 12, 14 для ЕМА с меньшим порядком, 24, 26, 28 для ЕМА с большим порядком и 5, 9, 13 для “девятидневной” ЕМА; для DM параметрами тестирования были 3, 7. 11, 15; CCI имел значения 7, 17, 27. Всего было проведено 972 теста для каждой акции. Как видно, были выбраны небольшие множества параметров, поскольку большие множества будут геометрически увеличивать количество тестов, что намного увеличит время программного тестирования. Выходом из положения будет повторное тестирование одного или двух индикаторов на большем множестве их значений при зафиксированных значениях остальных. Для защитной приостановки были выбраны следующие значения: 1, 3 и 7 процентов потерь от суммы контракта. Величины этих приостановок могут оказаться довольно значительными для западных рынков акций, однако для российского рынка, где цены имеют случайные колебания в несколько процентов, они вполне реальны. При тестировании включались комиссионные расходы, равные 0,1% от суммы сделки. Результаты тестирования представлены в таблице 4 для акций EES, LKO и в таблице 5 для акций RTK, SNG. В первой колонке представлены параметры DM, во второй, третьей и четвертой параметры MACD-гистограммы, а в пятой параметры осциллятора CCI. В таблице для каждого теста показаны величина первоначального увеличения счета, общее количество сигналов, процент прибыльных из них и показатель средней прибыльной сделки к средней убыточной.
Первым, что хочется отметить это наличие положительной прибыли во всех тестах у трех акций EES, LKO и SNG, то есть при любом наборе тестируемых параметров прибыли торговой системы на этих акциях превышали бы убытки. Средние показатель увеличения первоначального счета на всех акциях кроме RTK превышают 300%. Это довольно высокие показатели, свидетельствующие о высокой годовой доходности. На фоне этих данных довольно нереалистично смотрятся средние данные о проценте успешных торгов, только в 2 случаях из 12 незначительно превышающих 45%. Этот процент действительно не высок для дневных трейдеров работающих с помощью осцилляторных методов, но вполне может оказаться достаточным для работы на трендовом рынке, которым, как кажется, является российский рынок акций.
В ходе теста защитных приостановок обнаружились хорошо выделяемые закономерности в средних значениях всех представленных показателей. Так по мере увеличения размера защитной приостановки с 1 до 7% наблюдается следующее: количество выданных сигналов и отношение средней прибыльной сделки к средней убыточной уменьшается, а процент прибыльных сделок увеличивается. Как это может охарактеризовать размер приостановки? Уменьшение среднего общего количества сигналов со 105 до 95 для EES говорит о том, что широкие приостановки, как это уже было отмечено в теоретической части работы, позволяют динамике цен иметь больший ценовой шум, и не реагируют на него. Следовательно, разница в общем количестве сигналов при приостановке в 1% и в 7% будет равна разнице между количеством приостановок в 1% и в 7%. Эта разница будет показывать также количество дополнительных вхождений системы в том же направлении после срабатывания узкой приостановки в 1%. Дополнительное вхождение может оказаться прибыльным в то время как предыдущее вхождение убыточным из-за узкой приостановки. Поэтому более широкая приостановка в 7% позволяет потенциально прибыльному вхождению превратиться в прибыльную сделку, а не затормозиться когда цена закрытия следующего дня опускается чуть ниже одного процента убытков. Из-за этого, количество приостановленных сделок сокращается, что снижает общее количество сделок и улучшает отношение прибыльных сделок к общему их количеству.
Становится понятным тогда почему снижается показатель средней прибыльной сделки к средней убыточной при увеличении размера приостановок. При увеличении размера приостановки средний размер убытка будет выше из за того, что изначально убыточные сделки будут тормозиться на более низком уровне, и соответственно будут иметь как минимум 7% убытка изначально, если сигнал выхода не подоспеет раньше, в то время как при более узких приостановках средняя убыточная сделка была бы на уровне 1%. Средняя прибыльная сделка практически не изменяется: она может как возрасти, так и уменьшится в зависимости от уровня дополнительного вхождения по отношению к уровню сделки, остановленной узкой приостановкой. Такие изменения в средних прибыльных и убыточных сделках приводят к уменьшению отношения средней прибыльной к средней убыточной сделки. Надо еще отметить, что прирост суммарных убытков по мере роста размера приостановки будет превышать уменьшение убытков из-за сокращения количества сделок, которые были остановлены узкой приостановкой. Прирост суммарных убытков по мере увеличения размера приостановки будет вызывать уменьшение суммарной прибыли, о чем свидетельствуют показатели процентного увеличения счета.
В вышеописанной ситуации следует выбирать меньшее из двух зол: либо высокий процент прибыльных сделок, либо высокий показатель средней прибыльной к средней убыточной сделки. Вероятно, сделать выбор поможет стандартное отклонение рассматриваемых показателей. Стандартное отклонение процента прибыльных сделок и отношения средней прибыльной сделки к средней убыточной незначительно и не убывает при увеличении размера приостановки, среди стандартного отклонения прибыли не прослеживается зависимости.
В деле определения оптимального соотношения между двумя показателями может помочь, представленная в таблице 6 матрица вероятности провала системы с первоначальным счетом в $25000. Следуя этой таблице вероятность провала системы равна нулю в том случае если процент прибыльных сделок выше 50 или 55, и отношение средней прибыльной к средней убыточной сделки превышает 2,5 или 1,5 соответственно. В таблицах 4 и 5 темным выделены тесты, которые удовлетворяют этим условиям, или имеют очень близкие показатели. Как видно из таблиц для больших размеров приостановок находится большее количество возможных наборов параметров, при которых вероятность провала системы равняется нулю. Практически везде выделенным наборам параметров соответствует высокий показатель увеличения первоначального счета, которые как минимум выше среднего значения для аналогичных условий.
Для акций RTK и SNG не нашлось ни одного оптимального набора параметров, удовлетворяющего условию отсутствия провала системы. Отсутствие оптимального набора параметров подтверждает и не высокий результат акций RTK, который в нескольких десятках тестах оказался отрицательным. Для акций RTK и SNG в таблице выделены наборы параметров, результаты которых наиболее близки к оптимальным.
Теперь рассмотрим то, насколько подтвердились результаты раздельного тестирования вхождений и выходов с результатами полного тестирования системы. Найденные оптимальные параметры для акций EES, LKO, RTK, входят в выделенные множества параметров из теста вхождений таблицы 1. Если рассматривать параметры индикаторов, формирующих сигнал выхода системы, то можно заметить, что эти параметры имеют в раздельном тесте вхождений также хорошие результаты, большей частью превосходящие средние значения всего теста выходов. Из этого можно сделать вывод о том, что предварительное раздельное тестирование имеет также важное значение для полного определения возможностей индикаторов, входящих в систему, с заранее заданными параметрами.
Теперь следует определить один оптимальный набор параметров торговой системы для опережающего тестирования на каждой акции. Для этого из выделенных наборов параметров полного тестирования (таблица 4 и 5) были выбраны 3 набора параметров торговой системы для каждой ценной бумаги. Были выбраны параметры для защитной приостановки равной 7%, поскольку для данного размера приостановки нашлись самые большие группы оптимальных наборов торговой системы. Для каждого из трех наборов помимо уже рассматриваемых показателей представлены дополнительные показатели работоспособности, все они представлены в таблице 7. Среди дополнительных показателей представлены количество длинных и коротких сделок и процент прибыльных из них, общая прибыль и убыток, средняя и наибольшая прибыльная и убыточная сделки, наибольшее количество последовательных прибыльных и убыточных сделок, доля времени загруженности системы, наибольшая потеря счета и время, за которое система восстанавливает полученную наибольшую потерю.
Если рассматривать общее количество сигналов системы, выданных как для открытия длинных позиций, так и для коротких, то окажется, что их количество приблизительно одинаково, и больше либо равно 30. Это говорит о том, что результат теста имеет статистически надежный результат. Приблизительно равное количество сигналов, поданных как для открытия длинных, так и для открытия коротких позиций, и одинаковые показатели эффективности на этих направлениях, говорят о том, что система не имеет каких либо преференций относительно бычьего и медвежьего направления работы и получает прибыль, как от бычьего так и от медвежьего рынка. Этот факт важен для стабильного получения дохода.
Различие в показателях средней и наибольшей прибыльной сделки достигает 11,7, а убыточной сделки 8,7 раз. Такое расхождение объясняется построением теста, при котором сумма оказавшаяся на счете от предыдущей сделки полностью вкладывается в следующую сделку. Таким образом, прибыль от первых сделок будет в десятки раз меньше прибыли последних сделок, в том случае если система за весь период тестирования увеличивает счет в 10 раз. Для убытков применимы те же рассуждения, более того убытки системы оказываются в тесте всегда больше размера той защитной приостановки, которая была выбрана для тестирования. Это происходит из-за того, что при тестировании система закрывает и открывает позиции по цене закрытия, которая может измениться на несколько процентов. Система будет вынуждена закрыться именно по цене закрытия, а не по цене, на которой был превышен уровень защитной приостановки.
Следующим показателем характеризующим активность системы является доля времени загруженности системы. Этот показатель свидетельствует о том, какой процент от общего количества времени система находится в рынке и держит открытые позиции. Как видно из таблицы 7 для акций EES, RTK, SNG торговые системы загружены около 70% времени, а для акций LKO системы работают только около 55% времени. Если следующая за трендом система торгует все 100% времени, то это отнюдь не может характеризовать ее с положительной стороны, поскольку рынок не является все время бычьем или медвежьем. Рынок может иметь также боковой тренд, при котором борющиеся между собой группы биржевиков не могут существенно сдвинуть цену, и она находится в некотором коридоре. Система, имеющая полную загруженность, будет иметь значительные убытки в этом периоде, и большую вероятность провала. Если же следующая за трендом система будет иметь загруженность равную доли времени, когда рынок находится в состоянии тренда, то это будет оптимальный вариант для торговой системы.
Показатель загруженности системы имеет также психологический аспект. Есть трейдеры, которые испытывают дискомфорт от того что система постоянно держит открытую позицию или наоборот имеет очень мало сделок. Активность системы должна совпадать с типом и психологией трейдера: если он привык совершать всего несколько сделок в год, то имеет смысл выбирать следующую за трендом торговую систему, или вовсе стать инвестором, опираясь больше на фундаментальный анализ. Если инвестор привык постоянно находится на рынке, и количество открытых позиций не вызывает у него отрицательных эмоций, то для такого трейдера вполне подойдет более чувствительная торговая система, совершающая до 40 сделок в год.
Очень важными показателями для торговой системы являются тесно связанные между собой показатели наибольшего количества последовательных прибыльных и убыточных сделок, наибольшего провала системы, выраженного в процентах потери счета и времени необходимого для восстановления прежнего счета. Если проанализировать данные таблицы, то окажется что максимальный провал системы сильно положительно коррелирует с наибольшим числом последовательных убыточных сделок. Это вполне логично: чем больше система произведет убыточных сделок подряд, тем больший убыток у счета она получит.
Показатели провала системы довольно значительные: у акций RTK он достигает 56%. В то же время технические аналитики, оценивающие системы, рекомендуют не использовать системы, в которых этот показатель превышает 20%. Однако во всех представленных тестах с лучшими наборами параметров этот показатель везде превышен, и если следовать совету технических аналитиков, то все наборы параметров следует отбросить. Однако в защиту результатов тестов есть достаточно веские аргументы. Во-первых, это время тестирования. Профессиональные трейдеры не рекомендуют торговать на рынках с самого начала их появления, а предпочитают подождать некоторое время от 3 до 5 лет, для того чтобы рынок устоялся, и на нем сформировались профессиональные группы участников. В данном случае тестирование приходилось на момент становления рынка, и как правило, все максимальные провалы системы приходились на первые один- два года. Во-вторых, профессиональные трейдеры не рекомендуют торговать на рынках с низкой ликвидностью, а в тестировании за приведенное время только акции EES можно было назвать ликвидными. И, наконец, третья причина, по которой произошли серьезные потери счетов, как и серьезные их приобретения это сильная изменчивость цен, составлявшая несколько десятков процентов, в то время как для западных рынков падение в 20% является кризисом. В силу этих причин стоит продолжать рассматривать торговую систему, а не отбрасывать ее как неудавшуюся.
Как видно из таблицы, везде кроме акций RTK, системе требуется от 1 до 5 месяцев для восстановления предыдущего размера счета. В то же время период восстановления системы для акций RTK, равный 21 месяцу, заставляет задуматься о приемлемости спроектированной торговой системы для этого рынка. Лишь подробное вглядывание обнаруживает значительные периоды бокового тренда в динамике цены этой акции, лишь иногда сменяемые непродолжительными бычьими и медвежьими трендами. Если рассматривать график то окажется, что система успешно ловит эти незначительные тренды, а затем совершает множество сделок на боковом движении, которые уменьшают счет. В результате больше двух лет размер счета системы находится в коридоре от 450 до 950 долларов. Такое обстоятельство немного смягчает положение системы, которая, несмотря на плохие результаты предварительного тестирования, все равно будет протестирована на опережающем участке данных.
Для оценки повторяемости результатов предварительного и опережающего тестирования каждому из трех наиболее оптимальных наборов параметров для каждой акции была присвоена очередность, в соответствии с которой было бы разумно использовать данный набор параметров для конкретной акции, без опережающего тестирования. Очередность проставлена в таблице 7 в самом правом столбце. Очередность наборов параметров выбиралась субъективно исходя из представленных показателей работы системы. Так, например, для акций EES наиболее приемлемым набором параметров были бы 15,12,24,5,7, поскольку тест системы с этими параметрами, относительно двух других наборов параметров, показал самую высокую прибыль и самые низкие убытки, имел наибольший показать средней прибыльной к средней убыточной сделке, имел наименьшую потерю счета и быстрее всех от нее избавлялся. Такие же субъективные оценки очередности, основанные на объективных показателях, были проведены для других акций.
Вторым этапом полного тестирования стало опережающее тестирование торговой системы на более раннем участке рыночных данных. В качестве этого участка для всех акций был выбран временной отрезок, начинавшийся 1октября 1998 года и заканчивавшийся 31 декабря 1999 года, и составлявший 1 год и 3 месяца. Для опережающего тестирования были выбраны аналогичные наборы параметров индикаторов, что и для первоначального тестирования. Размеры защитных приостановок были выбраны на том же уровне 1, 3 и 7 процентов. Из всех тестируемых наборов параметров торговой системы были выбраны результаты трех наборов параметров для каждой акции, которые оказались оптимальными наборами в первоначальном тестировании. Эти результаты представлены в таблице 8. Для сравнения результатов, выбранных наборов параметров, с результатами всего теста в таблице 8 под соответствующими показателями отдельных тестов для каждой акции представлены среднее значение и стандартное отклонение соответствующих показателей для всего теста.
Как видно из таблицы, результаты процентного увеличения счета отдельных тестов для приостановки 7% в 9 из 12 случаях оказались выше средних, процент прибыльных сделок в 6 из 12, а отношение средней прибыльной сделки к средней убыточной в 9 из 12 случаях оказались также выше средних. По мере уменьшения размера приостановки наблюдается увеличение количества тестов показатели которых ниже средних.
В опережающем тестировании также как и в первоначальном тестировании соблюдаются тенденции средних показателей прибыльности и средней прибыльной сделки к средней убыточной сделке к понижению, а средних показателей эффективности к повышению по мере увеличения размера защитной приостановки.
Если оценивать вероятность провала системы относительно показателей эффективности и средней прибыльной к средней убыточной сделке, то окажется, что для акций EES из трех наборов данных только один смог сохранить нулевую вероятность провала, для акций LKO, все наборы параметров стали иметь вероятность провала 0,01, вместо нулевой в первоначальном тестировании. Для акций RTK и SNG нашлось по одному набору из представленных в таблице для которых вероятность провала оказалась равной нулю, в то время как для первоначального тестирования она изменялась от 0,02 до 0,2.
Следует подробнее рассмотреть результаты процентного увеличения счета с приостановкой 7%. Для акций EES показатели составили 227%, 62% и 204%, в то время как средний по тесту был равен 161%. Если прибавить к среднему показателю стандартное отклонение, то получится 230%, показатель характеризующий значения данного теста, близкие к максимальным. К видно, к 230% оказались довольно близки два набора оптимальных параметров, а третий набор показал непростительно низкий результат, относительно среднего, он оказался даже ниже 92%, результата характеризующего нижнюю границу прибыльности по тесту. Для акций LKO результаты прибыльности оказались достаточно высокими, близкими к максимальной границе всего теста, несмотря на ненулевую вероятность провала системы. Результаты по RTK стали полной неожиданностью. Исходя из первоначального теста, по акциям RTK можно было рассчитывать только на очень скромную прибыль, или же небольшой убыток. Результаты процентного увеличения счета по выбранным наборам параметров для RTK оказались самыми большими из всех акций. Лучший результат из этих наборов был равен 604%, что почти в 2 раза превышало средний показатель. Надо отметить, что в опережающем тестировании ни в одном из 3888 тестов не было получено убыточного результата, как это произошло в первоначальном тестировании с акциями RTK. Для акций SNG один набор параметров имел результат по прибыльности выше среднего, а другие два имели меньший, но удовлетворительный результат.
Все вышеперечисленные описания результатов опережающего тестирования свидетельствуют о том, что наборы параметров, выделенные для повторного тестирования после первичного тестирования показали высокие результаты. Оптимальные наборы параметров показали одинаково высокие результаты как в первоначальном так и в опережающем тестировании, за исключением 1 из 12 наборов параметров. Этот факт говорит о некотором постоянстве результатов торговой системы с оптимальными параметрами. Это очень важный факт, который дает высокую вероятность того, что система и в ближайшем будущем будет давать прибыль, а не убыток.
Постоянство результатов с оптимальными наборами параметров вселяет надежду и придает трейдеру уверенность в правильности всех его торговых решений, при которых доход от прибыльных сделок будет выше убытков от неправильных вхождений.