SSS · Geriye dönük testte aşırı uyum

Backtest'ler canlıda neden başarısız olur? Aşırı uyum

Yazar: , Kurucu·

Geriye dönük testte aşırı uyum, bir stratejinin kurallarının ya da parametrelerinin — bilerek ya da tekrarlanan denemelerle — belirli bir geçmişin gürültüsüne göre ayarlanmasıdır; backtest güçlü görünür ama avantaj örneklem dışında yoktur ve canlı performans erir.

Neden önemli

Backtest'i iyi olan stratejilerin canlıda başarısız olmasının en yaygın nedenidir. Ne kadar çok varyasyon denenirse en iyisinin istatistiksel bir kaza olma ihtimali o kadar artar — ve backtest'i o kadar ikna edici görünür.

Nasıl çalışır

Örneklem dışında sınayarak (ilerleyen pencereli doğrulama, arındırılmış çapraz doğrulama), performans istatistiklerini deneme sayısına göre düzelterek (düzeltilmiş Sharpe oranı), geriye dönük testte aşırı uyum olasılığını tahmin ederek ve sonuçların parametrelerdeki küçük değişikliklere dayanıp dayanmadığını kontrol ederek tespit edilir.

Sorular

Alım satım stratejileri neden çalışmayı bırakır?

Çoğu zaman hiç çalışmamışlardır: backtest gürültüye uymuştur. Diğerleri piyasalar değiştikçe ya da avantaj kullanılıp tükendikçe erir.

Bir backtest'in aşırı uydurulmuş olduğunu nasıl anlarım?

Örneklem dışında sınayın, kaç varyasyonun denendiğini sayın, Sharpe oranını bu sayıya göre düzeltin ve küçük parametre değişikliklerine dayanıp dayanmadığına bakın.

Daha uzun bir backtest daha güvenli midir?

Yardımcı olur ama üzerinde pek çok strateji denendiyse değil. Deneme sayısı, geçmişin uzunluğu kadar önemlidir.

Geriye dönük testte aşırı uyum nasıl tespit edilir?

Örneklem içi ve örneklem dışı sonuçlar çok sayıda bölünmede karşılaştırılır: geriye dönük testte aşırı uyum olasılığı (PBO), örneklem içinde kazananın örneklem dışında ne sıklıkla medyanın altına düştüğünü ölçer. Düzeltilmiş Sharpe oranı deneme sayısına göre düzeltir; Romano-Wolf gibi çoklu hipotez testi denetimleri stratejiler arasındaki veri tarama yanlılığı yanlılığını yakalar.

Geriye dönük testte aşırı uyum neden olur?

Çünkü çok sayıda parametre ya da fikir üzerinde yapılan bir arama, tek bir geçmişin gürültüsüne uyan bazılarını mutlaka bulur. Ne kadar çok varyant denenirse en iyisi yalnızca şans eseri o kadar etkileyici görünür; nicel modellerde aşırı uyum model esnekliğiyle artar ve yalnızca dürüst örneklem dışı testlerle azalır.

Geriye dönük testte aşırı uyumdan nasıl kaçınılır ve backtest güvenilirliğini ne sınırlar?

Kural ve asgari etki test etmeden önce sabitlenir, ilgili tarihte mevcut olan veri kullanılır, örtüşen dönemler arındırılır, denenen her varyant sayılır ve görülmemiş veride ilerleyen pencereli doğrulamayla test edilir. Bir backtest'i doğrulamak buna dayanır: güvenilirliğini veri hataları, ileriye bakma, hayatta kalma yanlılığı ve dışarıda bırakılan maliyetler sınırlar; bir backtest incelenecek bir kanıttır, asla kanıtlama değildir.

Kaynaklar

  • Bailey, D., Borwein, J., López de Prado, M. & Zhu, Q. (2017). The Probability of Backtest Overfitting. Journal of Computational Finance.
  • Harvey, C., Liu, Y. & Zhu, H. (2016). …and the Cross-Section of Expected Returns. Review of Financial Studies.

Araştırma yöntemleri hakkında eğitim içeriğidir. Yatırım tavsiyesi değildir.