SSS · Strateji doğrulama

Bir yatırım stratejisi nasıl doğrulanır?

Yazar: , Kurucu·

Strateji doğrulama, bir yatırım stratejisinin backtest'te görülen avantajının verinin ya da aramanın bir ürünü değil, gerçek olup olmadığını sınama sürecidir: veriyi her tarihte bilindiği haliyle yeniden kurmak, stratejiyi uydurulmadığı dönemlerde test etmek, denenen varyasyonları hesaba katmak, gerçekçi maliyetler yüklemek, sağlamlığı kontrol etmek ve sonuçları canlıda ölçmek.

Neden önemli

Çoğu backtest, stratejinin gerçekte vereceğinden daha iyi görünür, çünkü arkasındaki olağan hatalar aynı yönü gösterir. Tek bir geçmiş üzerinde yeterince kural denerseniz bazıları o geçmişin gürültüsüne uyar. Revize edilmiş rakamları ya da yalnızca ayakta kalan şirketleri kullanırsanız test gelecekten ödünç alır. İşlem maliyetlerini dışarıda bırakırsanız sonuç, kimsenin gerçekte yönetemeyeceği bir portföyü anlatır. Doğrulama, bu hataları sermaye bağlanmadan önce ayıklamak için vardır. Bilinen araştırma hatalarını azaltır ama piyasa belirsizliğini ortadan kaldıramaz; ölçümün strateji canlıya alındıktan sonra da sürmesinin nedeni budur.

Nasıl çalışır

Doğrulama yedi adımda ilerler. Birincisi, sonuçlara bakmadan önce hipotezi, başarı ölçütünü ve geçme eşiklerini yazın. İkincisi, testi ilgili tarihte mevcut olan veriyle kurun: her değer kamuya açıklandığı tarihle damgalanır, borsadan çıkan şirketler örneklemde kalır. Üçüncüsü, yalnızca stratejinin uydurulmadığı dönemlerde test edin: ilerleyen pencereli doğrulamayla ya da etiketleri test dönemiyle örtüşen eğitim verisini çıkaran ve bir ambargo dönemi ekleyen arındırılmış çapraz doğrulamayla; son bir dönemi de hiç dokunmadan ayırın. Dördüncüsü, denenen her varyasyonu sayın ve bunu düzeltilmiş Sharpe oranıyla ya da bir gerçeklik testiyle hesaba katın. Beşincisi, komisyon, alış-satış farkı, piyasa etkisi ve açığa satışta ödünç alma ücreti yükleyin. Altıncısı, sağlamlığı parametreler, alt dönemler ve rejimler boyunca sınayın. Son olarak küçük başlayın ve canlı sonuçları backtest'in öngördüğü aralıkla karşılaştırın.

Opulence Alpha nasıl uygular

Opulence Alpha'nın Doğrulama Eşiği bu adımların birçoğunu, bir stratejinin yayımlanmadan önce geçmesi gereken kontrollere dönüştürür. Tespit edilmek istenen asgari etki, örneklem dışı kanıt okunmadan önce kaydedilmelidir. Adaylar canlı YZ Portföylerinin kullandığı motorun aynısında çalıştırılır ve modellenen işlem maliyetleri düşüldükten sonra puanlanır. Katlar işlem günü takvimine göre kurulur, arındırılır ve ambargo dönemiyle ayrılır; geçmişin son bölümü ayrı tutulur ve seçilen strateji bu bölümde yalnızca bir kez yeniden oynatılır. Orada, aramanın gerçekte yaptığı deneme sayısına göre düzeltilmiş Sharpe oranının varsayılan olarak 0,95'e ulaşması gerekir. Kapı ayrıca geriye dönük testte aşırı uyum olasılığına ve gerçeklik testi p-değerine üst sınır koyar; daha basit bir ızgaraya yuvarlandığında sonucu ayakta kalmayan parametreleri de reddeder. Çalıştırılamayan bir kontrol başarısız sayılır.

Doğrulama Eşiğinin doğrulama bataryası →

Sorular

Backtest ile strateji doğrulama arasındaki fark nedir?

Backtest, bir stratejinin geçmiş veride nasıl sonuç vereceğinin tek bir simülasyonudur. Doğrulama ise bu sonuca ne ölçüde güvenilebileceğine karar veren testlerin bütünüdür: verinin ilgili tarihte mevcut olup olmadığı, test dönemlerinin görülmemiş olup olmadığı, bu stratejiden önce kaç varyasyon denendiği, maliyetlerin yüklenip yüklenmediği ve sonucun küçük değişikliklere dayanıp dayanmadığı. Backtest bir sayı üretir; doğrulama o sayının neye değdiğine karar verir.

Bir stratejiyi doğrulamak için ne kadar geçmiş gerekir?

Aramanın büyüklüğüne yetecek kadar. Pek çok denemenin en iyisi şans eseri daha iyi görünür; bu yüzden beceriyi şanstan ayırmak için gereken geçmiş, denenen varyasyon sayısıyla birlikte artar (Bailey, Borwein, López de Prado ve Zhu, 2014). Pozisyonlarını haftalarca tutan bir strateji de her gün işlem yapan birine göre daha az bağımsız gözlem üretir. Opulence Alpha'nın Doğrulama Eşiği kısa bir geçmişi daha gevşek değil, daha sıkı eşikler için bir neden sayar: en kısa geçmişlerde geriye dönük testte aşırı uyum olasılığının üst sınırı 0,30'dan 0,20'ye iner.

Simülasyonla işlem (paper trading) bir stratejiyi doğrulamaya yeter mi?

Hayır, ama yararlı bir son adımdır. Simülasyonla işlem, backtest'in sınayamadığı şeyleri sınar: canlı veriyi, veri gecikmelerini ve operasyonel işleyişi; küçük tutarlarla gerçek işlem yapmak buna gerçekleşen emirleri ve gerçek maliyetleri ekler. İkisi de bir avantajı hızla kanıtlayamaz, çünkü birkaç aylık sonuç mütevazı bir avantajı şanstan ayırmaya yetmez. Bu yüzden canlı sonuçlar tek başına değil, doğrulanmış backtest'in öngördüğü aralıkla karşılaştırılarak değerlendirilmelidir.

Opulence Alpha'nın Doğrulama Eşiğinden geçemeyen bir stratejiye ne olur?

Araştırmaya geri döner ve yayımlanamaz. Kapı, başarısız olan her kontrolü kaçırdığı eşiğin yanına kaydeder ve hesaplanamayan kontrolleri ayrıca listeler; böylece bir ret de kanıt olarak okunabilir. Mühürlenmiş bir doğrulama raporundan canlı YZ Portföylerinin kullandığı strateji kütüphanesindeki bir şablona giden tek yol olan terfi, rapor kapıdan geçmedikçe reddedilir ve kapının kararını geçersiz kılamaz.

Nicel strateji doğrulaması nedir?

Sistematik strateji doğrulaması, kurala dayalı bir stratejinin sonucunun şans ya da sızıntı olmadığını denetler: yalnızca o gün mevcut verilerle kurulur, hiç görmediği dönemlerde test edilir, denenen her varyanta göre düzeltilir, gerçekçi maliyetle hesaplanır ve piyasa rejimleri boyunca tutması istenir. Nicel model doğrulaması aynı testleri alttaki tahmin modellerine uygular.

Portföy stratejileri nasıl değerlendirilir?

Portföyün tamamı üzerinden, maliyetlerden sonra ve örneklem dışında: belirtilen bir kıyasa karşı getiri, oynaklık, en büyük düşüş ve kıyası ne sıklıkla geçtiği, stratejinin görmediği verilerde ölçülür. Opulence Alpha'nın Doğrulama Eşiği, bir stratejiyi herhangi bir YZ Portföyü kullanmadan önce düzeltilmiş Sharpe oranı, geriye dönük testte aşırı uyum olasılığına bir tavan ve aile bazlı hata denetimi de ister.

Kaynaklar

  • Bailey, D. H., Borwein, J. M., López de Prado, M. & Zhu, Q. J. (2014). Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the American Mathematical Society 61(5).
  • Bailey, D. H. & López de Prado, M. (2014). The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting, and Non-Normality. Journal of Portfolio Management 40(5).
  • Harvey, C. R. & Liu, Y. (2015). Backtesting. Journal of Portfolio Management 42(1).
  • López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley.

Araştırma yöntemleri hakkında eğitim içeriğidir. Yatırım tavsiyesi değildir.

Kendi stratejinizi platformda bu süreçten geçirmek için ileriye dönük doğrulama, stratejiyi sabit bir geçmiş penceresinde ilerleyen pencerelerle ayarlar ve sınar; her tarihte yalnızca o gün bilinebilir olana uyarlar, puanı ise sonrasında gelene göre verir. Fiyatı QC cinsinden tek ve sabittir ve fiyatlandırma sayfasında yayımlanır.

İleriye dönük doğrulama, fiyatlandırma sayfasında →