Backtest'te geleceğe bakış yanlılığı nedir?
Yazar: Mehmet Saruhan, Kurucu·
Geleceğe bakış yanlılığı, bir backtest'in simüle edilen karar tarihinde henüz mevcut olmayan bilgiyi kullanması hatasıdır: henüz bildirilmemiş kârlar, henüz açıklanmamış ekonomik veriler ya da işlemden sonra oluşan bir kapanış fiyatı. Bu hata bir stratejiyi, o dönemdeki hiçbir yatırımcının ulaşamayacağı kadar iyi gösterir.
Neden önemli
Sızıntı genellikle küçük ve görünmezdir: haftalar sonra bildirilmiş bir çeyrek raporunun çeyrek sonuna tarihlenmesi, ilk tahminin yerine revize edilmiş bir GSYH rakamının kullanılması ya da test dönemiyle örtüşen verilerle eğitilmiş bir model. Her biri stratejiye cevabın bir parçasını verir ve backtest bu farkı ayırt edemez. Banz ve Breen (1986), muhasebe veri tabanlarındaki ileriye bakma ve sonradan seçim yanlılığının ölçülen sonuçları değiştirebildiğini gösterdi.
Nasıl çalışır
Her değer kamuya açıklandığı anla damgalanır ve simüle edilen bir karar yalnızca kendinden önce damgalanmış değerleri okuyabilir: temel veriler bildirim tarihiyle, ekonomik seriler yayın tarihiyle ve ideal olarak ilk yayımlandıkları haliyle (Croushore ve Stark, 2001), fiyatlar ise kararın kapanışına kadar. Model doğrulamasında ilerleyen pencereli ayrımlar, örtüşen etiketlerin arındırılması ve bir ambargo dönemi, eğitim verisinin test dönemini görmesini engeller (López de Prado, 2018).
Opulence Alpha nasıl uygular
Opulence Alpha şirket bildirimlerini SEC'e yapıldıkları tarihten itibaren okur; içeriden işlem ve pay sahipliği özellikleri ise bir bildirimi ancak bir sonraki seanstan itibaren sayar, çünkü EDGAR kapanıştan sonra yapılan bir bildirime aynı günün tarihini verebilir. Ekonomik veriler, temkinli belirlenmiş ve seriye özgü bir yayın gecikmesinden sonra devreye girer; ancak saklanan değerler en son revizyondur ve NBER resesyon göstergesi sonradan tarihlenir. Yani veri zamanlama bakımından ilgili tarihe uygundur, sürüm bakımından değil. Strateji doğrulaması işlem günü takviminde arındırma ve ambargo dönemi uygular.
Araştırmalar nasıl ölçülür, sınırlarıyla birlikte →İlgili kavramlar
Sorular
Geleceğe bakış yanlılığına bir örnek nedir?
- Güçlü yıllık kârlarda alım yapan bir stratejiyi, bu kârları mali yılın son gününe tarihleyerek sınamak. Bu kârları bildiren 10-K raporu haftalar ya da aylar sonra yayımlanır; yani backtest henüz kimsenin elinde olmayan rakamlarla işlem yapar. Aylık bir ekonomik veri, yayımlandığı gün yerine anlattığı aya yerleştirildiğinde de aynı hata ortaya çıkar.
Geleceğe bakış yanlılığı ile hayatta kalma yanlılığı arasındaki fark nedir?
- Geleceğe bakış yanlılığı geçmiş bir karara gelecekten bilgi sızdırır; örneğin işlem tarihinden sonra yayımlanmış bir rakam. Hayatta kalma yanlılığı ise hangi şirketlerin ayakta kalacağı bilgisini sızdırır, çünkü test yalnızca bugünün hayatta kalanlarıyla yapılır. İkisi de bir backtest'i gerçek zamanda mümkün olandan iyi gösterir ve ikisi de veriyi her tarihte olduğu haliyle yeniden kurarak önlenir.
Opulence Alpha araştırmaları geleceğe bakış yanlılığından arınmış mı?
- Araştırmalar bundan kaçınacak biçimde kurulmuştur ve yöntem raporu bunun nasıl yapıldığını açıklar. Formasyon tespitleri yalnızca kendi günlerine kadarki fiyat çubuklarını kullanır; bir dönüş noktası ancak sonraki çubuklar onu teyit ettiğinde sayılır. Ancak sinyaller geçmiş için bugünün tanımları ve verileriyle yeniden hesaplanır; bu yüzden bir sonuç canlı bir kayıt değil, ölçülmüş bir eğilimdir. Getiri de sinyalin hesaplandığı kapanışta başlar, oysa gerçek bir işlem daha geç başlardı.
Kaynaklar
- Banz, R. W. & Breen, W. J. (1986). Sample-Dependent Results Using Accounting and Market Data: Some Evidence. Journal of Finance 41(4).
- Croushore, D. & Stark, T. (2001). A Real-Time Data Set for Macroeconomists. Journal of Econometrics 105(1).
- López de Prado, M. (2018). Advances in Financial Machine Learning. Wiley.
Araştırma yöntemleri hakkında eğitim içeriğidir. Yatırım tavsiyesi değildir.