SSS · Örneklem dışı test

Örneklem dışı (out-of-sample) test nedir?

26 Eyl 2026 tarihinde platformun koduna karşı gözden geçirildi

Örneklem dışı test, bir modeli ya da yatırım stratejisini kurulmasında hiçbir rol oynamamış veriyle değerlendirir. Onu eğitmek, ayarlamak ya da seçmek için kullanılan veri örneklem içidir; bu seçimler kesinleşene kadar kenarda tutulan veri örneklem dışıdır ve onun sonucu, fikrin yeni veride nasıl performans göstereceğine dair daha adil bir tahmindir.

Neden önemli

Veriye baktıktan sonra yapılan her seçim, örneğin bir parametre, bir filtre ya da bir başlangıç tarihi, o geçmişin gürültüsünün bir kısmına uyabilir ve uydurulmuş gürültü tıpkı beceri gibi görünür. Bu yüzden örneklem içi sonuçlar bir stratejinin kazancını olduğundan yüksek gösterme eğilimindedir ve ne kadar çok varyant denenirse abartı da o kadar büyük olabilir (Bailey, Borwein, López de Prado ve Zhu, 2014). Fark ölçülebilir: McLean ve Pontiff (2016), yayımlanmış 97 hisse getirisi öngörücüsünü inceledi; getiriler, özgün çalışmanın örneklemi bittikten sonra yayına kadar geçen dönemde %26, yayından sonra ise %58 daha düşüktü. Örneklem dışı veri, kanıtın bir aramanın biçimlendiremeyeceği tek parçasıdır.

Nasıl çalışır

En basit tasarım tek bir ayrılmış dönemdir (holdout): geçmiş bir kez bölünür, her şey önceki kısımda kurulup seçilir, sonraki kısım bir kez puanlanır. Piyasa verisinde bölme rastgele değil, zaman sırasına göre yapılmalıdır; bir elde tutma süresi boyunca ölçülen getirilerin sınırın iki yanına taşmaması için de birleşim noktasında bir boşluk bırakılır. İleriye doğru doğrulama aynı fikri tekrarlar: bir kesim tarihine kadar eğit, sonraki dönemde test et, kesim tarihini ileri kaydır. Klasik tuzak tekrar kullanmaktır. Ayrılmış dönemin sonucu araştırmacıyı stratejiyi değiştirmeye her yönelttiğinde, o dönem aramanın parçası olur ve örneklem dışı olmaktan çıkar; Dwork ve arkadaşları (2015), ayrılmış bir veri kümesinin uyarlamalı biçimde tekrar kullanılmasının, bir eğitim kümesinde olduğu gibi ona da aşırı uyuma yol açabileceğini gösterir.

Opulence Alpha nasıl uygular

Opulence Alpha'nın strateji doğrulaması, herhangi bir arama başlamadan önce geçmişin en son kısmını ayırır. Bu ayrılmış dönem rastgele bir dilim değil, serinin kuyruğudur ve arama bloğundan arındırma artı ambargo günlerinden oluşan bir boşlukla ayrılır; bir arama kampanyasında arındırma, stratejinin kendi elde tutma süresinden alınır. Adaylar yalnızca arama bloğunda puanlanır; ileriye doğru yeniden oynatmada ise, geçmiş yeterince uzunsa, sabit başlangıçlı ileriye doğru katmanların test bloklarında. Kazanan, ayrılmış dönemde bir kez yeniden oynatılır. Terfi Kapısı düzeltilmiş Sharpe oranını bu blokta okur; örneklem içi bir değer onun yerini tutamaz ve ayrılmış dönem kesilemediyse kontrol atlanmış sayılır, bu da yayını engeller.

Terfi Kapısındaki örneklem dışı kontroller →

Sorular

Örneklem içi ve örneklem dışı veri arasındaki fark nedir?

Örneklem içi veri, bir stratejiyi kurmak için kullanılan her şeydir: modelini eğitmek, parametrelerini ayarlamak ve sürümler arasında seçim yapmak. Örneklem dışı veri, bu seçimler kesinleşene kadar ayrı tutulur ve ardından yalnızca sonucu ölçmek için kullanılır. Bir stratejinin örneklem içi performansı geçmişe ne kadar iyi uyduğunu anlatır; örneklem dışı performansı ise görmediği veride nasıl davranabileceği konusunda daha iyi bir rehberdir.

Ayrılmış bir dönemi tekrar kullanmak onu neden bozar?

Çünkü stratejiyi değiştiren her bakış, ayrılmış dönemden tasarıma bilgi sızdırır. Aynı ayrılmış döneme karşı on sürüm deneyip en iyisini tutarsanız, o dönem ikinci bir eğitim kümesine dönüşür: kazananın oradaki puanı artık her örneklem içi puan gibi yukarı yönlü sapmalıdır. Temiz bir ayrılmış dönem, seçimler kesinleştikten sonra bir kez puanlanır; sonuç değişikliklere yol açarsa, onları sınamak için yeni ve dokunulmamış bir dönem gerekir.

İyi bir örneklem dışı sonuç, stratejinin işe yaradığını kanıtlar mı?

Hayır. Tek bir ayrılmış dönem, stratejiye şans eseri uymuş olabilecek tek bir dönemdir. Örneklem dışı testler verinin yalnızca bir kısmını kullandığı için, gerçek ama küçük bir etkiyi yakalamada örneklem içi testlerden daha az güçlüdür (Inoue ve Kilian, 2004). Piyasalar da değişir; testi geçen bir strateji yine de zamanla zayıflayabilir. Örneklem dışı test bir hata türüne, yani uydurulmuş gürültüyü beceri sanmaya karşı korur; son sınav, karardan sonra kaydedilen canlı sonuçlardır.

Opulence Alpha aramayı ayrılmış döneminden nasıl uzak tutar?

Ayrılmış dönem herhangi bir arama başlamadan önce kesilir ve adaylar yalnızca arama günlerinde puanlanır. İleriye doğru yeniden oynatmada hiçbir arama aşaması bir gün kümesi belirleyemez: her aday, katmanların test bloklarını puanlayan tek bir çalıştırıcıdan geçer; otomatik bir test de bir aramanın istediği her simülasyonun günlerini kaydederek hiçbirinin ayrılmış döneme düşmediğini denetler. Kazanan, ayrılmış dönemde bir kez yeniden oynatılır; parametre yuvarlama kontrolü de arama günlerinde çalışır, böylece ayrılmış dönem ikinci bir karar için harcanmaz.

Kaynaklar

  • Bailey, D. H., Borwein, J. M., López de Prado, M. & Zhu, Q. J. (2014). Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance. Notices of the American Mathematical Society 61(5).
  • McLean, R. D. & Pontiff, J. (2016). Does Academic Research Destroy Stock Return Predictability? Journal of Finance 71(1).
  • Dwork, C., Feldman, V., Hardt, M., Pitassi, T., Reingold, O. & Roth, A. (2015). The Reusable Holdout: Preserving Validity in Adaptive Data Analysis. Science 349(6248).
  • Inoue, A. & Kilian, L. (2004). In-Sample or Out-of-Sample Tests of Predictability: Which One Should We Use? Econometric Reviews 23(4).

Araştırma yöntemleri hakkında eğitim içeriğidir. Yatırım tavsiyesi değildir.