回溯測試後的必經流程:樣本外測試 Out-of-sample test


一間公司的主管或老闆,錄取一位新人時,無論他過去履歷再輝煌,還是得經過試用期才可以將人事定案下來。

在市場中交易也是一樣,策略即便有漂亮的績效,也得經過「樣本外測試」(Out-of-sample test),使用歷史績效以外的數據進行對過去測試的驗證。


樣本外測試的好處:

1. 不需要實際投入資金

 也就是俗稱的「空氣單」,關鍵是運用有別於回測的資料。

 即便是使用歷史資料,也可以預留一段專門做樣本外測試用。

2. 發現策略設計的缺失

  在試用期了解對方的缺點,及早預防未來潛在的重大損失!

3. 避開參數過度最佳化 over fitting

 減少回測中最危險的 over fitting 的可能性,如同經過試用期,可以分辨出履歷表與現實的差距,大幅降低未來風險。



樣本外測試的注意事項:

1. 避免用樣本外的資料來調整參數

 否則這些資料就沒用了。

2. 資料多樣性要足夠

 歷史資料最好盡可能包含各種多頭、空頭、盤整年的情況,而樣本外測試雖然使用的時間較短,但仍應該避免全是多頭或全是空頭,這類缺乏測試價值的區間。

3. 資料長度要夠長

 資料長度是根據交易週期長短決定,也就是足夠的交易次數。

 一般歷史資料與樣本外資料約是10比1,樣本外測試交易次數也必須盡可能超過30次以上,越多越好!

 也因此周期過長的策略往往難以被檢驗,往往必須投入相同策略在多市場或多商品來彌補樣本數的不足!



---

「信任,但要驗證。」 -雷根總統



沒有留言:

張貼留言