問題
「如何判斷一個程序化策略失效還是正常失誤，如果失效的話，如何判斷是需要調整參數還是完全放棄策略?」

回答
「此問題確實關鍵而難以抉擇，可藉由實務界的經驗規則，或學術界的量化檢驗。首先談實務界的規則，在論壇中有篇探討交易系統生命周期的文章( http://www.weiqiv.net.cn/2012/09/19/7315.shtml )，提到…

「… 根據Robert Pardo(在國外系統交易界還算有名的一個人)的建議是這樣的，如果一個交易系統是經過良好的design,良好的最佳化，沒有over-fitting的情形：

1.如果是用2年的歷史數據來設計出來的系統，而且在這2年的歷史數據都有不錯的表現的話，應該會有6-12個月的生命周期。
2.如果是用5年的歷史數據的設計出來的系統，而且在這5年的歷史數據都有不錯的表現的話，應該會有1-2年生命周期。」
這個答案可以參考，但我覺得時空背景不同，不能一概而論，且沒有科學根據(在該篇文章的后續討論串中，我也做了響應)，但提供一個可以接受的觀念，「回測期間與可用期間成正比」，一般做當沖、短線、高頻交易，回測只需取前幾天。即，你使用的周期越小，持倉的平均時間越短，那就可以用越短的數據來進行測試，這也是古期在培訓課程中有講過，日內交易的，一般測式一年的時間是夠用的，但隔日的，就要兩年或以上的原因。

另一個較科學方法是使用統計檢定，依據要檢驗的統計量，做均值、變異數與比例值的檢定，用簡單的話(不帶學術術語)說，如果要確定該策略之「歷史回測過程報酬率序列」(例如回測期間交易的報酬分別為10%, 14%, 8%, -3%, 5%, -7% ….)，與「運用策略以后的報酬率序列」(-2%, 5%, -6%, 3%...)間有無「明顯」變差(一般所謂明顯通常意指95%的可能性)，則做所謂的「均值檢定」；均值檢定如果樣本數(即前述的報酬率值數目)小于30采取小樣本，大于等于30采大樣本檢定，因為如果要等到策略運用過程收集到30個樣本，恐怕虧損連連了，因此通常采取小樣本。
再則，策略運用過程報酬是依序產生的，有2個報酬就可以作檢定了(驗證是否失效了)，但此統計方法在樣本不足時也不會遽下定論，因此只要順著產生的報酬數據依序帶入檢定，檢查是否碰到臨界值(失效的界線)或P值(依然維持原有績效的可能性)，就可以決定是否放棄該交易模型了。(同理，也可以用變異數檢定檢定風險特性是否改變，用比例檢定檢定勝率是否改變)。

以上這種方法不太適用普通投資朋友，因為他的計算繁雜本身就是一個較大難 度。所以，對于策略的失效與否，不妨用實盤中的一些數據，如近一個月遠差于策略以往測試，連續兩個月遠不如策略以往測試數據的話，就可以基本認為失效了。
 

至于失效以后如何呢? 有些人認為，應該修改參數，有些人，認為應該放棄策略。我這人較中庸，古期認為，要按照你建立策略的思路來分析對待。這個范圍太廣了，這里不好講。但我堅決反對，為了測試數據，胡亂用什么軟件功能上的參數優化，那個得出的數據，很多會使得參數過從優化，而使得未來效用不大，甚至反效用。策略參數，思路的制定，我主張比歷史經驗，平常經驗中提取。

至于可否使用時間數列方法，我認為因為是非定頻時序數據，除非這領域的方法有突破(而我不知道)，否則用處不大」