在最簡單的情況下，擬合是指對于一組已知的離散點(diǎn)，給定一個(gè)帶未知系數(shù)的函 數(shù)，通過調(diào)整該函數(shù)中系數(shù)的取值，使得已知的離散點(diǎn)與函數(shù)之間的差別最小化的過 程。量化交易策略研發(fā)中的最優(yōu)化部分可以在一定程度上看作是一個(gè)擬合的過程，通 過優(yōu)化量化交易策略的模型設(shè)置和參數(shù)設(shè)置來讓策略盡量適應(yīng)交易資產(chǎn)的內(nèi)在特征， 從而獲得更高的收益和更低的風(fēng)險(xiǎn)。在這個(gè)最優(yōu)化的過程當(dāng)中，可能會產(chǎn)生出一些偏離實(shí)際目標(biāo)的結(jié)果，依照一般量化交易研究的習(xí)慣，稱之為過度擬合和欠擬合。 實(shí)際上，在大的數(shù)據(jù)科學(xué)框架下，過度擬合和欠擬合具有更豐富的表現(xiàn)形式，下面的內(nèi)容僅針對量化交易策略研究可能出現(xiàn)的情況進(jìn)行說明。

        這里用一個(gè)簡單的例子來實(shí)際說明一下過度擬合和欠擬合。假設(shè)一個(gè)數(shù)據(jù)集源自 于一個(gè)帶有誤差項(xiàng)的二次方程，如下：

        其中 ε 是一個(gè)在[-50,50]之間均勻分布的誤差項(xiàng)。數(shù)據(jù)集一共包括二十個(gè)點(diǎn)，其中 x 分 別選取從 1 到 20 的 20 個(gè)整數(shù)。如圖 3.2 所示，星號為二十個(gè)觀測數(shù)據(jù)點(diǎn)，曲線為不 帶誤差項(xiàng)的原始二次方程。

        在實(shí)際的工作中，研究人員并不知道數(shù)據(jù)來源的具體邏輯，因此可能會設(shè)置出各 種各樣的方法來擬合數(shù)據(jù)集。當(dāng)研究者采用三次方程來擬合這 20 個(gè)數(shù)據(jù)點(diǎn)時(shí)，得到 的方程曲線如圖 3.3 所示。曲線與數(shù)據(jù)點(diǎn)的差距有一定縮小，但是曲線形狀與圖 3.2 中原始方程的曲線存在走勢上的差別，在圖形最左側(cè)有一個(gè)原始圖形沒有的下降趨勢， 右側(cè)的下降則比原圖更甚。使用復(fù)雜度比二次方程更高的三次方程來研究該數(shù)據(jù)集， 造成的就是過度擬合的問題。

        當(dāng)研究人員使用一次方程來擬合這 20 個(gè)點(diǎn)的數(shù)據(jù)集時(shí)，得到的方程曲線如圖 3.4 所示。很明顯，用復(fù)雜度較低的線性方程擬合出的結(jié)果損失掉了原始曲線中先上升后 下降的走勢特性，而呈現(xiàn)出一個(gè)線性下降的趨勢，這就是由欠擬合造成的。

        上面這個(gè)例子簡單化的展現(xiàn)了過度擬合和欠擬合在數(shù)據(jù)研究中的形式。對于量化 交易策略而言，過度擬合指的是由于選取的策略或模型過于復(fù)雜，不僅適應(yīng)了交易資 產(chǎn)本身的內(nèi)在屬性，而且在優(yōu)化過程中還刻畫了噪音在樣本數(shù)據(jù)中表現(xiàn)出的一些特性，

        過度的擬合了樣本數(shù)據(jù)，從而造成偏差，影響到策略的盈利能力。在一些專業(yè)書籍當(dāng) 中，過度擬合問題有時(shí)候也被稱之為曲線擬合。欠擬合則恰好相反，往往是由于選取 的策略或者模型過于簡單，適應(yīng)交易資產(chǎn)內(nèi)在特征的能力不強(qiáng)，擬合水平較低，因此 盈利能力也就較弱。

        就過度擬合和欠擬合的具體表現(xiàn)而言，兩者有相似之處也由于不同之處。正如上 面所述，兩種問題都會導(dǎo)致策略的實(shí)際盈利能力下降，這是它們的相同之處。但是欠 擬合的量化交易策略由于對數(shù)據(jù)的描述和挖掘能力不足，往往在歷史數(shù)據(jù)優(yōu)化下和實(shí) 際交易中都表現(xiàn)不好，因此在回溯測試時(shí)就可以比較直觀的分辨出來。過度擬合的量 化交易策略則不同，由于在擬合樣本數(shù)據(jù)時(shí)過度的優(yōu)化，進(jìn)而擬合了樣本中噪音的特 性，因此常常是歷史數(shù)據(jù)優(yōu)化下的結(jié)果很好，只有在實(shí)際交易中才會顯著變差，也就 是俗稱的泛化能力低下。在實(shí)際的量化交易策略研發(fā)過程當(dāng)中，這樣的性質(zhì)增加了過 度擬合判別的難度。

        在大部分情況下，一個(gè)量化交易策略往往既具有過度擬合的問題，也具有欠擬合 的問題，原因在于金融資產(chǎn)的內(nèi)在屬性并不像物理學(xué)等學(xué)科所研究的對象一樣，存在 一個(gè)較為明確的運(yùn)行邏輯，同時(shí)也比語音識別等數(shù)據(jù)科學(xué)問題的情況更加復(fù)雜和模糊， 人們現(xiàn)在對于資產(chǎn)價(jià)格運(yùn)行模式等問題的了解還處在非常皮毛的狀態(tài)。在實(shí)際工作中， 研究選取的策略或模型可能只有一部分設(shè)置適應(yīng)了交易資產(chǎn)的內(nèi)在屬性，相符的內(nèi)在 屬性也只占交易資產(chǎn)整體屬性的一部分，因此策略模型是欠擬合的。好在量化交易策 略研發(fā)并不是一個(gè)需要絕對精確的學(xué)科，即使策略模型與數(shù)據(jù)內(nèi)在特性相符的程度不大，只要存在這種適應(yīng)性，就有可能為研發(fā)者帶來可觀的利潤。于此同時(shí)，研究得到 的策略模型的另外一部分設(shè)定可能就與交易資產(chǎn)的內(nèi)在屬性完全沒有相關(guān)性，經(jīng)過最 優(yōu)化等工作之后只是擬合了資產(chǎn)交易中的噪聲，從而造成過度擬合的問題。。{原文來自 www.weiqiv.net.cn }

        實(shí)際工作中研究人員既需要減少量化交易策略過度擬合的程度，也要同時(shí)減少策 略欠擬合的程度。解決欠擬合的途徑較為清晰，就是不斷的嘗試各種各樣的策略，基 于更多、更好的策略模型來挖掘交易資產(chǎn)的內(nèi)在特征，獲得相應(yīng)的盈利能力。當(dāng)然， 嘗試新策略是量化交易策略研究工作的基本要求，因此欠擬合這一問題也較少的被研 究人員所提及，大部分文獻(xiàn)資料都更注重于過度擬合的問題，也存在許多相關(guān)論述。 從本質(zhì)上說，簡化策略當(dāng)然是一個(gè)行之有效的較少過度擬合的方法，馮諾伊曼曾通過 費(fèi)曼和戴森之口說出了“我能用四個(gè)參數(shù)擬合一頭大象，用五個(gè)參數(shù)讓它擺動鼻子” 的經(jīng)典名言，參數(shù)過多、模型過于復(fù)雜可能會導(dǎo)致過度擬合這一看法已經(jīng)成為了一個(gè) 公論。  

        但是與此同時(shí)，簡化策略又與研究者要解決欠擬合、嘗試找到更合適的策略的目 標(biāo)背道而馳。圖 3.5 給出了一個(gè)策略在簡單和復(fù)雜之間變動時(shí)，欠擬合與過擬合情況 的粗略示例。由于交易資產(chǎn)的內(nèi)在運(yùn)行邏輯尚不清楚，因此任何一個(gè)交易策略都只能 挖掘并利用數(shù)據(jù)內(nèi)在特征的一部分，也就是兩個(gè)圓重合的淺灰色區(qū)域，而剩下的白色 區(qū)域則是交易策略沒有實(shí)際效用但是客觀存在的部分。當(dāng)策略復(fù)雜度增加時(shí)，策略就 有可能更多的利用數(shù)據(jù)的特征，表現(xiàn)為淺灰色的重合區(qū)域增加，欠擬合問題得到緩解。 但是與此同時(shí)，策略無效的白色區(qū)域也可能相應(yīng)的增加，這一部分經(jīng)過最優(yōu)化就是過 度擬合的成因。因此在量化交易策略的研發(fā)工作中，策略的復(fù)雜程度、參數(shù)數(shù)量的設(shè)置等問題常常需要研究人員根據(jù)實(shí)際情況、過往經(jīng)驗(yàn)來進(jìn)行主觀判斷，沒有一個(gè)固定的最優(yōu)標(biāo)準(zhǔn)。好在針對回溯測試過程而言，存在著一些可以用來判別過度擬合問題的 技巧，因此研究者可以在適當(dāng)增加量化交易策略復(fù)雜程度的基礎(chǔ)上，通過這些技巧來盡量規(guī)避策略的過度擬合。{原文來自 www.weiqiv.net.cn }

        除此之外，增加回溯測試時(shí)使用的樣本量也是一個(gè)可能會產(chǎn)生作用的做法。如果量化交易策略所針對的交易資產(chǎn)內(nèi)在特性沒有隨著時(shí)間產(chǎn)生變化，那么增加樣本量可 以擴(kuò)展回溯測試的覆蓋范圍，從而在更大的區(qū)間內(nèi)研究策略的穩(wěn)定程度，而樣本量的 增加也可以讓研究人員更自由的使用一些判斷過度擬合的研究技巧，這樣就能夠在保 證不造成欠擬合問題的條件下，更好的規(guī)避過度擬合的產(chǎn)生。在實(shí)踐中增加樣本量進(jìn) 行研究的做法也確實(shí)能夠取得一定的效果，因此在可獲得的數(shù)據(jù)量充足的前 提下，還是應(yīng)該盡可能的讓回溯測試覆蓋更廣的范圍。不過究其根源，內(nèi)在特性不隨 時(shí)間變化的假設(shè)本身是值得懷疑的，前面已經(jīng)說過，人們現(xiàn)在對于資產(chǎn)價(jià)格運(yùn)行等內(nèi) 在特性的了解還處于非常皮毛的狀態(tài)，即使研究者們發(fā)現(xiàn)了某些規(guī)律并基于這些規(guī)律 形成了可以盈利的策略，也不能保證這些規(guī)律會保持下去。在這種情況下，不經(jīng)判斷 而盲目的增加數(shù)據(jù)量，就可能對量化交易策略的盈利能力造成誤判。而且在中國市場 這種運(yùn)作時(shí)間較短、環(huán)境變化較快的市場上，該問題就更加嚴(yán)重。完全消除這個(gè)矛盾 需要研究人員對本質(zhì)問題充分理解和把握，這并不是僅靠一個(gè)合理的量化交易策略研 發(fā)框架就可以解決的問題。