[原創(chuàng)]談?wù)劤绦蚧灰啄屈c(diǎn)破事 [開拓者 TB]
- 咨詢內(nèi)容：
開發(fā)一個(gè)程序化交易策略的過程本質(zhì)上都是在追求經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。為什么叫“經(jīng)驗(yàn)風(fēng)險(xiǎn)”？根據(jù)已知的歷史數(shù)據(jù)去歸納總結(jié)，不就是經(jīng)驗(yàn)嘛。經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化顧名思義就是根據(jù)已知樣本數(shù)據(jù)去不斷優(yōu)化你的策略，去達(dá)到風(fēng)險(xiǎn)最小化的目的。為什么叫“風(fēng)險(xiǎn)最小化”？風(fēng)險(xiǎn)就是指你出錯(cuò)的可能性，我們通過不斷的優(yōu)化去減少出錯(cuò)的可能性，不就是風(fēng)險(xiǎn)最小化嘛。風(fēng)險(xiǎn)最小化更直觀的理解就是收益最大化。（呵呵，別嫌我啰嗦）。
于是通過我們的不懈努力終于得到了一個(gè)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的模型，但現(xiàn)在問題來了，我們選定這個(gè)模型的假設(shè)與問題真實(shí)解之間究竟有多大差距，我們就沒法得知。比如說我們認(rèn)為宇宙誕生于150億年前的一場大爆炸，這個(gè)假設(shè)能夠描述很多我們觀察到的現(xiàn)象，但它與真實(shí)的宇宙模型之間還相差多少？誰也說不清，因?yàn)槲覀儔焊筒恢勒鎸?shí)的宇宙模型到底是什么。
直觀的表現(xiàn)便是用歷史數(shù)據(jù)測試很好的模型一旦實(shí)盤就不行了。（為什么不行？本人曾千百遍的逼問自己），看看經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則我們就會發(fā)現(xiàn)，此原則適用的大前提是經(jīng)驗(yàn)風(fēng)險(xiǎn)要確實(shí)能夠逼近真實(shí)風(fēng)險(xiǎn)才行。但實(shí)際上能逼近么？答案是不能。（為什么不能？因?yàn)闃颖緮?shù)據(jù)相對于真實(shí)世界來說簡直九牛一毛，有人可能會說那我用一個(gè)品種上市以來所有的歷史數(shù)據(jù)來做樣本，我會問他“那未來呢”？哈哈哈）
閑話少說，來看看我們的真是風(fēng)險(xiǎn)到底是什么：
R(w)≤Remp(w)+Ф(n/h)
公式中R(w)就是真實(shí)風(fēng)險(xiǎn)，Remp(w)就是經(jīng)驗(yàn)風(fēng)險(xiǎn)，Ф(n/h)就是置信風(fēng)險(xiǎn)，經(jīng)驗(yàn)風(fēng)險(xiǎn)代表了分類器在給定樣本上的誤差，置信風(fēng)險(xiǎn)代表了我們在多大程度上可以信任分類器在未知文本上分類的結(jié)果
也許有人會問為什么公式不用等于號要用大于等于呢？因?yàn)楣降牡诙糠质菦]有辦法精確計(jì)算的，因此只能給出一個(gè)估計(jì)的區(qū)間，也使得整個(gè)誤差只能計(jì)算上界，而無法計(jì)算準(zhǔn)確的值（所以叫做泛化誤差界，以上公式及理論基礎(chǔ)請問度娘，本人不做過多介紹）。
經(jīng)驗(yàn)風(fēng)險(xiǎn)大家容易理解，那置信風(fēng)險(xiǎn)呢？置信風(fēng)險(xiǎn)與兩個(gè)量有關(guān)，一是樣本數(shù)量，顯然給定的樣本數(shù)量越大，我們的學(xué)習(xí)結(jié)果越有可能正確，此時(shí)置信風(fēng)險(xiǎn)越小；二是模型（函數(shù)）的VC維，顯然VC維越大，推廣能力越差，置信風(fēng)險(xiǎn)會變大。
那到底什么是VC維呢？（讀到這里肯定有人開始討厭我了，但不打緊，為了大家更好的理解，我還是解釋一下），所謂VC維是對函數(shù)類的一種度量，我們可以簡單的理解為模型的復(fù)雜程度，VC維越高，一個(gè)模型就越復(fù)雜。VC維理論是統(tǒng)計(jì)學(xué)習(xí)理論界的大牛Vapnik和Chervonenkis創(chuàng)造的，詳細(xì)的解釋此處需要2000到3000字，大家還是去問度娘吧。
現(xiàn)在大家都明白一個(gè)直觀的道理了吧。原來交易策略要適應(yīng)未來并長期有效，關(guān)鍵就是要函數(shù)的VC維越小越好（程序越簡單越好）。
回過頭來我們談?wù)劜呗詢?yōu)化的問題，我們有一定的樣本數(shù)據(jù)，通過過度優(yōu)化（設(shè)很多參數(shù)，加很多過濾條件…），必然會得到一個(gè)測試效果很好的模型（數(shù)量為N的樣本數(shù)據(jù)必然能被一個(gè)N-1次多項(xiàng)式函數(shù)幾乎100%的擬合），也就是說，只要模型足夠復(fù)雜，不管多么非線性的數(shù)據(jù)總是可以被擬合的。但是…這不和我們剛才提出的要減小VC維，減小模型復(fù)雜度的理論相沖突嗎？？？好吧，為了減小模型復(fù)雜度，那我就不去優(yōu)化策略好了，可是不去優(yōu)化策略，我程序的擬合度又很低，在歷史數(shù)據(jù)里測試都沒法賺錢，怎么辦呀？？？
為了更好的解釋這一問題，我又要提出兩個(gè)遭人煩的專業(yè)名詞了，“偏差”和“方差”，具體還是去問度娘。一個(gè)在歷史數(shù)據(jù)中沒怎么優(yōu)化的模型，測試效果肯定不好，叫欠擬合，一個(gè)在歷史數(shù)據(jù)中過度優(yōu)化的模型，測試效果肯定好，叫過擬合。欠擬合就叫偏差太大，過擬合就叫方差太大，怎么才能在偏差和方差二者之間權(quán)衡呢？這個(gè)問題正是我下一節(jié)要講的。這是一篇連載的帖子，作者暫時(shí)有點(diǎn)累了，呵呵……
（一大堆文縐縐的專業(yè)名詞和概念想必看了就煩，想刨根問底的朋友可以去看看網(wǎng)易公開課里面有個(gè)叫斯坦福大學(xué)機(jī)器學(xué)習(xí)公開課的課程，講師是目前大名鼎鼎的百度的首席科學(xué)家吳恩達(dá)） - TB技術(shù)人員：
期待連載！
- TB客服：
有人在問我，你上文說的“只要模型足夠復(fù)雜，不管多么非線性的數(shù)據(jù)總是可以被擬合的”。 還說什么“數(shù)量為N的樣本數(shù)據(jù)必然能被一個(gè)N-1次多項(xiàng)式函數(shù)幾乎100%的擬合”。你是誰牛皮的吧？你能做得到嗎？給你某段時(shí)間2000根K線樣本數(shù)據(jù)（數(shù)量隨便寫的），你設(shè)計(jì)一個(gè)算法，根據(jù)這個(gè)算法可以依據(jù)所要判斷的K線之前的數(shù)據(jù)做為自變量來精確地判斷下一根K線是漲還是跌。（意思就是說我要判斷10:00點(diǎn)鐘K線的漲跌，必須只能用10:00點(diǎn)以前的數(shù)據(jù)去做自變量，不然就成未來函數(shù)了，還有什么意義呢，哈哈）。
可以負(fù)責(zé)人的告訴大家，我可以做得到。而且是100%的正確（判斷漲還是跌）。不是我個(gè)人能力有多強(qiáng)，而是我只需用到了一些機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘方面的算法，這些算法的種類很多，就不一一道來了。說到底它就是一個(gè)強(qiáng)奸數(shù)據(jù)的工具，哈哈！
肯定有人會說這么多年來這么多人夢寐以求想達(dá)到的目標(biāo)，你用一個(gè)數(shù)據(jù)挖掘的算法輕輕松松的就達(dá)到了，那全世界的錢都讓你一個(gè)人賺去得了。哈哈哈，千萬別忘了我們前文所說的這個(gè)擬合精度僅僅是建立在已知樣本上的，而且函數(shù)的VC維極高，它對樣本外（未來）數(shù)據(jù)的推廣能力（適應(yīng)性）是很差的，用這樣的策略去交易未來的行情，結(jié)果只有虧得一塌糊涂。
我來解釋一下為什么是這個(gè)結(jié)果，因?yàn)闉榱诉m應(yīng)已知數(shù)據(jù)非常非線性的波動(dòng)特點(diǎn)，算法當(dāng)然會去選擇一個(gè)非常復(fù)雜的N次函數(shù)（一個(gè)在維度非常高的空間中的分類超平面），遠(yuǎn)遠(yuǎn)超過電影《星際穿越》中的五維空間哦，物理學(xué)中能被證明出來的空間也就五維，但是數(shù)學(xué)中的維度是無限多的。
言歸正傳，這樣得到的分類函數(shù)是過擬合的，按我們前文的結(jié)論，過擬合是高方差的，是沒有推廣能力并不適應(yīng)未來的。
好了，今天先說到這里，明天再寫…
有思路，想編寫各種指標(biāo)公式，程序化交易模型，選股公式，預(yù)警公式的朋友
可聯(lián)系技術(shù)人員 QQ: 1145508240 進(jìn)行 有償 編寫！（不貴！點(diǎn)擊查看價(jià)格！）
相關(guān)文章
-
沒有相關(guān)內(nèi)容
會員登錄/注冊