近日，谷歌人工智能學者Denny Britz發(fā)表了一篇文章《Building AI Trading Systems》，對其使用強化學習技術(shù)，學習如何構(gòu)建有利可圖的算法交易系統(tǒng)的經(jīng)驗進行了總結(jié)。

Denny表示，人工智能的優(yōu)勢顯而易見，但是也不能忽視良好的基礎(chǔ)設施：市場、數(shù)據(jù)、延遲、模型、執(zhí)行，必不可少；同時，強化學習比監(jiān)督學習難度要小些。

原文如下：

人工智能已經(jīng)相當商品化了，它比優(yōu)秀的基礎(chǔ)設施工程、數(shù)據(jù)收集或領(lǐng)域知識的歸納偏差更商品化?，F(xiàn)在，你可以輕松下載最先進的模型，并在你的數(shù)據(jù)上運行它們。除非你處于相關(guān)研究的前沿，否則不太可能僅僅通過訓練一個好的模型就獲得顯著優(yōu)勢。

當人們意識到他們的花哨的人工智能模型是建立在蹩腳的基礎(chǔ)設施上，用蹩腳的數(shù)據(jù)（同時也被其他人使用）訓練不起作用時，他們就會放棄。

人工智能可以給你一些優(yōu)勢，但這些優(yōu)勢沒有好到讓你忽略其他因素。你仍然需要構(gòu)建良好的基礎(chǔ)設施、獲取良好的數(shù)據(jù)、適當?shù)难舆t等等。

很少有人愿意花時間在這些事情上。每一個因素都是乘數(shù)，如果某一個因素為零，那你的AI模型多好都沒有用。

那么，其他的因素是什么呢？

市場——選擇正確的市場進行交易。不要隨大流，選擇每個人都默認選擇的。從法律上和技術(shù)上進入市場越難，發(fā)現(xiàn)機會的可能性就越大。流動性較弱的市場可能無法被成熟的基金所忽視，因為它們無法適應其資產(chǎn)管理規(guī)模。同樣，這對于追求“優(yōu)質(zhì)API”的工程師通常是違反直覺的——優(yōu)質(zhì)API通常意味著受歡迎，流行通常意味著商品化。

數(shù)據(jù)——考慮其他人無法訪問或不愿使用的數(shù)據(jù)源。例如，由于復雜的速率限制和IP禁令，可能存在難以抓取的數(shù)據(jù)。大多數(shù)人會在這里放棄，但這是你的一個機會，要對流行的API和開源軟件持懷疑態(tài)度，所有人使用的數(shù)據(jù)都是一樣的。

延遲——你可能不打算與HFT交易員競爭，但這并不意味著你可以完全忽略延遲。好的延遲能使執(zhí)行更容易以及更少的滑點。要注意在何處托管系統(tǒng)、如何發(fā)送數(shù)據(jù)、如何序列化數(shù)據(jù)等等。

模型——一般來說，好的數(shù)據(jù)比好的模型更重要，但是更好的模型也能給你帶來優(yōu)勢。注意，你經(jīng)常在模型復雜性和延遲之間進行權(quán)衡。

執(zhí)行力——如果不能執(zhí)行，好的模型就沒有多大意義。你收集的歷史數(shù)據(jù)可能和交易所實際發(fā)生的情況看起來很不一樣，直到開始交易，你才會知道實際發(fā)生的情況。

強化學習

在上一篇文章發(fā)表兩年之后，我還認為強化學習是市場交易的正確方法。然而，我承認，在工作時很多技巧工也是必要的。

強化學習的主要好處是您不需要設置可區(qū)分的損失函數(shù)。相反，你可以在某個時間范圍內(nèi)直接優(yōu)化盈虧。通過建立良好的仿真，模型可以學習到對延遲、抖動、滑點以及實際市場中可能發(fā)生的其他情況的魯棒性。

在監(jiān)督學習中，這就困難多了。你需要獲得許多超參數(shù)才能得到“剛剛好”——什么時間范圍優(yōu)化？要優(yōu)化什么？如何處理由于延遲、被拒絕的訂單、API問題等引起的隨機情況？如何處理非iid數(shù)據(jù)等等。

我相信如果你努力的話可以做到，但是依靠基于仿真的方法似乎是更有原則的解決方案。

我也相信市場模擬是一個很好的強化學習算法的測試平臺。它有著今天許多技術(shù)都難以克服的特性：

稀疏的積極反饋。在隨機探索和獎勵的情況下，你很難發(fā)現(xiàn)發(fā)現(xiàn)好的政策。

需要歸納到未來的日期。在RL中，研究者“對訓練集進行測試”時，往往忽略了泛化。

有了一個好的模擬器，環(huán)境就可以以延遲、抖動、API問題、滑點等形式提供許多隨機性。

非平穩(wěn)性。市場數(shù)據(jù)分布隨時間變化，agent必須學會處理它。

觀察到的低信噪比。

優(yōu)化迭代速度

由于其他agent會適應你的策略，因此大多數(shù)效率低下的問題都會轉(zhuǎn)瞬即逝，這些問題會根據(jù)你交易的地點和方式，可能持續(xù)幾毫秒、幾秒、幾分鐘、幾小時、幾天、幾周或幾個月。

持續(xù)盈利的方法就是始終善于發(fā)現(xiàn)稍縱即逝的機會。這基本上就是元學習。

訓練模型時優(yōu)化外循環(huán)速度，在發(fā)現(xiàn)新策略和調(diào)整模型和基礎(chǔ)設施方面，迭代的速度越快，效果就越好。圍繞這一點構(gòu)建基礎(chǔ)設施。

查詢和加載批量歷史數(shù)據(jù)來處理要盡可能快一點。要特別注意反序列化的成本。在使用匹配引擎構(gòu)建市場模擬器時，要對其進行廣泛的基準測試。

最小化RPC和網(wǎng)絡往返。我們這里討論的是數(shù)量級。我最近的一個模擬器比第一個模擬器快了約50倍。

由于模型是在仿真中訓練的，這意味著在訓練時迭代速度快了50倍。

自動化數(shù)據(jù)可視化，這樣當您得到意想不到的結(jié)果時，就可以很容易地查看它們。

當市場下跌時你無法賺錢

我從不太了解交易的人那里聽到一個常見的論點和誤解——我很幸運，因為市場上漲而獲利。

實際上，好幾個月以來，我的PnL圖表看起來是這樣的：

那么，我是否只是做空資產(chǎn)？不，我沒有做空任何事情，因為在我所交易的市場中不可能做空。市場很少會一直下跌。當人們說市場下跌時，他們說的是一個特定的時間范圍。市場可能在每日或每小時的范圍內(nèi)上呈下降趨勢。

這并不意味著在更短的時間尺度上只有向下的運動。它可能會有相當大的波動。一旦你開始放大到秒和毫秒，總是會有上升和下降，仍然有可能從中獲利，而無需做空任何東西。

就個人而言，在下降趨勢（按小時或每天的比例）期間，我總是賺得更多。我仍然不知道為什么會這樣。可能是因為市場那邊有更多的流動性，或者是因為當價格開始下跌時，有很多不知情的交易員提交幼稚的指令進入市場。

了解交易

如果向來自不同背景的十幾個交易員提出相同的問題，那你會得到十幾個不同的意見。

請注意，我使用的是“意見”一詞，而不是答案或事實。由于交易是一個秘密領(lǐng)域，因此很少有被廣泛接受的真理。

人們沒有相同的背景知識，他們在不同的地方使用不同的術(shù)語。如果你想學習交易，這很難。我不知道有什么在線資源能很好地教授算法交易。

你在網(wǎng)上找到的大多數(shù)課程和教程都是大師們寫的——他們通過教學賺錢，但自己從來沒有建立過一個盈利的系統(tǒng)。他們可能會向你推銷他們的SaaS產(chǎn)品。

研究論文也是如此。我訂閱了arXiv的q-fin，但與機器學習等領(lǐng)域相比，其質(zhì)量比較低。偶爾也會有一些有趣的點子，但絕大多數(shù)都是人們?yōu)榱苏夜ぷ骱桶岩恍〇|西寫進簡歷而做的實驗——這些想法在現(xiàn)實世界中都站不住腳。

顯然，運行一個盈利系統(tǒng)的人是不會發(fā)表與它有關(guān)的論文?！督灰着c交易所：從業(yè)者的市場微觀結(jié)構(gòu)》（Trading and Exchanges： Market微觀結(jié)構(gòu)）和《金融機器學習的進步》（Advances in Financial Machine Learning）等書是一個不錯的起點，但我的經(jīng)驗是，沒有什么比邊做邊學或找導師更好的了。