近期，NIPS 2018 AutoML挑戰(zhàn)賽公布了最終結(jié)果。本次賽事共有近三百支隊伍參賽，包括了麻省理工學(xué)院、加州大學(xué)伯克利分校、德州農(nóng)工大學(xué)、清華大學(xué)、北京大學(xué)等國內(nèi)外頂尖高校，微軟、騰訊、阿里巴巴等科技巨頭。清華大學(xué)計算機系朱文武團隊斬獲第二，高校排名雄踞第一！

NIPS 2018 AutoML挑戰(zhàn)賽結(jié)果出爐：印度團隊autodidact.ai第一，清華計算機系朱文武實驗室Meta_Learners團隊斬獲第二。

值得注意的是，清華Meta_Learners團隊是本次參賽高校成績第一，且僅與冠軍差0.2個排名！

AutoML，全稱為Automated Machine Learning，是機器學(xué)習(xí)領(lǐng)域的一個新興方向。旨在自動化整個機器學(xué)習(xí)的流程，降低數(shù)據(jù)預(yù)處理、特征工程、模型選擇、參數(shù)調(diào)節(jié)等環(huán)節(jié)中的人工成本。

隨著機器學(xué)習(xí)系統(tǒng)的日益復(fù)雜化，AutoML得到了產(chǎn)學(xué)研各界的廣泛關(guān)注，已成為人工智能領(lǐng)域最熱門的研究方向之一。

本次賽事共有近三百支隊伍參賽，包括了麻省理工學(xué)院、加州大學(xué)伯克利分校、德州農(nóng)工大學(xué)、清華大學(xué)、北京大學(xué)等國內(nèi)外頂尖高校，微軟、騰訊、阿里巴巴等科技巨頭，autodidact.ai、Rapids.ai等新興創(chuàng)業(yè)公司，Auto-sklearn、Auto-keras等著名AutoML開源框架的作者團隊。

根據(jù)官方公布的排名結(jié)果來看，朱文武實驗室Meta_Learners團隊在Set 2和Set 4上的排名均居第一，在其它3個Set上也都取得了較高名次。

全球名校、企業(yè)同臺競爭：清華斬獲第二，高校第一！

Meta_Learners團隊成員包括計算機系博士畢業(yè)生張文鵬、在讀碩士生熊錚、在讀博士生蔣繼研，由張文鵬擔(dān)任隊長，朱文武教授擔(dān)任指導(dǎo)教師。

團隊從2015年開始持續(xù)關(guān)注和布局AutoML領(lǐng)域，目前已經(jīng)具備了較為豐富的領(lǐng)域知識和較為深厚的技術(shù)積累，今年首次參加AutoML比賽即摘得亞軍。

今年的賽事題目聚焦于真實應(yīng)用場景下存在概念遷移的大規(guī)模流式數(shù)據(jù)中的AutoML問題，對AutoML系統(tǒng)的自適應(yīng)能力、魯棒性都提出了較以往比賽更高的要求。

比賽分為兩個階段：Feedback階段和AutoML階段。

Feedback階段是代碼提交階段。主辦方會提供5個與第二階段的數(shù)據(jù)集具有相似特性的訓(xùn)練數(shù)據(jù)集；參賽者在訓(xùn)練數(shù)據(jù)集上構(gòu)建AutoML系統(tǒng)，并根據(jù)線上運行結(jié)果進行優(yōu)化。

AutoML階段是盲測階段，無法進行代碼提交。參賽者在Feedback階段提交的最后一版代碼會在5個全新的數(shù)據(jù)集上進行自動化的訓(xùn)練與測試，得到的盲測結(jié)果將作為比賽最終排名的依據(jù)。

每個數(shù)據(jù)集內(nèi)部按時間順序分為10個Batch，每個Batch代表終身（Lifelong）學(xué)習(xí)場景中的一個階段。

參賽者提交的AutoML系統(tǒng)使用數(shù)據(jù)集中的第一個Batch作為訓(xùn)練數(shù)據(jù)生成初始模型，并在第一個測試Batch（整個數(shù)據(jù)集中的第二個Batch）上進行預(yù)測。隨后，系統(tǒng)將得到當(dāng)前測試Batch的標(biāo)簽，并對初始模型進行修正。系統(tǒng)將在后續(xù)的所有測試Batch上迭代進行預(yù)測與模型修正，直到完成對所有測試Batch的預(yù)測。

比賽制勝法寶：做好不同層次的平衡（Tradeoff）

在本次比賽中，Meta_Learners團隊采用了梯度提升樹（Gradient Boosting Tree），在傳統(tǒng)的AutoML框架上，結(jié)合本次比賽數(shù)據(jù)的特性做了有針對性的設(shè)計：

特征工程方面，主要針對類別特征高基數(shù)、長尾分布的特點，采用了頻數(shù)編碼、中值編碼等不同編碼方式，以及離散化、分位數(shù)變換等處理技巧。

遷移適應(yīng)方面，針對數(shù)據(jù)存在概念遷移的問題采用了自適應(yīng)的流式編碼技術(shù)。

資源控制方面，自動監(jiān)測系統(tǒng)中各個組件的運算花銷，并使用Bandit技術(shù)對搜索空間進行壓縮和剪枝。

團隊認(rèn)為AutoML比賽的關(guān)鍵在于做好不同層次的平衡（Tradeoff）。

首先是宏觀方法論層面的平衡。AutoML比賽和傳統(tǒng)的數(shù)據(jù)挖掘比賽有很多相似之處，但也有本質(zhì)的不同。相似之處在于特征工程都發(fā)揮著至關(guān)重要的作用。不同之處在于，傳統(tǒng)數(shù)據(jù)挖掘比賽的訓(xùn)練集和測試集一般來自于同一場景，在第一階段表現(xiàn)好的方法，在第二階段更換新的測試集后一般仍然會好。但是在AutoML比賽中，第二階段會更換嶄新的數(shù)據(jù)集（與第一階段的數(shù)據(jù)集有一定相似性，但并不同源）。

因此，AutoML系統(tǒng)如果過分適應(yīng)第一階段的數(shù)據(jù)，就會導(dǎo)致在第二階段的排名出現(xiàn)較大波動。所以該團隊的策略是并不刻意追求第一階段的排名，而是注重提升整個系統(tǒng)的泛用性和自適應(yīng)能力，也就是做好第一階段和第二階段的平衡。

其次是搜索空間和資源約束之間的平衡。搜索空間大會覆蓋更多的候選配置（特征、算法和參數(shù)的組合），但太大則會超出系統(tǒng)資源的約束。AutoML系統(tǒng)需要根據(jù)不同數(shù)據(jù)集的大小和數(shù)據(jù)特性，自適應(yīng)地設(shè)計和分配搜索空間，以保證在不超出資源限制的前提下，選擇出更好的配置。

AutoML技術(shù)的關(guān)鍵在于如何理解Auto的過程

而此次比賽結(jié)果，Meta_Learners團隊與第一名僅差0.2個排名，對此次的惜敗，團隊成員表示時間利用不夠充分是主要理由。

比賽中期，由于一些臨時事件的耽誤，團隊內(nèi)部交流和討論不夠充分，導(dǎo)致進度停滯了一段時間。

在處理概念遷移的過程中，團隊曾出現(xiàn)技術(shù)路線的偏離，在數(shù)周內(nèi)進展緩慢。團隊最初沿著序列化檢測和自適應(yīng)的思路進行探索，效果并不理想；經(jīng)過仔細分析，團隊發(fā)現(xiàn)Batch間的遷移并無趨同性，不符合序列化模型的場景假設(shè)。因此，團隊放棄了該技術(shù)路線，但確實耽誤了很多時間。

由于前面時間的耽誤，比賽最后階段，模型整合優(yōu)化的時間不夠充分，一些在某些數(shù)據(jù)集上效果良好的算法并沒有納入最終AutoML框架的自動選擇范圍內(nèi)。例如，遷移學(xué)習(xí)中基于密度比估計的重要性采樣（Importance sampling），在波動較大的Batch上有很好的效果，但算法本身計算成本高，需要做進一步優(yōu)化。最終由于時間有限，團隊并沒有把該方法優(yōu)化得很好，也就沒有把它納入最終的解決方案。

對于AutoML技術(shù)本身，團隊認(rèn)為，關(guān)鍵在于如何理解Auto的過程。對此，不同研究者有著不同的視角，進而衍生出了基于貝葉斯優(yōu)化、強化學(xué)習(xí)、遷移學(xué)習(xí)、遺傳算法、Bandit和梯度下降等不同方法的技術(shù)路線。更好的理解會有助于產(chǎn)生出更優(yōu)化的算法。

學(xué)術(shù)界和產(chǎn)業(yè)界都關(guān)注如何提高AutoML算法的性能和效率。相對而言，有一些問題學(xué)術(shù)界會關(guān)注得更多一點，比如，算法的最優(yōu)性保證、算法中的Auto可以做多少層等；與此相對應(yīng)，產(chǎn)業(yè)界可能會更關(guān)注一些具體實際場景中的AutoML問題，比如，本次比賽關(guān)注存在概念遷移的大規(guī)模流式數(shù)據(jù)中的AutoML問題。當(dāng)然，團隊也從中提取了一些有研究價值的學(xué)術(shù)問題。

團隊介紹

Meta_Learners團隊由清華大學(xué)博士張文鵬、碩士研究生熊錚、博士研究生蔣繼研組成，由張文鵬擔(dān)任隊長。

在本次比賽中，張文鵬負責(zé)技術(shù)路線的選擇和比賽節(jié)奏的把控；熊錚負責(zé)基礎(chǔ)框架、控制模塊的構(gòu)建和部分特征工程；蔣繼研負責(zé)概念遷移的處理和部分特征工程。

該團隊從2015年開始關(guān)注AutoML領(lǐng)域，當(dāng)時谷歌還沒有提出相關(guān)概念。最初，張文鵬發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的調(diào)參非常復(fù)雜，進而意識到AutoML的價值和潛力。朱文武老師也非常認(rèn)同，果斷組建團隊開始該領(lǐng)域的研究。在該團隊中，熊錚主要關(guān)注基于貝葉斯優(yōu)化的AutoML系統(tǒng)，蔣繼研則關(guān)注Bandit方法在AutoML中的應(yīng)用。

2017年，該團隊提出了利用強化學(xué)習(xí)構(gòu)建決策樹模型的元學(xué)習(xí)算法并發(fā)表于NIPS 2017的Meta Learning Workshop，這也是國內(nèi)相關(guān)領(lǐng)域最早的研究成果之一。

此外，該團隊目前也有布局特征工程、深度學(xué)習(xí)、計算機視覺、自然語言處理等領(lǐng)域的AutoML研究。