近日，數(shù)據(jù)挖掘領(lǐng)域頂會PAKDD的AutoML挑戰(zhàn)賽結(jié)果出爐，DeepBlueAI、微軟&北航、清華大學等團隊斬獲前三名。本文帶來冠軍團隊解決方案的技術(shù)分享。

PAKDD 2019 AutoML挑戰(zhàn)賽結(jié)果出爐：國內(nèi)團隊 DeepBlueAI 斬獲第一名，微軟亞洲研究院&北航組成的ML Intelligence團隊獲得第二名，清華大學Meta_Learners團隊獲得第三。

Feedback phase 排行榜

PAKDD 全稱亞太地區(qū)知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議（Pacific Asia Knowledge Discovery and Data Mining），是亞太地區(qū)數(shù)據(jù)挖掘領(lǐng)域的頂級國際會議。該會議在全球數(shù)據(jù)挖掘領(lǐng)域享有盛譽，一直受到業(yè)內(nèi)各國科學家的高度重視和廣泛認可。

PAKDD 2019 第 4 屆自動機器學習挑戰(zhàn)賽（AutoML Challenge）的主題是“AutoML for Lifelong Machine Learning”，要求參賽選手創(chuàng)建一個自動預(yù)測模型（沒有任何人為干預(yù)），并在一個終身機器學習（Lifelong Machine Learning）設(shè)置中訓練和評估該模型。

AutoML，全稱為Automated Machine Learning，是機器學習領(lǐng)域的一個新興方向。旨在自動化整個機器學習的流程，降低數(shù)據(jù)預(yù)處理、特征工程、模型選擇、參數(shù)調(diào)節(jié)等環(huán)節(jié)中的人工成本。

隨著機器學習系統(tǒng)的日益復(fù)雜化，AutoML 得到了產(chǎn)學研各界的廣泛關(guān)注，已成為人工智能領(lǐng)域最熱門的研究方向之一。

據(jù)悉，本次競賽共有 127 個隊伍參加，共收到 550 多個方案，最終有 31 個隊伍進入決賽。

最終獲勝的隊伍為：

冠軍：DeepBlueAI，羅志鵬，黃堅強，陳明健

亞軍：ML Intelligence，包夢蛟，Hui Xue，Yihuan Mao，Yujing Wang

季軍：Meta_Learners，熊錚，蔣繼研，張文鵬

接下來，本文帶來冠軍團隊解決方案的分享。

冠軍方案關(guān)鍵技術(shù)：自動特征工程和自動快速特征選擇

如下圖所示，研究團隊實現(xiàn)了一個Lifelong AutoML 框架，包括自動特征工程和自動快速特征選擇、自動模型調(diào)參、自動模型融合等步驟，在類別不平衡的處理上我們使用了自適應(yīng)采樣并在模型訓練上有一定的創(chuàng)新，對概念漂移問題我們結(jié)合DNN的預(yù)訓練和LightGBM的再訓練以及針對性地設(shè)計特征來緩解概念漂移，并且利用了多種策略對運行時間和運行內(nèi)存進行了有效的控制，以確保解決方案能在限制時間和內(nèi)存下完成整個流程。

自動特征工程與快速特征選擇：

與以往的AutoML框架所不同的是，我們的框架更加注重自動特征工程與特征選擇，我們構(gòu)建的自動特征工程不僅是基于時間特征、分類特征、數(shù)值特征、多值分類特征做特征間的高階組合，同時我們自動提取跨時間、樣本的高階組合。

對于特征選擇，我們結(jié)合特征重要性及序列后向選擇算法實現(xiàn)了一個有效的快速特征選擇，在忽略重要性低的特征上結(jié)合序列后向特征選擇算法，對重要性極高的特征進行篩選，這能快速地篩選掉過擬合特征，從而大幅度提高模型性能。為了避免維度災(zāi)難，我們迭代地進行特征工程和特征選擇，在低階特征生成后，利用特征選擇過濾大部分特征，在其基礎(chǔ)上進行更高階的特征組合，更有效地提取了高階特征并避免了維度災(zāi)難。

緩解類別不平衡：

我們能夠自動針對數(shù)據(jù)情況（數(shù)據(jù)大小，數(shù)據(jù)類型，以及正負樣本比例），以及比賽時間的限制等各種因素的不同，自適應(yīng)地對數(shù)據(jù)采取不同的采樣方式和比例，既保證了效率的同時又保證了效果。傳統(tǒng)的類別不平衡的數(shù)據(jù)訓練方式，是通過提前對數(shù)據(jù)進行采樣，緩解類別不平衡問題，然后將數(shù)據(jù)加入模型中訓練。但是這樣會損失大量的數(shù)據(jù)信息，所以我們在數(shù)據(jù)采樣的時候，仍然保留大量的高比例樣本，并且將其分批，在加入模型中訓練時，讓模型在梯度提升中輪流訓練分批數(shù)據(jù)，這樣能夠盡可能保留更多的原始數(shù)據(jù)的信息，同時緩解了類別不平衡問題。

抗概念漂移處理：

針對數(shù)據(jù)大小，數(shù)據(jù)復(fù)雜度，自適應(yīng)選擇batch數(shù)目。同時，對于每個batch，加入了“不同batch間采樣率隨時間增加”機制。我們使用DNN模型對特征Embedding進行預(yù)訓練，遷移到新的數(shù)據(jù)批上進行再訓練，有效地緩解了概念漂移和增強了特征表達。

挑戰(zhàn)和改進

研究團隊表示，不同特征類型的處理是本次大賽最棘手的挑戰(zhàn)。

本次大賽數(shù)據(jù)由多種不同的數(shù)據(jù)類型組成，這些都是現(xiàn)實世界問題需要處理的真實數(shù)據(jù)。而現(xiàn)有的AutoML框架往往只支持數(shù)值類型，不能簡單將現(xiàn)有框架應(yīng)用到這些現(xiàn)實數(shù)據(jù)中。研究人員通過以往的大量競賽及實際項目經(jīng)驗，在特征工程處理上加入了大量的先驗知識，使得框架能支持不同特征類型的特征工程，以及能自動對這些不同類型特征做高階組合以及特征選擇。支持更多的數(shù)據(jù)類型而不僅僅是數(shù)值類型保證了AutoML能應(yīng)用到更廣泛的現(xiàn)實問題中，大大增強了AutoML的實用性。

團隊表示，該解決方案有一些可以改進的方面：

首先，比賽所使用的數(shù)據(jù)僅來自于10個不同的任務(wù)，雖然我們在10個任務(wù)的數(shù)據(jù)集上都取得了很好的效果，但并不能保證我們的AutoML框架能應(yīng)用到更廣泛的不同現(xiàn)實世界問題中。

其次，比賽所提供的都是單表數(shù)據(jù)，而現(xiàn)實中的問題往往是多表關(guān)聯(lián)的且關(guān)系復(fù)雜的，表間的關(guān)系往往包括多對多、一對多、多對一、一對一等多種關(guān)系。

為了更好地將AutoML應(yīng)用到現(xiàn)實問題中，我們將設(shè)計并實現(xiàn)并實現(xiàn)支持多表聯(lián)結(jié)數(shù)據(jù)以及不同數(shù)據(jù)類型的AutoML框架，將該框架應(yīng)用到更多現(xiàn)實世界問題的數(shù)據(jù)上進行測試。

終生自動化機器學習：AutoML對現(xiàn)實世界問題的意義

這次比賽將AutoML擴展到了多種不同的數(shù)據(jù)類型上，其目標是實現(xiàn)一個支持不同數(shù)據(jù)類型并能適應(yīng)概念漂移的終生自動化機器學習。

首先，現(xiàn)實世界問題的數(shù)據(jù)往往是多種不同數(shù)據(jù)類型的，需要特定領(lǐng)域的專家對這些數(shù)據(jù)進行大量的預(yù)處理及特征工程，而現(xiàn)有的自動化機器學習框架又僅支持數(shù)值類型，對其他類型不能有很好的支持，很難應(yīng)用到各種現(xiàn)實世界問題中。在這次比賽中，我們團隊設(shè)計的AutoML將自動化機器學習擴展到了多種數(shù)據(jù)類型，引入了不同類型的特征預(yù)處理以及不同類型特征的特征工程及特征組合，這樣能在不需要專家的干預(yù)下將AutoML應(yīng)用到更多的現(xiàn)實世界問題中。

其次，許多現(xiàn)實世界問題數(shù)據(jù)是根據(jù)時間逐漸獲取的，數(shù)據(jù)間往往帶有概念漂移，并存在大量的類別不平衡問題，模型需要不停地重復(fù)訓練去適應(yīng)概念漂移并需要專家去處理概念漂移及類別不平衡問題。我們團隊設(shè)計的框架通過融合不同時期的數(shù)據(jù)以及結(jié)合DNN和LightGBM的訓練來自適應(yīng)概念漂移，引入了自適應(yīng)采樣以及對梯度提升模型的采樣率進行改進來緩解類別不平衡，實現(xiàn)了終生機器學習。

我們設(shè)計的終生自動化機器學習框架可以應(yīng)用到各種現(xiàn)實世界問題中，例如在推薦系統(tǒng)、異常檢測、在線廣告、欺詐檢測、運輸監(jiān)控、計量經(jīng)濟學、病人監(jiān)控等諸多領(lǐng)域中，無需領(lǐng)域?qū)＜业母深A(yù)，我們的框架可以訓練出一個性能高、時效性強、時間可行的模型，從而降低應(yīng)用門檻，縮短項目開發(fā)周期，促進機器學習的大規(guī)模落地。