市面上的自動(dòng)機(jī)器學(xué)習(xí)算法多如牛毛，但并沒(méi)有得到很好的普及，因?yàn)檫@些算法限制了搜索的空間，很多研究者還是需要自己設(shè)計(jì)機(jī)器學(xué)習(xí)模型的結(jié)構(gòu)，而谷歌此次發(fā)布的AutoML-Zero搜索空間完全沒(méi)有限制，可以從最基礎(chǔ)的數(shù)學(xué)公式開(kāi)始?！感轮窃逼钢鞴P、編輯、運(yùn)營(yíng)經(jīng)理、客戶(hù)經(jīng)理，添加HR微信（Dr-wly）了解詳情。」

AutoML 試圖將特征工程、模型選擇、參數(shù)調(diào)節(jié)這些與特征、模型、優(yōu)化、評(píng)價(jià)有關(guān)的重要步驟進(jìn)行自動(dòng)化地學(xué)習(xí)，使得機(jī)器學(xué)習(xí)模型無(wú)需人工干預(yù)即可生成。谷歌這次提出的方法跟以往的有何不同呢？

新方法可自動(dòng)搜索新算法，僅利用基本的數(shù)學(xué)公式

Automl-Zero 旨在自動(dòng)發(fā)現(xiàn)機(jī)器學(xué)習(xí)算法，從空的或隨機(jī)的程序開(kāi)始，只使用基本的數(shù)學(xué)運(yùn)算。它可以同時(shí)無(wú)偏好地搜索機(jī)器學(xué)習(xí)算法的所有方面，包括模型結(jié)構(gòu)和學(xué)習(xí)策略。

盡管 Automl-Zero 的搜索域很廣，但進(jìn)化搜索看起來(lái)表現(xiàn)不錯(cuò)，通過(guò)搜索發(fā)現(xiàn)了線(xiàn)性回歸、帶有反向傳播的雙層神經(jīng)網(wǎng)絡(luò)，甚至是超過(guò)手工設(shè)計(jì)的復(fù)雜度相當(dāng)?shù)幕€(xiàn)算法。

上面的圖顯示了我們實(shí)驗(yàn)中的一個(gè)例子，可以看到演化算法是如何來(lái)一步步解決二分類(lèi)任務(wù)的。首先是個(gè)線(xiàn)性模型，沒(méi)有任何優(yōu)化方法，然后逐步發(fā)現(xiàn)了 SGD 來(lái)進(jìn)行優(yōu)化，接著開(kāi)始加入隨機(jī)的學(xué)習(xí)率，再往后發(fā)現(xiàn)了ReLU激活函數(shù)，隨機(jī)權(quán)重初始化，梯度歸一化等等，越來(lái)越接近我們手工設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化方法。

幾乎從零開(kāi)始，跟傳統(tǒng)的組裝型自動(dòng)機(jī)器學(xué)習(xí)區(qū)別很大

我們手工構(gòu)建一個(gè)典型的機(jī)器學(xué)習(xí)模型，要經(jīng)過(guò)以下幾個(gè)步驟，數(shù)據(jù)預(yù)處理、模型構(gòu)建、學(xué)習(xí)、預(yù)測(cè)，而 AutoML-Zero 的工作原理，可以簡(jiǎn)單理解為將各個(gè)步驟涉及的基本數(shù)學(xué)方法放在一個(gè)籃子里，然后隨機(jī)從籃子取出放在對(duì)應(yīng)的步驟，利用進(jìn)化搜索，不斷得到最優(yōu)的組合。

AutoML-Zero 跟之前的自動(dòng)機(jī)器學(xué)習(xí)有什么異同呢？之前的自動(dòng)學(xué)習(xí)主要集中在體系結(jié)構(gòu)上，它依賴(lài)于專(zhuān)家設(shè)計(jì)的復(fù)雜層作為構(gòu)建塊——或類(lèi)似的限制性搜索空間。我們的目標(biāo)是證明 AutoML 可以走得更遠(yuǎn)： 只需使用基本的數(shù)學(xué)運(yùn)算作為構(gòu)建塊，來(lái)發(fā)現(xiàn)一個(gè)完整的機(jī)器學(xué)習(xí)方法， 我們通過(guò)引入一個(gè)新的框架來(lái)證明這一點(diǎn)，在這個(gè)搜索空間中可以顯著減少人類(lèi)經(jīng)驗(yàn)的偏見(jiàn)，發(fā)現(xiàn)一些有趣的東西。

我們用 auto-sklearn 來(lái)解釋下傳統(tǒng)的自動(dòng)機(jī)器學(xué)習(xí)所使用的方法，對(duì)細(xì)節(jié)感興趣的同學(xué)可以看下這篇論文。

作者開(kāi)發(fā)了一個(gè)基于 scikit-learn 的強(qiáng)大的新 AutoML 系統(tǒng)（使用 15 個(gè)分類(lèi)器，14 個(gè)特征預(yù)處理方法和 4 種數(shù)據(jù)預(yù)處理方法，從而產(chǎn)生具有 110 個(gè)超參數(shù)的結(jié)構(gòu)化搜索空間）。這個(gè)系統(tǒng)是在有限的參數(shù)空間中，通過(guò)自動(dòng)對(duì)比在類(lèi)似數(shù)據(jù)集上的性能，以及評(píng)估這些自動(dòng)構(gòu)造的模型性能，來(lái)實(shí)現(xiàn)自動(dòng)搜索最優(yōu)的機(jī)器學(xué)習(xí)方法。

如何用Python實(shí)現(xiàn)傳統(tǒng)的AutoML

到這里你應(yīng)該理解了，AutoML-Zero 的普適性更強(qiáng)一些，可以發(fā)現(xiàn)未知的機(jī)器學(xué)習(xí)方法，而 auto-sklearn 只是在現(xiàn)有的結(jié)構(gòu)和參數(shù)中自動(dòng)找到最優(yōu)的。

我們用 Python 來(lái)舉個(gè)簡(jiǎn)單的例子：

import autosklearn.classificationimport sklearn.model_selectionimport sklearn.datasetsimport sklearn.metricsX， y = sklearn.datasets.load_digits（return_X_y=True）X_train， X_test， y_train， y_test = sklearn.model_selection.train_test_split（X， y， random_state=1）AutoML = autosklearn.classification.AutoSklearnClassifier（）AutoML.fit（X_train， y_train）y_hat = AutoML.predict（X_test）print（“Accuracy score”， sklearn.metrics.accuracy_score（y_test， y_hat））

如果想親自動(dòng)手實(shí)驗(yàn)的話(huà)可以安裝 Anaconda ，它集成了所需要的大部分Python科學(xué)計(jì)算庫(kù)，然后通過(guò)conda安裝 auto-sklearn。