機(jī)器學(xué)習(xí)領(lǐng)域近年的發(fā)展非常迅速，然而我們對(duì)機(jī)器學(xué)習(xí)理論的理解還很有限，有些模型的實(shí)驗(yàn)效果甚至超出了我們對(duì)基礎(chǔ)理論的理解。

目前，領(lǐng)域內(nèi)越來越多的研究者開始重視和反思這個(gè)問題。近日，一位名為 Aidan Cooper 的數(shù)據(jù)科學(xué)家撰寫了一篇博客，梳理了模型的實(shí)驗(yàn)結(jié)果和基礎(chǔ)理論之間的關(guān)系。以下是博客原文：

機(jī)器學(xué)習(xí)領(lǐng)域中，有些模型非常有效，但我們并不能完全確定其原因。相反，一些相對(duì)容易理解的研究領(lǐng)域則在實(shí)踐中適用性有限。本文基于機(jī)器學(xué)習(xí)的效用和理論理解，探討各個(gè)子領(lǐng)域的進(jìn)展。

這里的「實(shí)驗(yàn)效用」是一種綜合考量，它考慮了一種方法的適用性廣度、實(shí)施的難易程度，以及最重要的因素，即現(xiàn)實(shí)世界中的有用程度。有些方法不僅實(shí)用性高，適用范圍也很廣;而有些方法雖然很強(qiáng)大，但僅限于特定的領(lǐng)域?？煽俊⒖深A(yù)測(cè)且沒有重大缺陷的方法則被認(rèn)為具有更高的效用。

所謂理論理解，就是要考慮模型方法的可解釋性，即輸入與輸出之間是什么關(guān)系，怎樣才能獲得預(yù)期的結(jié)果，這種方法的內(nèi)部機(jī)制是什么，并考量方法涉及文獻(xiàn)的深度和完整性。

理論理解程度低的方法在實(shí)現(xiàn)時(shí)通常會(huì)采用啟發(fā)式方法或大量試錯(cuò)法;理論理解程度高的方法往往具有公式化的實(shí)現(xiàn)，具有強(qiáng)大的理論基礎(chǔ)和可預(yù)測(cè)的結(jié)果。較簡(jiǎn)單的方法(例如線性回歸)具有較低的理論上限，而更復(fù)雜的方法(例如深度學(xué)習(xí))具有更高的理論上限。當(dāng)談到一個(gè)領(lǐng)域內(nèi)文獻(xiàn)的深度和完整性時(shí)，則根據(jù)該領(lǐng)域假設(shè)的理論上限來評(píng)估該領(lǐng)域，這在一定程度上依賴于直覺。

我們可以將效用矩陣構(gòu)造為四個(gè)象限，坐標(biāo)軸的交點(diǎn)代表一個(gè)假設(shè)的參考領(lǐng)域，具有平均理解和平均效用。這種方法使得我們能夠根據(jù)各領(lǐng)域所在的象限以定性的方式解釋它們，如下圖所示，給定象限中的領(lǐng)域可能具有部分或全部該象限對(duì)應(yīng)的特征。

一般來說，我們期望效用和理解是松散相關(guān)的，使得理論理解程度高的方法比理解程度低的更有用。這意味著大多數(shù)領(lǐng)域應(yīng)位于左下象限或右上象限。遠(yuǎn)離左下 - 右上對(duì)角線的領(lǐng)域代表著例外情況。通常，實(shí)際效用應(yīng)落后于理論，因?yàn)閷⑿律难芯坷碚撧D(zhuǎn)化為實(shí)際應(yīng)用需要時(shí)間。因此，該對(duì)角線應(yīng)該位于原點(diǎn)上方，而不是直接穿過它。

2022 年的機(jī)器學(xué)習(xí)領(lǐng)域

并非上圖所有領(lǐng)域都完全包含在機(jī)器學(xué)習(xí) (ML) 中，但它們都可以應(yīng)用于 ML 的語境中或與之密切相關(guān)。許多被評(píng)估的領(lǐng)域是重疊的，并且無法清晰地描述：強(qiáng)化學(xué)習(xí)、聯(lián)邦學(xué)習(xí)和圖 ML 的高級(jí)方法通?；谏疃葘W(xué)習(xí)。因此，我考慮了它們理論與實(shí)際效用的非深度學(xué)習(xí)方面。

右上象限：高理解、高效用

線性回歸是一種簡(jiǎn)單、易于理解且高效的方法。雖然經(jīng)常被低估和忽視。，但它的使用廣度和透徹的理論基礎(chǔ)讓其處于圖中右上角的位置。

傳統(tǒng)的機(jī)器學(xué)習(xí)已經(jīng)發(fā)展為一個(gè)高度理論理解和實(shí)用的領(lǐng)域。復(fù)雜的 ML 算法，例如梯度提升決策樹(GBDT)，已被證明在一些復(fù)雜的預(yù)測(cè)任務(wù)中通常優(yōu)于線性回歸。大數(shù)據(jù)問題無疑就是這種情況?？梢哉f，對(duì)過參數(shù)化模型的理論理解仍然存在漏洞，但實(shí)現(xiàn)機(jī)器學(xué)習(xí)是一個(gè)精細(xì)的方法論過程，只要做得好，模型在行業(yè)內(nèi)也能可靠地運(yùn)行。

然而，額外的復(fù)雜性和靈活性確實(shí)會(huì)導(dǎo)致出現(xiàn)一些錯(cuò)誤，這就是為什么我將機(jī)器學(xué)習(xí)放在線性回歸的左側(cè)。一般來說，有監(jiān)督的 機(jī)器學(xué)習(xí)比它的無監(jiān)督 * 對(duì)應(yīng)物更精細(xì)，更有影響力，但兩種方法都有效地解決了不同的問題空間。

貝葉斯方法擁有一群狂熱的從業(yè)者，他們宣揚(yáng)它優(yōu)于更流行的經(jīng)典統(tǒng)計(jì)方法。在某些情況下，貝葉斯模型特別有用：僅點(diǎn)估計(jì)是不夠的，不確定性的估計(jì)很重要;當(dāng)數(shù)據(jù)有限或高度缺失時(shí);并且當(dāng)您了解要在模型中明確包含的數(shù)據(jù)生成過程時(shí)。貝葉斯模型的實(shí)用性受到以下事實(shí)的限制：對(duì)于許多問題，點(diǎn)估計(jì)已經(jīng)足夠好，人們只是默認(rèn)使用非貝葉斯方法。更重要的是，有一些方法可以量化傳統(tǒng) ML 的不確定性(它們只是很少使用)。通常，將 ML 算法簡(jiǎn)單地應(yīng)用于數(shù)據(jù)會(huì)更容易，而不必考慮數(shù)據(jù)生成機(jī)制和先驗(yàn)。貝葉斯模型在計(jì)算上也很昂貴，并且如果理論進(jìn)步產(chǎn)生更好的采樣和近似方法，那么它會(huì)具有更高的實(shí)用性。

右下象限：低理解，高效用

與大多數(shù)領(lǐng)域的進(jìn)展相反，深度學(xué)習(xí)取得了一些驚人的成功，盡管理論方面被證明從根本上難以取得進(jìn)展。深度學(xué)習(xí)體現(xiàn)了一種鮮為人知的方法的許多特征：模型不穩(wěn)定、難以可靠地構(gòu)建、基于弱啟發(fā)式進(jìn)行配置以及產(chǎn)生不可預(yù)測(cè)的結(jié)果。諸如隨機(jī)種子 “調(diào)整” 之類的可疑做法非常普遍，而且工作模型的機(jī)制也很難解釋。然而，深度學(xué)習(xí)繼續(xù)推進(jìn)并在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域達(dá)到超人的性能水平，開辟了一個(gè)充滿其他難以理解的任務(wù)的世界，如自動(dòng)駕駛。

假設(shè)，通用 AI 將占據(jù)右下角，因?yàn)楦鶕?jù)定義，超級(jí)智能超出了人類的理解范圍，可以用于解決任何問題。目前，它僅作為思想實(shí)驗(yàn)包含在內(nèi)。

每個(gè)象限的定性描述。字段可以通過其對(duì)應(yīng)區(qū)域中的部分或全部描述來描述

左上象限：高理解，低效用

大多數(shù)形式的因果推理不是機(jī)器學(xué)習(xí)，但有時(shí)是，并且總是對(duì)預(yù)測(cè)模型感興趣。因果關(guān)系可以分為隨機(jī)對(duì)照試驗(yàn) (RCT) 與更復(fù)雜的因果推理方法，后者試圖從觀察數(shù)據(jù)中測(cè)量因果關(guān)系。RCT 在理論上很簡(jiǎn)單并給出嚴(yán)格的結(jié)果，但在現(xiàn)實(shí)世界中進(jìn)行通常既昂貴又不切實(shí)際——如果不是不可能的話——因此效用有限。因果推理方法本質(zhì)上是模仿 RCT，而無需做任何事情，這使得它們的執(zhí)行難度大大降低，但有許多限制和陷阱可能使結(jié)果無效。總體而言，因果關(guān)系仍然是一個(gè)令人沮喪的追求，其中當(dāng)前的方法通常不能滿足我們想要提出的問題，除非這些問題可以通過隨機(jī)對(duì)照試驗(yàn)進(jìn)行探索，或者它們恰好適合某些框架(例如，作為 “自然實(shí)驗(yàn)” 的偶然結(jié)果)。

聯(lián)邦學(xué)習(xí)(FL)是一個(gè)很酷的概念，卻很少受到關(guān)注 - 可能是因?yàn)樗钜俗⒛康膽?yīng)用程序需要分發(fā)到大量智能手機(jī)設(shè)備，因此 FL 只有兩個(gè)參與者才能真正研究：Apple 和谷歌。FL 存在其他用例，例如匯集專有數(shù)據(jù)集，但協(xié)調(diào)這些舉措存在政治和后勤挑戰(zhàn)，限制了它們?cè)趯?shí)踐中的效用。盡管如此，對(duì)于聽起來像是一個(gè)奇特的概念(大致概括為：“將模型引入數(shù)據(jù)，而不是將數(shù)據(jù)引入模型”)，F(xiàn)L 是有效的，并且在鍵盤文本預(yù)測(cè)和個(gè)性化新聞推薦等領(lǐng)域有切實(shí)的成功案例. FL 背后的基本理論和技術(shù)似乎足以讓 FL 得到更廣泛的應(yīng)用。

強(qiáng)化學(xué)習(xí)(RL)在國際象棋、圍棋、撲克和 DotA 等游戲中達(dá)到了前所未有的能力水平。但在視頻游戲和模擬環(huán)境之外，強(qiáng)化學(xué)習(xí)還沒有令人信服地轉(zhuǎn)化為現(xiàn)實(shí)世界的應(yīng)用程序。機(jī)器人技術(shù)本應(yīng)成為 RL 的下一個(gè)前沿領(lǐng)域，但這并沒有實(shí)現(xiàn)——現(xiàn)實(shí)似乎比高度受限的玩具環(huán)境更具挑戰(zhàn)性。也就是說，到目前為止，RL 的成就是鼓舞人心的，真正喜歡國際象棋的人可能會(huì)認(rèn)為它的效用應(yīng)該更高。我希望看到 RL 在將其置于矩陣右側(cè)之前實(shí)現(xiàn)其一些潛在的實(shí)際應(yīng)用。

左下象限：低理解，低效用

圖神經(jīng)網(wǎng)絡(luò)(GNN)現(xiàn)在是機(jī)器學(xué)習(xí)中一個(gè)非常熱門的領(lǐng)域，在多個(gè)領(lǐng)域都取得了可喜的成果。但是對(duì)于其中許多示例，尚不清楚 GNN 是否比使用更傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)與深度學(xué)習(xí)架構(gòu)配對(duì)的替代方法更好。數(shù)據(jù)自然是圖結(jié)構(gòu)的問題，例如化學(xué)信息學(xué)中的分子，似乎具有更引人注目的 GNN 結(jié)果(盡管這些通常不如非圖相關(guān)的方法)。與大多數(shù)領(lǐng)域相比，用于大規(guī)模訓(xùn)練 GNN 的開源工具與工業(yè)中使用的內(nèi)部工具之間似乎存在很大差異，這限制了大型 GNN 在這些圍墻花園之外的可行性。該領(lǐng)域的復(fù)雜性和廣度表明理論上限很高，因此 GNN 應(yīng)該有成熟的空間并令人信服地展示某些任務(wù)的優(yōu)勢(shì)，這將導(dǎo)致更大的實(shí)用性。GNN 也可以從技術(shù)進(jìn)步中受益，因?yàn)閳D目前不能自然地適用于現(xiàn)有的計(jì)算硬件。

可解釋的機(jī)器學(xué)習(xí)(IML)是一個(gè)重要且有前途的領(lǐng)域，并繼續(xù)受到關(guān)注。SHAP 和 LIME 等技術(shù)已經(jīng)成為真正有用的工具來詢問 ML 模型。然而，由于采用有限，現(xiàn)有方法的效用尚未完全實(shí)現(xiàn)——尚未建立健全的最佳實(shí)踐和實(shí)施指南。然而，IML 目前的主要弱點(diǎn)是它沒有解決我們真正感興趣的因果問題。IML 解釋了模型如何進(jìn)行預(yù)測(cè)，但沒有解釋基礎(chǔ)數(shù)據(jù)如何與它們因果關(guān)系(盡管經(jīng)常被錯(cuò)誤地解釋像這樣)。在取得重大理論進(jìn)展之前，IML 的合法用途大多僅限于模型調(diào)試 / 監(jiān)控和假設(shè)生成。

量子機(jī)器學(xué)習(xí)(QML)遠(yuǎn)遠(yuǎn)超出我的駕駛室，但目前似乎是一個(gè)假設(shè)性的練習(xí)，耐心等待可行的量子計(jì)算機(jī)可用。在那之前，QML 微不足道地坐在左下角。

漸進(jìn)式進(jìn)步、技術(shù)飛躍和范式轉(zhuǎn)變

領(lǐng)域內(nèi)主要通過三種主要機(jī)制來遍歷理論理解與經(jīng)驗(yàn)效用矩陣(圖 2)。

字段可以遍歷矩陣的方式的說明性示例。

漸進(jìn)式進(jìn)展是緩慢而穩(wěn)定的進(jìn)展，它在矩陣的右側(cè)向上移動(dòng)英寸場(chǎng)。過去幾十年的監(jiān)督機(jī)器學(xué)習(xí)就是一個(gè)很好的例子，在此期間，越來越有效的預(yù)測(cè)算法被改進(jìn)和采用，為我們提供了我們今天喜歡的強(qiáng)大工具箱。漸進(jìn)式進(jìn)步是所有成熟領(lǐng)域的現(xiàn)狀，除了由于技術(shù)飛躍和范式轉(zhuǎn)變而經(jīng)歷更劇烈運(yùn)動(dòng)的時(shí)期之外。

由于由于技術(shù)的飛躍，一些領(lǐng)域看到了科學(xué)進(jìn)步的階梯式變化。* 深度學(xué)習(xí) * 領(lǐng)域并沒有被它的理論基礎(chǔ)所解開，這些基礎(chǔ)是在 2010 年代深度學(xué)習(xí)熱潮之前 20 多年發(fā)現(xiàn)的——它是由消費(fèi)級(jí) GPU 支持的并行處理推動(dòng)了它的復(fù)興。技術(shù)飛躍通常表現(xiàn)為沿經(jīng)驗(yàn)效用軸向右跳躍。然而，并非所有以技術(shù)為主導(dǎo)的進(jìn)步都是飛躍。今天的深度學(xué)習(xí)的特點(diǎn)是通過使用更多的計(jì)算能力和越來越專業(yè)的硬件訓(xùn)練越來越大的模型來實(shí)現(xiàn)漸進(jìn)式進(jìn)步。

在這個(gè)框架內(nèi)科學(xué)進(jìn)步的最終機(jī)制是范式轉(zhuǎn)變。正如托馬斯 · 庫恩(Thomas Kuhn)在他的著作《科學(xué)革命的結(jié)構(gòu)》中所指出的，范式轉(zhuǎn)變代表了科學(xué)學(xué)科的基本概念和實(shí)驗(yàn)實(shí)踐的重要變化。Donald Rubin 和 Judea Pearl 開創(chuàng)的因果框架就是這樣一個(gè)例子，它將因果關(guān)系領(lǐng)域從隨機(jī)對(duì)照試驗(yàn)和傳統(tǒng)統(tǒng)計(jì)分析提升為更強(qiáng)大的數(shù)學(xué)化學(xué)科，形式為因果推理。范式轉(zhuǎn)變通常表現(xiàn)為理解的向上運(yùn)動(dòng)，這可能會(huì)跟隨或伴隨著效用的增加。

然而，范式轉(zhuǎn)換可以在任何方向上遍歷矩陣。當(dāng)神經(jīng)網(wǎng)絡(luò)(以及隨后的深度神經(jīng)網(wǎng)絡(luò))將自己確立為傳統(tǒng) ML 的獨(dú)立范式時(shí)，這最初對(duì)應(yīng)于實(shí)用性和理解力的下降。許多新興領(lǐng)域以這種方式從更成熟的研究領(lǐng)域分支出來。

預(yù)測(cè)和深度學(xué)習(xí)的科學(xué)革命

總而言之，以下是我認(rèn)為未來可能發(fā)生的一些推測(cè)性預(yù)測(cè)(表 1)。右上象限中的字段被省略，因?yàn)樗鼈兲墒於床坏街卮筮M(jìn)展。

表 1：機(jī)器學(xué)習(xí)幾大領(lǐng)域未來進(jìn)展預(yù)測(cè)。

然而，比個(gè)別領(lǐng)域如何發(fā)展更重要的觀察是經(jīng)驗(yàn)主義的總體趨勢(shì)，以及越來越愿意承認(rèn)全面的理論理解。

從歷史經(jīng)驗(yàn)上看，一般是理論(假設(shè))先出現(xiàn)，然后再制定想法。但深度學(xué)習(xí)引領(lǐng)了一個(gè)新的科學(xué)過程，顛覆了這一點(diǎn)。也就是說，在人們關(guān)注理論之前，方法就有望展示最先進(jìn)的性能。實(shí)證結(jié)果為王，理論是可選的。

這導(dǎo)致了機(jī)器學(xué)習(xí)研究中系統(tǒng)的廣泛博弈，通過簡(jiǎn)單地修改現(xiàn)有方法并依靠隨機(jī)性來超越基線，而不是有意義地推進(jìn)該領(lǐng)域的理論，從而獲得了最新的最新成果。但也許這就是我們?yōu)樾乱徊C(jī)器學(xué)習(xí)繁榮付出的代價(jià)。

圖 3：2022 年深度學(xué)習(xí)發(fā)展的 3 個(gè)潛在軌跡。

深度學(xué)習(xí)是否不可逆轉(zhuǎn)地以結(jié)果為導(dǎo)向的過程并將理論理解降級(jí)為可選的 2022 年可能是轉(zhuǎn)折點(diǎn)。我們應(yīng)該思考如下幾個(gè)問題：

理論突破是否會(huì)讓我們的理解趕上實(shí)用性，并將深度學(xué)習(xí)轉(zhuǎn)變?yōu)橄駛鹘y(tǒng)機(jī)器學(xué)習(xí)一樣更有條理的學(xué)科?現(xiàn)有的深度學(xué)習(xí)文獻(xiàn)是否足以讓效用無限地增加，僅僅通過擴(kuò)展越來越大的模型?或者，一個(gè)經(jīng)驗(yàn)性的突破會(huì)帶領(lǐng)我們進(jìn)一步深入兔子洞，進(jìn)入一種增強(qiáng)效用的新范式，盡管我們對(duì)這種范式了解得更少?

這些路線中的任何一條都通向通用人工智能嗎?只有時(shí)間能給出答案。

原文標(biāo)題：關(guān)于機(jī)器學(xué)習(xí)這門煉丹術(shù)，理論基礎(chǔ)到底有多可靠?

文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅