深度解析機器學(xué)習(xí)的“黑魔法”

近日，國際數(shù)學(xué)家大會丨鄂維南院士作一小時大會報告：從數(shù)學(xué)角度，理解機器學(xué)習(xí)的“黑魔法”，并應(yīng)用于更廣泛的科學(xué)問題。

鄂維南院士在2022年的國際數(shù)學(xué)家大會上作一小時大會報告(plenary talk)。

今天我們帶來鄂老師演講內(nèi)容的分享。

鄂老師首先分享了他對機器學(xué)習(xí)數(shù)學(xué)本質(zhì)的理解（函數(shù)逼近、概率分布的逼近與采樣、Bellman方程的求解）；

然后介紹了機器學(xué)習(xí)模型的逼近誤差、泛化性質(zhì)以及訓(xùn)練等方面的數(shù)學(xué)理論；

最后介紹如何利用機器學(xué)習(xí)來求解困難的科學(xué)計算和科學(xué)問題，即AI for science。

機器學(xué)習(xí)問題的數(shù)學(xué)本質(zhì)

眾所周知，機器學(xué)習(xí)的發(fā)展，已經(jīng)徹底改變了人們對人工智能的認識。機器學(xué)習(xí)有很多令人嘆為觀止的成就，例如：

比人類更準確地識別圖片：利用一組有標記的圖片，機器學(xué)習(xí)算法可以準確地識別圖片的類別：

Cifar-10 問題：把圖片分成十個類別

來源：https://www.cs.toronto.edu/~kriz/cifar.html

Alphago下圍棋打敗人類：完全由機器學(xué)習(xí)實現(xiàn)下圍棋的算法：

參考：https://www.bbc.com/news/technology-35761246

產(chǎn)生人臉圖片，達到以假亂真的效果：

參考：https://arxiv.org/pdf/1710.10196v3.pdf

機器學(xué)習(xí)還有很多其他的應(yīng)用。在日常生活中，人們甚至常常使用了機器學(xué)習(xí)所提供的服務(wù)而不自知，例如：我們的郵件系統(tǒng)里的垃圾郵件過濾、我們的車和手機里的語音識別、我們手機里的指紋解鎖……

所有這些了不起的成就，本質(zhì)上，卻是成功求解了一些經(jīng)典的數(shù)學(xué)問題。

對于圖像分類問題，我們感興趣的其實是函數(shù)：

: 圖像→類別

函數(shù)把圖像映射到該圖像所屬的類別。我們知道在訓(xùn)練集上的取值，想由此找到對函數(shù)的一個足夠好的逼近。

一般而言，監(jiān)督學(xué)習(xí)(supervised learning)問題，本質(zhì)都是想基于一個有限的訓(xùn)練集S，給出目標函數(shù)的一個高效逼近。

對于人臉生成問題，其本質(zhì)是逼近并采樣一個未知的概率分布。在這一問題中，“人臉”是隨機變量，而我們不知道它的概率分布。然而，我們有“人臉”的樣本：數(shù)量巨大的人臉照片。我們便利用這些樣本，近似得到“人臉”的概率分布，并由此產(chǎn)生新的樣本（即生成人臉）。

一般而言，無監(jiān)督學(xué)習(xí)本質(zhì)就是利用有限樣本，逼近并采樣問題背后未知的概率分布。

對于下圍棋的Alphago來說，如果給定了對手的策略，圍棋的動力學(xué)是一個動態(tài)規(guī)劃問題的解。其最優(yōu)策略滿足Bellman方程。因而Alphago的本質(zhì)便是求解Bellman方程。

一般而言，強化學(xué)習(xí)本質(zhì)上就是求解馬爾可夫過程的最優(yōu)策略。

然而，這些問題都是計算數(shù)學(xué)領(lǐng)域的經(jīng)典問題！！畢竟，函數(shù)逼近、概率分布的逼近與采樣，以及微分方程和差分方程的數(shù)值求解，都是計算數(shù)學(xué)領(lǐng)域極其經(jīng)典的問題。那么，這些問題在機器學(xué)習(xí)的語境下，到底和在經(jīng)典的計算數(shù)學(xué)里有什么區(qū)別呢？答案便是：維度（dimensionality）。

例如，在圖像識別問題中，輸入的維度為。而對于經(jīng)典的數(shù)值逼近方法，對于維問題，含個參數(shù)的模型的逼近誤差. 換言之，如果想將誤差縮小10倍，參數(shù)個數(shù)需要增加. 當(dāng)維數(shù)增加時，計算代價呈指數(shù)級增長。這種現(xiàn)象通常被稱為：維度災(zāi)難（curse of dimensionality）。

所有的經(jīng)典算法，例如多項式逼近、小波逼近，都飽受維度災(zāi)難之害。很明顯，機器學(xué)習(xí)的成功告訴我們，在高維問題中，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)比經(jīng)典算法好很多。然而，這種“成功”是怎么做到的呢？為什么在高維問題中，其他方法都不行，但深度神經(jīng)網(wǎng)絡(luò)取得了前所未有的成功呢？

從數(shù)學(xué)出發(fā)，理解機器學(xué)習(xí)的“黑魔法”：監(jiān)督學(xué)習(xí)的數(shù)學(xué)理論

2.1?記號與設(shè)定

神經(jīng)網(wǎng)絡(luò)是一類特殊的函數(shù)。比如，兩層神經(jīng)網(wǎng)絡(luò)是

其中有兩組參數(shù)，和。是激活函數(shù)，可以是：?，ReLU函數(shù)；Sigmoid函數(shù)。而神經(jīng)網(wǎng)絡(luò)的基本組成部分即為：線性變換與一維非線性變換。深度神經(jīng)網(wǎng)絡(luò)，一般就是如下結(jié)構(gòu)的復(fù)合：

為了簡便，我們在此省略掉所有的bias項。是權(quán)重矩陣，激活函數(shù)作用在每一個分量上。

我們將要在訓(xùn)練集S上逼近目標函數(shù)不妨假設(shè)X的定義域為。令為x的分布。那么我們的目標便是：最小化測試誤差(testing error，也稱為population risk或generalization error)

2.2?監(jiān)督學(xué)習(xí)的誤差

監(jiān)督學(xué)習(xí)一般有如下的步驟：

第一步：選取一個假設(shè)空間（測試函數(shù)的一個集合）（m正比于測試空間的維數(shù)）；

第二步：選取一個損失函數(shù)進行優(yōu)化。通常，我們會選擇經(jīng)驗誤差(empirical risk)來擬合數(shù)據(jù)：

有時，我們還會加上其他的懲罰項。

第三步：求解優(yōu)化問題，如：

梯度下降：

隨機梯度下降：

是從1,…n中隨機選取的。

如果把機器學(xué)習(xí)輸出的結(jié)果記，那么總誤差便是。我們再定義：

是在假設(shè)空間里最好的逼近；

是在假設(shè)空間里，基于數(shù)據(jù)集S最好的逼近。

由此，我們便可以把誤差分解成三部分：

是逼近誤差(approximation error)：完全由假設(shè)空間的選取所決定；

是估計誤差(estimation error)：由于數(shù)據(jù)集大小有限而帶來的額外的誤差；

是優(yōu)化誤差(optimization error)：由訓(xùn)練（優(yōu)化）帶來的額外的誤差。

2.3?逼近誤差

我們下面集中討論逼近誤差(approximation error)。

我們先用傳統(tǒng)方法傅立葉變換做一個對比：

如果我們用離散的傅立葉變換來逼近：

其誤差便是正比于，毫無疑問地受到維度災(zāi)難的影響。而如果一個函數(shù)可以表示成期望的形式：

令是測度的獨立同分布樣本，我們有：

那么此時的誤差是：

可以看到，這是與維數(shù)無關(guān)的！

如果讓激活函數(shù)為，那么就是以為激活函數(shù)的兩層神經(jīng)網(wǎng)絡(luò)。此結(jié)果意味著：這一類（可以表示成期望）的函數(shù)，都可以由兩層神經(jīng)網(wǎng)絡(luò)逼近，且逼近誤差的速率與維數(shù)無關(guān)！

對于一般的雙層神經(jīng)網(wǎng)絡(luò)，我們可以得到一系列類似的逼近結(jié)果。其中關(guān)鍵的問題是：到底什么樣的函數(shù)可以被雙層神經(jīng)網(wǎng)絡(luò)逼近？為此，我們引入Barron空間的定義：

Barron空間的定義參考：E, Chao Ma, Lei Wu (2019)

對于任意的Barron函數(shù)，存在一個兩層神經(jīng)網(wǎng)絡(luò)，其逼近誤差滿足：

可以看到這一逼近誤差與維數(shù)無關(guān)！（關(guān)于這部分理論的細節(jié)，可以參考：E, Ma and Wu (2018, 2019), E and Wojtowytsch (2020)。其他的關(guān)于Barron space的分類理論，可以參考Kurkova (2001), Bach (2017),Siegel and Xu (2021)）

類似的理論可以推廣到殘差神經(jīng)網(wǎng)絡(luò)(residual neural network)。在殘差神經(jīng)網(wǎng)絡(luò)中，我們可以用流-誘導(dǎo)函數(shù)空間（flow-induced function space）替代Barron空間。

2.4 泛化性：訓(xùn)練誤差與測試誤差的差別

人們一般會期待，訓(xùn)練誤差與測試誤差的差別會正比于（n是樣本數(shù)量）。然而，我們訓(xùn)練好的機器學(xué)習(xí)模型和訓(xùn)練數(shù)據(jù)是強相關(guān)的，這導(dǎo)致這樣子的Monte-Carlo速率不一定成立。為此，我們給出了如下的泛化性理論：

簡言之，我們用Rademacher復(fù)雜度來刻畫一個空間在數(shù)據(jù)集上擬合隨機噪聲的能力。

Rademacher復(fù)雜度的定義為：

其中是取值為1或-1的獨立同分布的隨機變量。

當(dāng)是李樸西斯空間中的單位球時，其Rademacher復(fù)雜度正比于。當(dāng)d增加時，可以看到擬合需要的樣本大小指數(shù)上升。這其實是另一種形式的維度災(zāi)難。 2.5 訓(xùn)練過程的數(shù)學(xué)理解 ? 關(guān)于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，有兩個基本的問題：

梯度下降方法到底能不能快速收斂？

訓(xùn)練得到的結(jié)果，是否有比較好的泛化性？

對于第一個問題，答案恐怕是悲觀的。Shamir(2018)中的引理告訴我們，基于梯度的訓(xùn)練方法，其收斂速率也受維度災(zāi)難的影響。而前文提到的Barron space，雖然是建立逼近理論的好手段，但對于理解神經(jīng)網(wǎng)絡(luò)的訓(xùn)練卻是一個過大的空間。特別地，這樣子的負面結(jié)果可以在高度超參數(shù)(highly over-parameterized regime)的情形（即m>>n）下得到具體刻畫。在此情形下，參數(shù)的動力學(xué)出現(xiàn)了尺度分離的現(xiàn)象：對于如下的兩層神經(jīng)網(wǎng)絡(luò)：

在訓(xùn)練過程中，的動力學(xué)分別為：

。 ? 由此可以看到尺度分離的現(xiàn)象：當(dāng)m很大的時候，的動力學(xué)幾乎被凍結(jié)住。 ? ? ? 這種情形下，好消息是我們有了指數(shù)收斂（Du et al, 2018）；壞消息卻是這時候，神經(jīng)網(wǎng)絡(luò)表現(xiàn)得并不比從random feature model模型好。我們也可以從平均場的角度理解梯度下降方法。令：，并令：則是下列梯度下降問題的解：當(dāng)且僅當(dāng)是下面方程的解（參考：Chizat and Bach (2018), Mei, Montanari and Nguyen (2018), Rotsko? and Vanden-Eijnden (2018), Sirignano and Spiliopoulos (2018)）：這一平均場動力學(xué)，實際上是在Wassenstein度量意義下的梯度動力學(xué)。人們證明了：如果其初始值的支集為全空間，且梯度下降的確收斂，那么其收斂結(jié)果必然是全局最優(yōu)（參考：Chizat and Bach (2018,2020), Wojtowytsch (2020)）。

機器學(xué)習(xí)的應(yīng)用

3.1 解決高維科學(xué)計算問題 ? 既然機器學(xué)習(xí)是處理高維問題的有效工具，我們便可運用機器學(xué)習(xí)解決傳統(tǒng)計算數(shù)學(xué)方法難以處理的問題。第一個例子便是隨機控制問題。傳統(tǒng)方法求解隨機控制問題需要求解一個極其高維的Bellman方程。運用機器學(xué)習(xí)方法，可以有效求解隨機控制問題。其思路與殘差神經(jīng)網(wǎng)絡(luò)頗為類似（參考Jiequn Han and E (2016)）： ?