你能想象某一天打開(kāi)深度學(xué)習(xí)的詞條，發(fā)現(xiàn)：

深度學(xué)習(xí)的江湖已經(jīng)能夠被統(tǒng)一了嗎？

幾何學(xué)上的對(duì)稱(chēng)性可以玩轉(zhuǎn)整個(gè)深度學(xué)習(xí)嗎？

通過(guò)對(duì)稱(chēng)性和的變換，可以提煉出覆蓋CNNs, GNNs, LSTMs, Transformers, DeepSets, mesh CNN等一切你所需構(gòu)建的架構(gòu)嗎？

不要驚訝，不要懷疑。

一百多年前埃爾蘭根大學(xué)一位23歲的小伙就給出了答案。

他僅憑一己之力開(kāi)創(chuàng)的“埃爾蘭根計(jì)劃”，從而在幾何學(xué)上做出了一項(xiàng)開(kāi)創(chuàng)性的工作，改變了數(shù)學(xué)史。

幾何學(xué)對(duì)稱(chēng)問(wèn)題的源起

在1872年10月，德國(guó)的埃爾蘭根大學(xué)任命了一位新的年輕教授。按照慣例，他被要求提供一個(gè)就職研究計(jì)劃，他以長(zhǎng)而乏味的標(biāo)題Vergleichende Betrachtungen über neuere geometrische Forschungen（“對(duì)幾何學(xué)最新研究的比較評(píng)論”）進(jìn)行了發(fā)表。

這位就是菲利克斯·克萊因（Felix Klein），當(dāng)時(shí)他只有23歲，他的開(kāi)創(chuàng)性工作被稱(chēng)為“埃爾蘭根計(jì)劃”，在數(shù)學(xué)史上有濃墨重彩的一筆。

十九世紀(jì)簡(jiǎn)直就是幾何學(xué)的大爆發(fā)時(shí)代。歐幾里得之后的近兩千年來(lái)，龐塞萊特（Poncelet）構(gòu)造了投影幾何，高斯（Gauss）、波利亞伊（Galys）和洛巴切夫斯基（Lobachevsky）構(gòu)造了雙曲線(xiàn)幾何，而黎曼（Riemann）構(gòu)造了橢圓幾何。

克萊因的Erlangen program（埃爾蘭根綱領(lǐng)）的突破性體現(xiàn)在研究幾何學(xué)時(shí)運(yùn)用了結(jié)構(gòu)的對(duì)稱(chēng)性?？巳R因采用群論的形式來(lái)定義此類(lèi)轉(zhuǎn)換，并采用群及其子群的層次結(jié)構(gòu)來(lái)分類(lèi)由此產(chǎn)生的不同幾何形狀。

因此，剛性運(yùn)動(dòng)會(huì)產(chǎn)生傳統(tǒng)的歐幾里得幾何，而仿射或投影變換分別產(chǎn)生仿射和投影幾何。

Erlangen program不僅對(duì)幾何和數(shù)學(xué)影響非常深遠(yuǎn)，同時(shí)也影響了物理領(lǐng)域，對(duì)稱(chēng)性可以從第一原理推導(dǎo)守恒律，即Noether定理。

經(jīng)過(guò)幾十年的發(fā)展，直到楊振寧和米爾斯在1954年提出的規(guī)范不變性的概念的廣義形式證明了這一基本原理，成功地統(tǒng)一了除重力以外的所有自然基本力。

這種標(biāo)準(zhǔn)模型已經(jīng)描述了我們目前所知道的所有物理學(xué)知識(shí)。

所以啊，還是諾貝爾獎(jiǎng)得主物理學(xué)家菲利普·安德森（Philip Anderson）的話(huà)說(shuō)得好：

“it is only slightly overstating the case to say that physics is the study of symmetry.”

“說(shuō)物理學(xué)本質(zhì)上就是研究對(duì)稱(chēng)性的，這只是有點(diǎn)夸大其詞了?！?/p>

目前深度學(xué)習(xí)領(lǐng)的現(xiàn)狀和19世紀(jì)的幾何情況驚人的類(lèi)似：

一方面，在過(guò)去的十年中，深度學(xué)習(xí)帶來(lái)了數(shù)據(jù)科學(xué)的一場(chǎng)革命，并完成了許多以前被認(rèn)為無(wú)法實(shí)現(xiàn)的任務(wù)：無(wú)論是計(jì)算機(jī)視覺(jué)，語(yǔ)音識(shí)別，自然語(yǔ)言翻譯，還是下圍棋。

另一方面，現(xiàn)在存在一個(gè)針對(duì)不同類(lèi)型數(shù)據(jù)的不同神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的“動(dòng)物園”，但統(tǒng)一的原理很少。這樣很難理解不同方法之間的關(guān)系，也導(dǎo)致相同概念的多次發(fā)明和資源的浪費(fèi)。

在機(jī)器學(xué)習(xí)中，對(duì)稱(chēng)性的重要性實(shí)際上早已得到認(rèn)可。

尤其是在模式識(shí)別和計(jì)算機(jī)視覺(jué)的應(yīng)用中，有關(guān)等變特征檢測(cè)的早期工作可以追溯到Shunichi Amari和Reiner Lenz。

在神經(jīng)網(wǎng)絡(luò)文獻(xiàn)中，Marvin Minsky和Seymour Papert提出的感知器的群不變性定理對(duì)（單層）感知器學(xué)習(xí)不變性的能力提出了基本限制。

幾何深度學(xué)習(xí)

具體怎么個(gè)“統(tǒng)一”，請(qǐng)看采用的“幾何深度學(xué)習(xí)”：

幾何深度學(xué)習(xí)是Michael M. Bronstein，Joan Bruna，Taco Cohen，Petar Veli?kovi? 等人中引入的一個(gè)籠統(tǒng)術(shù)語(yǔ)，指的是類(lèi)似于Klein的Erlangen program，在幾何機(jī)器學(xué)習(xí)上統(tǒng)一的嘗試的總稱(chēng)。

它有兩個(gè)目的：首先，提供一個(gè)通用的數(shù)學(xué)框架以推導(dǎo)最成功的神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)；其次，給出一個(gè)建設(shè)性的過(guò)程，并以有原則的方式構(gòu)建未來(lái)的體系結(jié)構(gòu)。

在最簡(jiǎn)單的情況下，有監(jiān)督的機(jī)器學(xué)習(xí)本質(zhì)上是一個(gè)函數(shù)估計(jì)問(wèn)題：給定訓(xùn)練集上某些未知函數(shù)的輸出（例如標(biāo)記的狗和貓圖像），人們?cè)噲D從某個(gè)假設(shè)函數(shù)類(lèi)別中找到一個(gè)適合訓(xùn)練的函數(shù)f ，并可以預(yù)測(cè)以前看不見(jiàn)的輸入的輸出。

在過(guò)去的十年中，大型的、高質(zhì)量的數(shù)據(jù)集（如ImageNet）的可用性與不斷增長(zhǎng)的計(jì)算資源（GPU）吻合，從而可以設(shè)計(jì)功能豐富的類(lèi)，這些類(lèi)可以?xún)?nèi)插此類(lèi)大型數(shù)據(jù)集。

神經(jīng)網(wǎng)絡(luò)似乎是表征功能的合適選擇，因?yàn)榧词故亲詈?jiǎn)單的體系結(jié)構(gòu)（如Perceptron），僅使用兩層時(shí)也可以生成密集類(lèi)的功能，從而可以將任何連續(xù)函數(shù)近似為任何所需的精度，這種特性稱(chēng)為“通用逼近”（Universal Approximation）。

低維問(wèn)題的設(shè)置是逼近理論中的經(jīng)典問(wèn)題，該問(wèn)題已得到廣泛研究，并通過(guò)精確的數(shù)學(xué)方法控制估算誤差。但是，在高維度上情況卻完全不同：人們可以很快地看到，即使近似一類(lèi)簡(jiǎn)單的Lipschitz連續(xù)函數(shù)，樣本數(shù)量也隨維度呈指數(shù)增長(zhǎng)，這種現(xiàn)象俗稱(chēng)“維數(shù)詛咒”。

由于現(xiàn)代機(jī)器學(xué)習(xí)方法需要處理成千上萬(wàn)甚至數(shù)百萬(wàn)個(gè)維度的數(shù)據(jù)，因此維度的詛咒總是在幕后出現(xiàn)，使得我們無(wú)法通過(guò)樸素的方式進(jìn)行學(xué)習(xí)。

△維度詛咒的圖示：為了近似由高斯核構(gòu)成的Lipschitz連續(xù)函數(shù)，該函數(shù)位于誤差為ε的d維單位超立方體（藍(lán)色）的象限中，需要

在計(jì)算機(jī)視覺(jué)問(wèn)題（例如圖像分類(lèi)）中可能最好地看到了這一點(diǎn)。即使是很小的圖像也往往具有很高的尺寸，但是從直觀上講，當(dāng)人們將圖像解析為向量以將其饋反饋送到感知器時(shí)，很多圖像的結(jié)構(gòu)會(huì)被破壞并丟棄。如果現(xiàn)在僅將圖像移位一個(gè)像素，則向量化的輸入將有很大的不同，并且神經(jīng)網(wǎng)絡(luò)將需要顯示很多示例，因此必須以相同的方式對(duì)移位的輸入進(jìn)行分類(lèi)。

原理簡(jiǎn)介

通過(guò)對(duì)稱(chēng)性，不變性和群的視角，包含兩大原理：

“先驗(yàn)對(duì)稱(chēng)性”

在許多高維ML問(wèn)題的情況下，我們可以采用一個(gè)附加結(jié)構(gòu)信息，它來(lái)自輸入信號(hào)的幾何形狀。我們稱(chēng)這種結(jié)構(gòu)為“先驗(yàn)對(duì)稱(chēng)性”，它是一種普遍有效的原理，它使我們對(duì)由維數(shù)引起的問(wèn)題感到樂(lè)觀。在我們的圖像分類(lèi)示例中，輸入圖像x不僅是d維向量，而且是在某個(gè)域Ω上定義的信號(hào)，在這種情況下，該信號(hào)是二維網(wǎng)格。

域的結(jié)構(gòu)由對(duì)稱(chēng)群變換????（在我們的示例中為一組二位變換-作用于域上的點(diǎn)。在信號(hào)????（Ω）的空間中，底層域上的群動(dòng)作（群元素，????∈????）通過(guò)所謂的群表征ρ（????）來(lái)表示，在我們的例子中，上述操作是平移操作，即一個(gè)作用于d維向量的d×d矩陣。

輸入信號(hào)底層的域的幾何結(jié)構(gòu)為我們?cè)噲D學(xué)習(xí)的函數(shù) f 的類(lèi)別施加了架構(gòu)信息。一個(gè)不變函數(shù)可以不受群的操作作用的影響，即對(duì)于任何????∈????和x，f（ρ（????）x）= f（x）。另一方面，函數(shù)可能具有相同的輸入和輸出結(jié)構(gòu)，并且以與輸入相同的方式進(jìn)行轉(zhuǎn)換，這種函數(shù)稱(chēng)為等變函數(shù)，即滿(mǎn)足f（ρ（????）x）= ρ（???? ）f（x）。

在計(jì)算機(jī)視覺(jué)領(lǐng)域中，圖像分類(lèi)是一種典型的人們希望得到不變函數(shù)的任務(wù)（例如，無(wú)論貓位于圖像的什么位置，我們都希望將該圖分類(lèi)為貓）；而圖像分割任務(wù)的輸出是一個(gè)像素級(jí)別的標(biāo)簽掩模，這是一種等變函數(shù)（分割掩模需要遵循輸入圖像的變化）。

“尺度分離”

另一個(gè)強(qiáng)大的幾何先驗(yàn)是“尺度分離”。在某些情況下，我們可以通過(guò)“同化”附近的點(diǎn)并產(chǎn)生與粗粒度算子P相關(guān)的信號(hào)空間的層次結(jié)構(gòu)，來(lái)構(gòu)建域的多尺度層次結(jié)構(gòu)（下圖中的Ω和Ω’）。

在這些粗尺度上，我們可以應(yīng)用粗尺度函數(shù)。我們分析出，如果一個(gè)函數(shù) f 可以被近似為粗粒度算子 P 和粗尺度函數(shù)的組合 f≈f’°P，則 f 是局部穩(wěn)定的。盡管 f 可能取決于長(zhǎng)距離依賴(lài)，如果 f 是局部穩(wěn)定的，它們可以被分解為局部交互，然后向著粗尺度傳播。

這兩個(gè)原理為他們提供了一個(gè)非常通用的深度學(xué)習(xí)藍(lán)圖，可以在大多數(shù)用于表示學(xué)習(xí)的流行深度神經(jīng)體系結(jié)構(gòu)中得到認(rèn)可：一個(gè)典型設(shè)計(jì)由一系列等變層（例如，CNN中的卷積層）組成，可能遵循通過(guò)不變的全局池層將所有內(nèi)容聚合到一個(gè)輸出中。在某些情況下，也可以通過(guò)一些采用局部池化形式的粗化過(guò)程（coarsening procedure）來(lái)創(chuàng)建域的層次結(jié)構(gòu)。

這是一種非常通用的設(shè)計(jì)，可以應(yīng)用于不同類(lèi)型的幾何結(jié)構(gòu)，包括幾何深度學(xué)習(xí)的“ 5G”（Grid,Groups,Graphs,Geodesics & Gauges）：網(wǎng)格（具有全局轉(zhuǎn)換群的齊次空間），圖形（以及特殊情況下的集合）和流形，幾何先驗(yàn)通過(guò)全局等距不變性表示（可以使用測(cè)地學(xué)表示） 和局部規(guī)范的對(duì)稱(chēng)性。

這些原則的實(shí)現(xiàn)導(dǎo)致了深度學(xué)習(xí)中當(dāng)今存在的一些最流行的體系結(jié)構(gòu)：從平移對(duì)稱(chēng)導(dǎo)出的卷積網(wǎng)絡(luò)（CNN）、圖神經(jīng)網(wǎng)絡(luò)、DeepSets和Transformers，實(shí)現(xiàn)了置換不變性， 時(shí)間扭曲不變導(dǎo)出的門(mén)控RNN（例如LSTM網(wǎng)絡(luò)），以及由規(guī)范對(duì)稱(chēng)性導(dǎo)出的計(jì)算機(jī)圖形和視覺(jué)中使用的 Intrinsic Mesh CNN。

下一步他們還打算在“ 5G”上繼續(xù)“幾何深度學(xué)習(xí)”藍(lán)圖。

貌似高深的理論，用到了群論、微分幾何和各類(lèi)機(jī)器學(xué)習(xí)高級(jí)算法，期待有更多研究人員參與并開(kāi)展進(jìn)一步深入研究。

未來(lái)，也許整個(gè)深度學(xué)習(xí)“動(dòng)物園”的在原理上的統(tǒng)一真的不是夢(mèng)。

責(zé)任編輯：haq