單是目錄就有31頁，以及論文共有2840頁。

你沒看錯(cuò)，這就是來自德克薩斯大學(xué)奧斯汀分校的一篇計(jì)算機(jī)科學(xué)系博士畢業(yè)論文。

說實(shí)話，計(jì)算機(jī)系的教材都沒有編寫得這么厚……

那么，這篇畢業(yè)論文到底都寫了啥？

3個(gè)角度，研究矩陣?yán)碚?/p>

這篇論文，主要從三個(gè)角度，對機(jī)器學(xué)習(xí)、理論計(jì)算科學(xué)中的矩陣?yán)碚撨M(jìn)行了研究。

其中，包括矩陣在優(yōu)化算法中的作用、隨機(jī)矩陣中的集中不等式（Concentration inequality）、以及針對矩陣開發(fā)的新算法。

首先，是針對優(yōu)化算法的研究。作者介紹了自己在線性規(guī)劃中，對現(xiàn)有矩陣乘法理論進(jìn)行研究后，提出的一種新算法。

這種算法突破了停滯三十年的研究，可以被應(yīng)用于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化等優(yōu)化問題上。

算法以外，作者還對深度神經(jīng)網(wǎng)絡(luò)中的優(yōu)化算法進(jìn)行了研究，證明了為什么隨機(jī)梯度下降（SGD）可以在多項(xiàng)式時(shí)間內(nèi)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)上找到全局最小值。

而這項(xiàng)理論研究的成果，同樣適用于遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。

其次，是針對隨機(jī)矩陣中的集中不等式的研究。

事實(shí)上，隨機(jī)矩陣也是陶哲軒當(dāng)年做出代表性研究的領(lǐng)域之一，在壓縮感知上有著重要應(yīng)用。

作者主要研究了隨機(jī)矩陣中的切爾諾夫邊界，進(jìn)一步給出了許多關(guān)于它的新應(yīng)用。

此外，作者還研究了差異定理（Discrepancy theory）中的斯賓塞理論（Spencer’s theorem），并將研究成果推廣到了卡迪森-辛格問題中。

最后，作者針對矩陣問題提出了一些新的算法。

這些問題，大致可以分成矩陣分解問題、和結(jié)構(gòu)重建問題兩類。第一類算法，主要是關(guān)于低秩矩陣分解的問題；第二類算法，則主要針對結(jié)構(gòu)化矩陣提出的一些重構(gòu)問題。

例如，作者針對壓縮感知算法設(shè)計(jì)了相應(yīng)的矩陣、算法，并給出了針對傅里葉變換的快速算法。

“有輸入才會(huì)有輸出”

理論研究之外，作者還騰出了1頁附錄，給剛開始讀博的小伙伴寫了一點(diǎn)話。

他表示，自己曾經(jīng)多次想退出讀博生涯，但最后還是堅(jiān)持下來了，積累了一些經(jīng)驗(yàn)。

例如，每次開會(huì)時(shí)，他都習(xí)慣用LaTeX記下各種觀點(diǎn)、理論，進(jìn)行復(fù)盤。

復(fù)盤時(shí)如果發(fā)現(xiàn)錯(cuò)誤，就找出錯(cuò)誤的原因，并記錄細(xì)節(jié)。他認(rèn)為，記錄探索中遇到的問題，能為做出真正的成果提供靈感。

此外，作者還表示，自己一開始曾經(jīng)抱著“解決某個(gè)問題”的心態(tài)去寫論文，結(jié)果三個(gè)月后，不但問題沒解決，心態(tài)還崩了。

他的朋友建議他選修一些課程，在里面找論文靈感。果然，在上完課后，他的第一篇博士論文也出來了，心態(tài)也恢復(fù)了平靜。

因此，他現(xiàn)在仍然保持著多看論文、持續(xù)輸入的狀態(tài)。如果有頂會(huì)論文放出，他會(huì)將每篇都快速過一遍，篩選有用的論文仔細(xì)閱讀。

最后，作者表示，不要放棄和任何領(lǐng)域的人交流的機(jī)會(huì)。對于協(xié)作者想要研究的領(lǐng)域，他也愿意一同進(jìn)行探索。

論文作者Zhao Song，博士畢業(yè)于德克薩斯大學(xué)奧斯汀分校計(jì)算機(jī)科學(xué)系，本科畢業(yè)于西蒙菲沙大學(xué)。此前，他曾經(jīng)是哈佛大學(xué)的訪問學(xué)者，也在IBM研究中心實(shí)習(xí)過。

在讀博期間，他的研究方向是機(jī)器學(xué)習(xí)、理論計(jì)算科學(xué)和數(shù)學(xué)，感興趣的方向包括深度學(xué)習(xí)理論、對抗樣本、傅里葉變換等。

當(dāng)然，之所以這些研究成果，能寫成2840頁的論文，也離不開在Zhao Song在讀博期間一起進(jìn)行研究的合作者。

這里面，加上與他討論觀點(diǎn)、交流理論的學(xué)者，名字列表就幾乎有5頁：

而且這里面，還不完全包括那些在他讀博生涯中幫助過他的人。

例如，在他寫畢業(yè)論文期間，曾經(jīng)受到過好些朋友的幫助。不過，這些朋友不愿意加入作者名單，他便一同寫進(jìn)了致謝。

網(wǎng)友：就當(dāng)編教材了

論文出來后，有網(wǎng)友調(diào)侃，如果想將論文寫長點(diǎn)，還可以試試拆詞。例如“Don’t”，就可以拆分為“Do not”……

也有網(wǎng)友表示，這篇論文的長度，已經(jīng)快趕上編教材了。（說不定整理一下，真能出書）

不過，既然論文這么長，肯定也寫了不少時(shí)間。估計(jì)校對一遍都不容易……

原文標(biāo)題：2840頁的計(jì)算機(jī)畢業(yè)論文，德州奧斯汀華人博士究竟寫了啥

文章出處：【微信公眾號(hào)：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq