機器學(xué)習(xí)讀博是什么體驗？期間遇到的挫折與挑戰(zhàn)又要如何應(yīng)對？ 在ML領(lǐng)域小有名氣的青年科學(xué)家Maithra Raghu總結(jié)了自己在六年讀博經(jīng)歷中所汲取的經(jīng)驗與教訓(xùn)，希望能夠?qū)φ?將要攻讀機器學(xué)習(xí)博士學(xué)位的學(xué)生有所幫助。 Maithra Raghu于2020年從康奈爾大學(xué)畢業(yè)，獲得CS博士學(xué)位。在Maithra讀博的六年里，機器學(xué)習(xí)領(lǐng)域的研究參與人員越來越多（2014年NeurIPS的投稿者大約是兩千人，2020年已達到兩萬人），而Maithra本人也在機器學(xué)習(xí)領(lǐng)域取得了重大進步。 Maithra曾在2019年當選“福布斯30位30歲以下科學(xué)精英排行榜”，2018年被評為“MIT EECS Rising Stars”，主要研究領(lǐng)域為深度學(xué)習(xí)與醫(yī)療的結(jié)合。目前，Maithra Raghu在谷歌大腦擔任高級研究科學(xué)家。 個人主頁：https://maithraraghu.com/

1

讀博前的期望

對于許多選擇讀博（尤其是本科畢業(yè)后直接讀博）的人來說，博士生涯并不能被稱得上愉快，但Maithra認為，博士學(xué)習(xí)就像一段“旅行”。一般來說，完成ML博士學(xué)習(xí)需要5到6年，在這個學(xué)習(xí)過程中，你不僅可以學(xué)習(xí)到ML領(lǐng)域的研究技巧與知識，還可以根據(jù)自己的興趣決定你所想要研究的問題，探索ML不同子領(lǐng)域的魅力，更能接收到學(xué)術(shù)界/產(chǎn)業(yè)界/政策/非營利組織的不同研究成果等。

不斷變化的個人喜好將影響你在讀博期間決定從事的研究工作，甚至影響你之后所選擇的博士后職業(yè)道路。不過，尤其是在博士學(xué)習(xí)剛開始時，個人研究興趣如何演變是很難預(yù)測的。就Maithra個人而言，在剛開始讀博時，她認為自己是要進入工業(yè)界的，讀博期間又考慮從事學(xué)術(shù)研究，讀博后期卻又堅決地拒絕了學(xué)術(shù)界的offer，決定留在工業(yè)界做研究。因此，她認為，讀博可以一步一步來，最重要的是充分利用讀博期間的學(xué)習(xí)/研究/社交經(jīng)驗，而不是實現(xiàn)某項預(yù)期目標。目標也許會變，但沒必要糾結(jié)，免得給自己帶來不必要的壓力。

2

讀博期間的普遍挑戰(zhàn)

攻讀博士學(xué)位（尤其是ML博士）能夠為個人帶來巨大的收獲，使你有機會為基礎(chǔ)科學(xué)理解與重大的技術(shù)應(yīng)用做出貢獻。但是，讀博所需的時長，以及讀博期間的各種不確定性，使讀博充滿挑戰(zhàn)。Maithra的讀博生涯也是坎坷不斷，常常感到孤獨、受挫，或因為急于求成而把自己壓垮。這些現(xiàn)象在讀博群體中十分常見。作為過來人，Maithra分享了自己的一些經(jīng)驗與策略：

研究陷入僵局時讀博時的一個普遍挑戰(zhàn)是：某個項目或研究過程受阻，陷入僵局，無法繼續(xù)進行下去。 如果你很努力地推進某個項目，但沒有取得任何進展，那么你可以嘗試：

資料整理：搜集所有實驗結(jié)果、數(shù)學(xué)方法、隨手記錄研究動機的筆記等等，并花點時間將這些信息匯集起來，嘗試寫一篇文章。這個過程可以幫助你了解目前研究所處的位置，以及當下研究狀態(tài)與研究目標的差距在哪里。

中心點：如果是項目的某個部分無法正常運作，那么是否可以重新確定研究問題（也許是從相關(guān)工作中汲取靈感），以使研究更容易進行呢？

建立聯(lián)系：當前項目所關(guān)注的領(lǐng)域與其他研究領(lǐng)域之間是否存在聯(lián)系？可以在這個研究項目中探索這種聯(lián)系嗎？這既可以幫助推進研究，也可以使項目與其他領(lǐng)域產(chǎn)生更廣泛的聯(lián)系。

獲得論文反饋：從研究同行、合作者和朋友那里獲得關(guān)于項目論文的反饋也可能會有所幫助。他們也許能夠提供新的觀點或改進建議。

參加Workshop：把論文提交到Workshop也有用。這個方法也能幫助整合所有研究結(jié)果，并獲得有用的反饋。（Maithra提到，她從機器學(xué)習(xí)會議上的workshop中獲得了許多收益，因為她可以討論/獲取有關(guān)當前方向的反饋，并見到同一領(lǐng)域的其他研究人員。）

及時止損：有時候，一個項目在剛開始時前景很好，但很難正常運行，項目本身對重新建立框架，或與其他領(lǐng)域建立聯(lián)系都具有挑戰(zhàn)性。在這張情況下，最好的方法也許是迅速中止項目，轉(zhuǎn)到其他研究。如果之前的項目已經(jīng)取得部分成果，可以針對這些成果撰文并進行分享，取得合作者的同意與最終反饋，將論文發(fā)表為arXiv預(yù)引文或Workshop論文。

如果你不是被某個特定的項目困擾，而是對研究過程感到不知所措，那么可能是因為你覺得研究成熟度，尤其是自己的研究水平，很難衡量。在讀博中途，Maithra開始從事醫(yī)療應(yīng)用的研究，但在了解這個領(lǐng)域與撰寫論文上的進展都很慢。為此，她感到很迷茫、沮喪。后來，她重新讀了一遍她在博士初始階段所完成的文章，發(fā)現(xiàn)她對論文結(jié)果的深度與背景的了解與之前的情況截然不同。

衡量研究成熟度的幾個關(guān)鍵指標，如了解研究結(jié)果背后更廣泛的背景，在不同領(lǐng)域之間建立聯(lián)系，迅速定位你所研究的子領(lǐng)域的重要成果等等，并無法迅速轉(zhuǎn)化為有形的產(chǎn)出（如形成更多論文）。但是，這些指標對成為具有豐富研究視野的獨立研究人員至關(guān)重要，這也是博士生涯的主要研究目標。而且，如果你一直閱讀論文，了解你的研究領(lǐng)域并親自決定你的研究方向，包括教學(xué)/指導(dǎo)學(xué)生等，那么你是很有可能在這些方面取得重要進步的。

與時俱進感到費力時

機器學(xué)習(xí)是一個充滿活力、節(jié)奏快的領(lǐng)域，很容易被大量新論文、新預(yù)印論文、新博客文章、新實現(xiàn)、新框架等等淹沒。 如何掌握機器學(xué)習(xí)領(lǐng)域的最新動態(tài)呢？Maithra的策略如下：

1、掌握能夠快速查找相關(guān)論文的參考鏈接：比如訂閱arXiv上的stat.ML cs.LG郵件列表，arXiv-sanity，推特，或者是reddit / MachineLearning，paperswithcode和 Semantic Scholar/ Google Scholar等。

2、做一個論文閱讀清單：列出你所發(fā)現(xiàn)的有趣的、但暫時沒有時間閱讀的論文，等有時間再回去閱讀。

3、制定一個論文閱讀策略：如果一篇論文與你正在積極研究的方向非常接近，那就詳細閱讀；如果相關(guān)度不大，那就讀一下摘要，截取幾張重要的照片。

4、偶爾讀一下其他領(lǐng)域的論文（可能一年一次），看看其他領(lǐng)域正在研究的內(nèi)容。 還有兩個比較有幫助的點是記?。海?）每個人都會對論文發(fā)表的概率感到著急；（2）許多論文也許都是基于一個相同的基本思想，只要掌握這一個思想，就能跟上整個領(lǐng)域的發(fā)展。

感到孤獨時讀博期間的另一個共同挑戰(zhàn)是與孤獨作斗爭。Maithra談到，在攻讀博士學(xué)位的前幾年，有些項目要求她將精力集中在非常狹窄的某些問題上，這些問題也非常耗費精力，并且看起來似乎永遠也完成不了。在這些時期，你會感到與其他研究人員和領(lǐng)域完全割裂。 廣泛而言，這種情況在博士早期比較常見，因為那時你正開始學(xué)習(xí)如何從頭到尾進行一個研究項目，但與此同時，你與其他研究人員/領(lǐng)域的聯(lián)系卻很少。與研究領(lǐng)域/社交群體保持聯(lián)系，可以確保你不會感到被孤立。

你可以：（1）與高年級的學(xué)生/博士后建立合作；（2）從導(dǎo)師/實驗室/其他同僚等方面獲得你所取得的工作進步的反饋；（3）積極參與其他社交圈，無論是參會，指導(dǎo)學(xué)生還是組織workshop等。

3

3個有用技能

在討論了讀博期間面臨的一些常見挑戰(zhàn)以及解決這些挑戰(zhàn)的方法后，下文將介紹一些有利于取得研究進展的注意事項。 Maithra發(fā)現(xiàn)，在讀博期間，個人身上的三個技能非常有用：主動性、專注力和毅力。 與本科學(xué)習(xí)相比，Maithra發(fā)現(xiàn)，讀博期間的一個明顯不同點是博士生需要采取主動行動。所謂主動，可以是閱讀重要的相關(guān)論文，對不同方法的可行性進行快速的初步研究，與進行相關(guān)研究的同行交談 ，還可以是參加會議，并成為會議的積極活躍分子。由于博士學(xué)位的完成時間不確定，所以論文的生產(chǎn)力在很大程度上是取決于你學(xué)習(xí)和進行研究的主動性。

此外，Maithra認為，在開始新的研究方向時，專注力非常重要，能夠幫助你精讀相關(guān)工作，提取關(guān)鍵信息，從最初的有限探索中快速學(xué)習(xí)，并確定項目的主要研究方向。 另一方面，毅力也很重要：一篇論文在提交前、提交后，或者回復(fù)同行評審、論文被拒時，通常都需要進行大量的編輯/資料添加。大量的論文編輯工作，尤其是在為二次提交做準備、同時又進行新的研究項目時，你很難有修改與編輯的動力。但同行評審過程的靈活性，又往往意味著論文值得你堅持修改與寫作。

4

記錄文獻閱讀和研究思路

Maithra在整個讀博期間，一直更新著兩個文檔。一個是第一年開始更新，另一個是第三年開始更新。 第一個記錄了她閱讀過的論文，每次Maithra閱讀了新論文后，都會將其添加到文檔中，并簡要寫下自己的收獲，該文檔篇幅已經(jīng)超過50頁。另一個文檔則跟蹤研究思路，每當她有一個新想法時，都會記下來。Maithra認為，這有助于了解研究方向并突出關(guān)鍵主題。

5

社區(qū)的重要性

Maithra花了不少時間才意識到社區(qū)的重要性，從根本上說，研究是一項社區(qū)活動。做學(xué)術(shù)研究通常要解決異常困難的問題，研究的進步取決于你和他人的互相學(xué)習(xí)，這是探索研究方向時要牢記的關(guān)鍵因素。

Maithra認為，我們應(yīng)該注意以下幾個問題：社區(qū)關(guān)注的研究主題是什么，為什么？存在哪些盲區(qū)？有能自然提出的研究課題嗎？花時間與社區(qū)中的同行討論這些問題，對于提出符合趨勢的研究問題至關(guān)重要。 而且，如果確定了該領(lǐng)域的新研究方向，則圍繞該方向建立社區(qū)通常會很有用。要實現(xiàn)這一點，可以發(fā)起協(xié)作，發(fā)布關(guān)鍵的開放性問題，并組織研討會。 Maithra分享道，博士生涯剛開始，她就對了解現(xiàn)代深度學(xué)習(xí)系統(tǒng)所展現(xiàn)的關(guān)鍵經(jīng)驗現(xiàn)象感興趣。但是，在這個主題上開展工作非常困難。 這個領(lǐng)域正在迅速發(fā)展，使任何類型的研究分析都充滿了不確定性，并且極大地增加了圍繞該主題建立新社區(qū)的挑戰(zhàn)。 因此，Maithra的第一篇深度學(xué)習(xí)分析論文十分難產(chǎn)，極大考驗了她的毅力。但是在這之后，她感受到的是更加強烈的研究興趣。 6

發(fā)展研究視野

前面提到，在剛開始攻讀博士學(xué)位時，最好步步為營，專注于經(jīng)驗，而不是特定的目標。但從研究成熟度的角度來看，攻讀博士學(xué)位其實需要一個特定的目標：成為具有豐富的（清晰的）研究視野的獨立研究人員。 在當前的機器學(xué)習(xí)研究社區(qū)中，隨著大量論文的涌現(xiàn)，人們很容易感到需要不斷發(fā)表新論文的壓力。 但是，盡管論文寫作是一項重要技能，Maithra認為研究成熟度的關(guān)鍵標準，是能夠?qū)λ陬I(lǐng)域有淵博的知識和基于知識之上的深刻觀點，這些觀點有助于通過研究視野（與主題相關(guān)的總體觀點）來確定關(guān)鍵的研究問題。擁有廣闊、完整的研究視野會極大地激發(fā)人們的研究積極性。

那么如何發(fā)展研究視野呢？Maithra認為，首先，如果沒有幾年的研究經(jīng)驗就很難形成完整的研究視野。 在博士的頭幾年里，Maithra埋頭閱讀論文和聽大牛的演講，并為無法提出有趣的研究問題而感到沮喪。之后的幾年里，她閱讀過的論文、從事過的項目、參加過的研討會大大提高了這方面的能力。當然，這是永無止境的過程。 更具體來說，它始于探索，Maithra的前幾個項目為她提供了不同的曝光機會，并幫助她理解了自己感興趣的主題。

之后，她研究一些自然提出的后續(xù)項目，并引發(fā)了有關(guān)應(yīng)用程序/部署的一些相關(guān)問題。在研究具體項目的過程中，會不斷提出新的問題，并持續(xù)加深自己對研究主題的理解，同時有可能引出新的研究課題。當然，不要忘記請教導(dǎo)師，導(dǎo)師在你的研究主題上已經(jīng)有了很廣闊的研究視野。 最后，Maithra強調(diào)，多年的經(jīng)驗確實產(chǎn)生了復(fù)合效應(yīng)。之后從事研究項目時，提煉論文中的主要觀點會更加容易，并能啟發(fā)下一個研究課題，這些研究方向最終合并形成一個更廣闊的視野。

總結(jié)

總而言之，攻讀博士學(xué)位也許是一段非常有意義的經(jīng)歷。不妨將讀博視為一段旅程，有起有落，個人研究發(fā)現(xiàn)和研究觀點在不斷演變。希望這篇文章對旅途中跋涉的其他人有所幫助！

原文鏈接：https://maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/

責任編輯：xj

原文標題：谷歌大腦高級研究科學(xué)家：我的六年機器學(xué)習(xí)博士生涯總結(jié)

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。