人工智能和機(jī)器學(xué)習(xí)風(fēng)靡全球,高校作為人才培養(yǎng)基地正在頂風(fēng)而上,如何建立相關(guān)的實(shí)驗(yàn)室,“當(dāng)家人”如何管理實(shí)驗(yàn)室才能最高效?關(guān)于這些問題,無論國內(nèi),還是國外的學(xué)者都在探索一條適合自己的道路。本文選自Graham Taylor對(duì)Yoshua Bengio的專訪,從他們的一問一答中,希望你能夠獲得一些經(jīng)驗(yàn)和思考。
Graham Taylor是CIFAR機(jī)器和大腦學(xué)習(xí)項(xiàng)目中的一名學(xué)者,也是圭爾夫大學(xué)工程學(xué)院的副教授。Yoshua Bengio是CIFAR機(jī)器學(xué)習(xí)項(xiàng)目的聯(lián)合主任,同時(shí)也是蒙特利爾大學(xué)計(jì)算機(jī)與運(yùn)算系的教授,數(shù)據(jù)學(xué)習(xí)算法中心的加拿大研究主席。
Graham Taylor (GT):你能告訴我你在系里最初做什么工作么?
Yoshua Bengio (YB):在蒙特利爾大學(xué)我曾經(jīng)是唯一一個(gè)從事機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)研究的,我當(dāng)時(shí)很有動(dòng)力,對(duì)每一位學(xué)生都很負(fù)責(zé)。
我利用了我在學(xué)校外的人際網(wǎng)絡(luò),一些是我博士后之前一起工作的同事。例如Geoff Hinton和其他在多倫多的人。和同領(lǐng)域的人交流是很重要的,因?yàn)槲沂菍W(xué)校里第一個(gè)研究這個(gè)領(lǐng)域的學(xué)者。
我也非常幸運(yùn)學(xué)校能夠認(rèn)可我的工作,感謝學(xué)校減輕了一些我教學(xué)上的任務(wù)。
GT:從一開始就是?
YB:是的,在開始的七年里,我只用教授兩門課。然后我當(dāng)上了加拿大研究主席,就只負(fù)責(zé)一門課程。我認(rèn)為一邊承擔(dān)教學(xué)重?fù)?dān)一邊建立實(shí)驗(yàn)室可能非常有挑戰(zhàn)性。當(dāng)我有了第二個(gè)孩子時(shí),我開始后悔自己之前工作太拼命。我對(duì)于學(xué)校里的職位有點(diǎn)力不從心?,F(xiàn)在往回看,我應(yīng)該更好地平衡工作與生活。
GT:當(dāng)時(shí)學(xué)校內(nèi)部有人指導(dǎo)你嗎?
YB:沒有,一個(gè)人也沒有??赡芪覒?yīng)該聯(lián)系一些年長的教授,不一定是同領(lǐng)域的。如果我以前沒那么害羞的話我會(huì)嘗試獲得更多反饋。我當(dāng)時(shí)沒有意識(shí)到這是可行的。新的教員應(yīng)該擴(kuò)展關(guān)系,建立聯(lián)系。系里也鼓勵(lì)大家那么做。資深教員們樂于做這些,雖然他們可能不會(huì)太主動(dòng) 。
GT:在這些外部關(guān)系之中,作為一個(gè)教職工你的得到的最好的建議是什么?
YB:在我當(dāng)教授的前十年里,我和Geoff Hinton有一些互動(dòng),雖然都是遠(yuǎn)程的。但是它們幫助了我把精力放在更重要的事情上。
如果重來一次,我不會(huì)把注意力分散在不同方向,只顧當(dāng)下的想法而無視長遠(yuǎn)的挑戰(zhàn)。當(dāng)你嘗試立足的時(shí)候這很難,因?yàn)槟銜?huì)焦急地想發(fā)表更多論文來獲得一些榮譽(yù)。但是你至少要花一些時(shí)間來專注于長期規(guī)劃。如果你過度追逐榮譽(yù)和職位,很容易陷進(jìn)去,從而錯(cuò)過一些重要的東西。我跟Geoff的討論幫助了我意識(shí)到這點(diǎn)。
GT:現(xiàn)在機(jī)器學(xué)習(xí)應(yīng)用受到廣泛關(guān)注,一些公司和合作者都帶著項(xiàng)目來找你,你會(huì)認(rèn)為這加劇分散了你的注意力嗎?
YB:每個(gè)人都有自己要走的路。為了在某些領(lǐng)域變得擅長、取得突破,你必須成為一個(gè)專家。最好集中精力做一件事,然后變成這個(gè)學(xué)科在世界上最強(qiáng)的人。
機(jī)器學(xué)習(xí)最有魅力之處是:他可以和很多應(yīng)用場(chǎng)景相結(jié)合。對(duì)吧?在90年代我接觸了很多應(yīng)用。
CIFARAzrieli Global Scholar, Graham Taylor
GT:跟現(xiàn)在有什么不同嗎?
YB:在九十年代,工業(yè)界對(duì)神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)有很多興趣。加拿大教育系統(tǒng)鼓勵(lì)這樣的跨界合作。為基礎(chǔ)科學(xué)爭(zhēng)取了很多資金。用項(xiàng)目中的資金資助長期的調(diào)查研究。這不是正規(guī)手段,但教育系統(tǒng)給基礎(chǔ)研究提供的資金不足,無形中助長了這種事情的發(fā)生。我們應(yīng)該賦予長期研究更多的價(jià)值,因?yàn)檫@將會(huì)帶領(lǐng)我們看到更多AI領(lǐng)域的驚人進(jìn)展。
我再對(duì)撥款的問題補(bǔ)充一點(diǎn)。
我開始的時(shí)候意識(shí)到,當(dāng)你給類似加拿大自然科學(xué)和工程研究委員會(huì)(NSERC)寫提議的時(shí)候,他們不太關(guān)心你是否會(huì)做提議上寫的東西。他們只關(guān)心研究者幾年后可以拿得上臺(tái)面的東西。
在研究中很難預(yù)測(cè)以后什么會(huì)火,所以靈活應(yīng)變很重要。然而如果和一個(gè)公司簽訂協(xié)議幫他們做事的時(shí)候就不是這樣了。因?yàn)槟愕闹饕繕?biāo)變成讓你的投資人滿意。對(duì)于NSERC來說,關(guān)鍵就是做好的科研,發(fā)表,然后在研究道路上保持靈活性。
GT:在管理實(shí)驗(yàn)室上你有什么好的實(shí)踐經(jīng)驗(yàn)嗎?
YB:幫助。早些時(shí)候我沒有很多錢給我的博士后。選擇博士后都是有足夠知識(shí)量的,所以他們不用再花兩年時(shí)間了解最新情況,可以幫助管理一些比較大的團(tuán)隊(duì)。
我們做PhD的時(shí)候沒有學(xué)習(xí)怎么管理和帶領(lǐng)團(tuán)隊(duì)。一件對(duì)我有益的事情是,認(rèn)識(shí)到學(xué)生中那些與生俱來的領(lǐng)導(dǎo)力。有一些博士生他們樂意并且善于管理。所以有時(shí)候他們不僅僅帶一個(gè)學(xué)生,有些人經(jīng)常輔導(dǎo)好幾個(gè)學(xué)生。
我們不應(yīng)該低估年輕人的能力,他們比一些年長者更擅長做管理者。
GT:現(xiàn)在博士后有各種各樣的工作機(jī)會(huì),是不是更難招到高質(zhì)量的博士后。
YB:是,也不是。
GT:的確,因?yàn)榇蠹叶紩?huì)被吸引到你這里來。但是你有什么建議嗎?
YB:我的一個(gè)原則是找那些有機(jī)器學(xué)習(xí)相關(guān)的數(shù)學(xué)或者物理背景的人,這些人學(xué)習(xí)能力很強(qiáng)大。所以如果你想招一個(gè)兩到三年的博士后,這些人是值得招的。他們不會(huì)在Google Brain之類的地方找到工作,因?yàn)樗麄冞€沒有展現(xiàn)自己的機(jī)器學(xué)習(xí)能力。這種賭博通常對(duì)我來說很奏效。
GT:你會(huì)怎樣勸說畢業(yè)生留校當(dāng)博士后而不是去直接工作?
YB:如果他們來機(jī)器學(xué)習(xí)實(shí)驗(yàn)室并參與研究發(fā)表,會(huì)極大地提高他們?cè)谛袠I(yè)里的價(jià)值。如果這是之后他們想從事的,從博士后開始會(huì)容易得到更好的機(jī)會(huì)和待遇。
當(dāng)然這也看人。有些博士生不用當(dāng)博士后就能取得很好的機(jī)會(huì),對(duì)吧?在這種情況下,影響因素就會(huì)變成“你想要選擇學(xué)術(shù)道路嗎”,因?yàn)榻疱X不是人們唯一在乎的。如果是這樣,那么做博士后就是一個(gè)好的選擇:去學(xué)習(xí)學(xué)者是怎么工作的,參與到管理角色甚至是資金籌集中。
產(chǎn)業(yè)不是一個(gè)同質(zhì)性的東西。在基礎(chǔ)研究實(shí)驗(yàn)室工作和在一個(gè)沒有那么自由的地方工作有很大區(qū)別,你會(huì)成為一個(gè)為其他研究者工作的熟練技術(shù)員,或者為有很多開發(fā)任務(wù)的應(yīng)用研究工作。產(chǎn)業(yè)中有很多不同種的工作,很少會(huì)是博士后會(huì)青睞的那種。
GT:但是產(chǎn)業(yè)中的工作人數(shù)卻似乎在增長。例如Google Brain,Deepmind,F(xiàn)AIR,你同意這種觀點(diǎn)么?
YB:是的,很多像Element AI的新公司也是這種類型的。
GB:對(duì)于實(shí)驗(yàn)室的人員規(guī)模來說,你認(rèn)為多大規(guī)模是理想的?
YB:取決于教授,和管理人員的經(jīng)驗(yàn)。我一開始有三個(gè)人,現(xiàn)在有一個(gè)很大的團(tuán)隊(duì)。但是這都不可能是一步到位的。所以我漸漸學(xué)會(huì)了如何管理更多的人,建立基礎(chǔ)設(shè)施,取得資助。
你可以根據(jù)自己的速度拓展。有些人超過五六個(gè)學(xué)生就會(huì)覺得不舒服,那也沒問題。當(dāng)然當(dāng)你有更多學(xué)生的時(shí)候你會(huì)發(fā)表更多文章,但是也意味著你在每個(gè)學(xué)生身上花的時(shí)間更少了,可能回報(bào)也會(huì)少一些。
團(tuán)隊(duì)合作非常重要,或者說是不要用項(xiàng)目把每個(gè)學(xué)生分割開來,要保持靈活性來激發(fā)新的合作。這樣他們跟教授就不會(huì)是一對(duì)一的關(guān)系,他們也會(huì)是大關(guān)系網(wǎng)中的一部分。
GT:也就是點(diǎn)對(duì)點(diǎn)溝通?
YB:沒錯(cuò),這對(duì)大家都有利,如果信息反饋所依的那個(gè)人經(jīng)常不在,會(huì)讓團(tuán)隊(duì)感覺不安,但如果他們還可以依賴另外十位同事,這將給他們創(chuàng)造一個(gè)更豐富的溝通網(wǎng)。
GT:那么創(chuàng)造這種氛圍的機(jī)制是什么?
YB:物理上的親近:學(xué)生要在實(shí)驗(yàn)室呆著,別在家工作。讓他們能夠自由地在你所建議的范圍之外,與其他教授進(jìn)行合作,開展新項(xiàng)目。盡量減少不同教授門下的學(xué)生之間的隱礙。讓小組變大,學(xué)生可以自由無礙地與其他教師進(jìn)行討論??梢远ㄆ诮M織活動(dòng),如閱讀小組,研討會(huì)和外出拓展。
GT:最近我跟個(gè)在美國工作的人聊了下共同監(jiān)管,他告訴我,在美國,監(jiān)管者的第一個(gè)主題是如何分配資金,但這種現(xiàn)象在加拿大還未出現(xiàn)。
YB:這里的學(xué)生費(fèi)用比美國低很多,這是個(gè)重要因素,對(duì)吧?但也許它也是一種文化重要的是不去考慮資金,優(yōu)先考慮合作,且不設(shè)定期望值,跟資金和合作相關(guān)的另一因素是:我對(duì)預(yù)設(shè)協(xié)議沒有信心。
換句話說,如果我們事先達(dá)成正式協(xié)議了,你我共同監(jiān)督學(xué)生,他們也在此規(guī)則下看站工作,那么臺(tái)作將無從談起。
實(shí)際上是因?yàn)槲覀冇泄餐睦妫覀兌ㄆ诮涣?,然后合作才水到渠成,?duì)吧? 能抓住某些想法,是值得鼓勵(lì)的。預(yù)設(shè)的協(xié)議關(guān)系,可能會(huì)運(yùn)作的很好,但也可能像個(gè)車籠,捆綁住A和B的特定項(xiàng)目和他們之間的關(guān)系。而其實(shí)或許A和C之間的關(guān)系更和諧。
比方說,在主實(shí)驗(yàn)室中,我們有一個(gè)不成文的概念,即有這么一個(gè)資金庫,你可以與任何你想要的人合作并從中得到資助。
GT:那是因?yàn)閰⑴c該項(xiàng)目的主要調(diào)查人員決定共享資源嗎?
YB:我的資金是共享的,但這并非是固有模型,只是說資深教授通常更容易獲得資金,所以我自己申請(qǐng)了資金。合同也是如此。一天的工作結(jié)束,如果不需要為錢發(fā)愁,那么玩樂和探索將會(huì)主導(dǎo)我們的行為。
首先,這不僅僅是研究,去參加研討會(huì)和會(huì)議,去參觀其他實(shí)驗(yàn)室,主動(dòng)些,不要等別人來邀請(qǐng)。
GT:這一點(diǎn)比較重要,特別是對(duì)新教員來說,他們會(huì)考慮其他人未涉及領(lǐng)域的未來發(fā)展方向,或者在現(xiàn)有教師和高級(jí)會(huì)員的領(lǐng)域,是否還可以進(jìn)行這種合作。
YB:是的。只要能與那里的主要職員們好好相處,你去現(xiàn)有的團(tuán)隊(duì)就容易多了。因此,如果你很欣小組精神,那么初級(jí)職員上手很容易。他們不必為資金發(fā)愁,可以對(duì)觀點(diǎn)反復(fù)推敲,獲得共同監(jiān)督,較快獲得工作反饋 。
GT:我想該談?wù)惺諏W(xué)生。如果你興趣寡淡,該如何回應(yīng)?興趣濃厚又該如何處理?
YB:首先,這不僅僅研究,也是種宣傳。去參加研討會(huì)和會(huì)議,去參觀其他實(shí)驗(yàn)室,主動(dòng)些,不用等別人來邀請(qǐng)。你可以說“嘿,我來這兒做場(chǎng)演講怎么樣?”然后整個(gè)領(lǐng)域的人都認(rèn)識(shí)你了,如果你要走撥款的正規(guī)渠道,就會(huì)涉及到這些。
這對(duì)招聘和教學(xué)都意義重大,教學(xué)的作用之一是你得讓學(xué)生了解你,特別是你目已的研究生成者本科畢業(yè)組,可以聊些都關(guān)心的事,打好關(guān)系,這樣你也清楚學(xué)生的優(yōu)點(diǎn),試著勸他們來你的實(shí)驗(yàn)室工作。
我手下有些來自本科院?;蚱渌胤降氖钇趯?shí)習(xí)生,通過這種方式,你可以了解一個(gè)人是否具有研究潛力。這比僅通過一次面試來招聘要保險(xiǎn)些,畢寬你要跟這個(gè)人簽5年合同的,不是嗎? 去年這里有700個(gè)應(yīng)用程序,今年可能會(huì)有1000個(gè),再加上引進(jìn)的幾十個(gè)。所以你必須很有條理。
GT:最后我們想談?wù)勑袠I(yè)合作,你怎么判斷合作是否恰如其分?
YB:判斷不了,只能在過了幾年后才領(lǐng)悟。通常情況是雙方的期待值不匹配,這一點(diǎn)必須謹(jǐn)慎,要跟企業(yè)講清楚,學(xué)術(shù)人員可以做的是什么,重要的是,讓他們明白學(xué)術(shù)不是廉價(jià)勞力,他們不生產(chǎn)產(chǎn)品,而是通過了不起的創(chuàng)意實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型。所以企業(yè)要明白,這是投資的一部分,企業(yè)內(nèi)部人員需要將算法和原型轉(zhuǎn)變?yōu)楫a(chǎn)品,否則合作注定會(huì)失敗,這意味著公司需要付出更高成本,避開不談很容易,但你必須這么做。
GT:但你想要跟新教員分享的?
YB:聽從你的直覺。許多人缺乏必要的自信,從而與機(jī)會(huì)失之交臂。作為研究人員,我們的主要職責(zé)是提供有價(jià)值的想法來推進(jìn)知識(shí)。這些想法往往隱藏在我們大腦中的某個(gè)地方,我們必須給予充足的時(shí)間,來生成這些想法。花一周的空間去思考,不編程,不寫作也不閱讀,專注的想想那些讓你煩惱的事情。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4814瀏覽量
103622 -
人工智能
+關(guān)注
關(guān)注
1806文章
49028瀏覽量
249516 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8503瀏覽量
134619
原文標(biāo)題:專訪Yoshua Bengio:如何高效建立和運(yùn)營一家機(jī)器學(xué)習(xí)實(shí)驗(yàn)室?
文章出處:【微信號(hào):worldofai,微信公眾號(hào):worldofai】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
實(shí)驗(yàn)室智慧配電房建設(shè)方案:打造安全高效的電力保障

從問題管理到智慧實(shí)驗(yàn)室的蝶變之路

實(shí)驗(yàn)室安全管理成焦點(diǎn),漢威科技賦能實(shí)驗(yàn)室安全升級(jí)

RFID技術(shù)在環(huán)境檢測(cè)實(shí)驗(yàn)室樣品管理中的應(yīng)用
上能電氣斬獲CNAS實(shí)驗(yàn)室認(rèn)可證書
實(shí)驗(yàn)室物聯(lián)網(wǎng)集中監(jiān)控管理系統(tǒng)方案

評(píng)論