答者：sonta

NLP已經(jīng)死了

NLP社區(qū)可以大致分為兩個(gè)group: 一種是相信AGI的，一種是不相信的。

對(duì)于前者來(lái)說(shuō)，LLM的興起當(dāng)然是極其令人興奮的。之前的NLP模型對(duì)他們來(lái)說(shuō)基本全是玩具，而LLM才是通往AGI的正確道路。他們會(huì)高呼生在這個(gè)時(shí)代極其幸運(yùn)，并且all in LLM research。這無(wú)疑是正確的方向之一，如果你對(duì)LLM有興趣，野心和激情，那么all in LLM也是一個(gè)很不錯(cuò)的選擇（如果有計(jì)算資源）。我摘錄一些dalao對(duì)LLM未來(lái)研究的建議（侵刪）僅供參考：

某dalao的建議

某LLM教父的twitter

可是對(duì)我來(lái)說(shuō)，（API-driven or prompt-driven or ..） LLM research只能讓我感到無(wú)聊，并不能讓我感到興奮，所以我潤(rùn)ML了，非必要不投*ACL（NLP潤(rùn)ML人快來(lái)私戳，樂(lè)）。（Update：潤(rùn)了，但沒(méi)完全潤(rùn)，還是準(zhǔn)備做點(diǎn)scale up一些非attention架構(gòu)的work的）

我屬于第一類

后者的很多人應(yīng)該像我一樣對(duì)LLM的research感到無(wú)聊，畢竟整個(gè)學(xué)科在越來(lái)越工程化。如果還打算繼續(xù)留下來(lái)做NLP research的，就需要好好想想如何說(shuō)服自己，自己做的研究是有意義的。畢竟騙審稿人容易，騙自己難，做自己都認(rèn)為沒(méi)價(jià)值的research還有什么樂(lè)趣呢？在LLM的邊邊角角繼續(xù)打不痛不癢的補(bǔ)丁，然后被GPT的下一個(gè)版本薄紗，那這樣，存在主義危機(jī) (existential crisis) 就會(huì)像幽靈一樣陰魂不散。

因?yàn)槲沂亲鯬arsing的，所以我很早之前就體會(huì)到現(xiàn)在許多人才體會(huì)到的心情（See 為什么研究NLP句法分析的人不多？- sonta的回答 - 知乎 https://www.zhihu.com/question/489981289/answer/2148458380) 。就算沒(méi)有LLM，在其他的比較強(qiáng)的神經(jīng)網(wǎng)絡(luò)里面，句法信息也是可有可無(wú)的。所以單純做句法這個(gè)方向從實(shí)用的角度來(lái)看基本上可以說(shuō)是毫無(wú)意義的，跟現(xiàn)在在LLM時(shí)代做其他NLP任務(wù)一樣。那么我是如何說(shuō)服自己做的呢？那當(dāng)然是好玩。Parsing argubly是NLP最有意思的方向（從算法的好玩的角度來(lái)看）?，F(xiàn)在的Parsing track已經(jīng)大約有一半的work干脆實(shí)驗(yàn)都不做了，直接純理論分析向（感謝Jason Eisner, Ryan Cotterell），就講究一個(gè)好玩，樂(lè)。Parsing這種偏理論的方向至少還能玩玩理論，那么其他更加應(yīng)用的方向呢？我不知道。反正我感覺(jué)沒(méi)啥好做的。

舉Parsing的例子主要是想說(shuō)，Parsing領(lǐng)域的今天就是很多NLP子領(lǐng)域的明天。NLP很多dalao都是做Parsing起家，那他們?yōu)槭裁船F(xiàn)在不做了呢？因?yàn)镻arsing is almost solved，他們當(dāng)然轉(zhuǎn)向了其他更有前景的，unsolved的NLP子方向。而如今在LLM時(shí)代，NLP整個(gè)領(lǐng)域面臨solved，很多中間任務(wù)幾乎沒(méi)有存在的價(jià)值，

ChatGPT 印證了模型大一統(tǒng)的可行性，這在未來(lái)五年會(huì)對(duì) NLP 從業(yè)者帶來(lái)怎樣的沖擊？(https://www.zhihu.com/question/575391861/answer/2832979762)

通向AGI之路：大型語(yǔ)言模型（LLM）技術(shù)精要(https://zhuanlan.zhihu.com/p/597586623)

甚至直接面向應(yīng)用（e.g. 翻譯 潤(rùn)色 糾錯(cuò) etc）的任務(wù)都面臨直接被GPT系列薄紗的危機(jī)， 那么小潤(rùn)潤(rùn)parsing，大潤(rùn)或許可以考慮潤(rùn)出做純NLP的research，例如跟我一樣潤(rùn)ML，或者做一些NLP與其他學(xué)科的交叉，

當(dāng)然，你也可以跟著Neubig一起去做保護(hù)環(huán)境（狗頭

鏈接：https://www.zhihu.com/question/589704718/answer/2946475253

答者：霜清老人

鏈接：https://www.zhihu.com/question/589704718/answer/2945714404

答者：北極光

NLP community is broken

在過(guò)去，研究的意義是前瞻、指導(dǎo)應(yīng)用發(fā)展。但如今 NLP 的學(xué)術(shù)研究已經(jīng)跟不上工業(yè)界的進(jìn)步，用有限資源做出的 toy 在兩三個(gè)月的審稿周期后就已被淘汰?，F(xiàn)在群魔亂舞的 peer-review 也無(wú)法有效評(píng)估和引導(dǎo)研究的價(jià)值，rebuttal、recycle 只會(huì)進(jìn)一步浪費(fèi)時(shí)間

一個(gè)越多被提及的說(shuō)法是「ACL 系列會(huì)議愛(ài)收精致的垃圾」。NLP community 在歷史的慣性逐步衰減后可能會(huì)迎來(lái)凋亡，或者成為圈地自萌的娛樂(lè)場(chǎng)

鏈接：https://www.zhihu.com/question/589704718/answer/2946162537

答者：匿名用戶

沒(méi)在名校強(qiáng)組，資源有限，在讀博一，有點(diǎn)49年入國(guó)軍的感覺(jué)了，能夠感覺(jué)到這是AI時(shí)代，（巨頭公司/機(jī)構(gòu)）大有可為，但和我沒(méi)什么關(guān)系了。大概在接下來(lái)的幾個(gè)月一兩年內(nèi)能夠看到大模型顯著地改變無(wú)數(shù)人的生活、工作，創(chuàng)造出巨量的價(jià)值，明明我就在做相關(guān)的研究，但我不僅沒(méi)法參與到這一切中，甚至還讓自己原有的努力作廢。

本來(lái)找了個(gè)ACL22的新數(shù)據(jù)集，加點(diǎn)ICLR、ICML里學(xué)到最新的trick，投個(gè)C會(huì)練練手。好巧不巧是個(gè)文本生成任務(wù)，看了下自己用的BART-base（別問(wèn)，問(wèn)就是large跑不起來(lái)），再看了下ChatGPT和GPT-4生成的結(jié)果，思考了一下午我的工作意義在哪里，怎么編出來(lái)意義，我已經(jīng)想到審稿人在說(shuō)：“糊弄的結(jié)果騙騙哥們兒可以，哥們打個(gè)哈哈就給你reject了，別真把自己騙了以為做的那坨東西就有意義了”。想了一下午，感覺(jué)或許能強(qiáng)行挽尊比GPT-3.5有限地強(qiáng)點(diǎn)，至于ChatGPT和GPT-4，無(wú)能為力。如果我的模型能勝出那只能是因?yàn)閜rompt沒(méi)選好。

畢竟還是需要發(fā)故事會(huì)達(dá)到畢業(yè)要求的，可以遇見(jiàn)未來(lái)只能試著去啃一啃大模型懶得去關(guān)注的邊邊角角，講一兩個(gè)自己都不相信的科幻故事，換個(gè)文憑。

update：看了下評(píng)論大伙評(píng)論的一些觀點(diǎn)：

快潤(rùn)：小潤(rùn)交叉學(xué)科，大潤(rùn)跨學(xué)科，超大潤(rùn)直接退學(xué)。感覺(jué)如果是碩士生還是硬著頭皮做下去畢業(yè)就行。答主自己打算趁著最后一點(diǎn)時(shí)間，努力把手頭做的工作投出去，之后無(wú)論是實(shí)習(xí)還是交換都會(huì)有底氣一些。目前來(lái)看組里面也比較迷茫，不是很確定接下來(lái)做什么。大概率是去做NLP應(yīng)用到某個(gè)具體領(lǐng)域（結(jié)合做的工程項(xiàng)目），但這樣的交叉領(lǐng)域能不能讓組里的大伙畢業(yè)完全不好說(shuō)。

做LLM相關(guān)工作/api-driven的科研：可能這樣的工作手快發(fā)幾篇論文或者混個(gè)碩士畢業(yè)沒(méi)問(wèn)題，但是很難攢成一個(gè)博士畢業(yè)要求大論文的工作，大概率在開(kāi)題之后的半年到一年，之前的工作就被新的LLM薄紗了，除了極少數(shù)有資源的博士生之外，很難專門(mén)去做LLM相關(guān)工作。

鏈接：https://www.zhihu.com/question/589704718/answer/2946249350

答者：劉聰NLP

有資源的NLPer，研究大模型基座；少資源的NLPer，研究大模型微調(diào)；沒(méi)資源的NLPer，研究接口調(diào)用。

沒(méi)有資源的，為什么不研究prompt模板呢，因?yàn)橐惨呀?jīng)有自動(dòng)化模板生成API。

不開(kāi)玩笑的說(shuō)，大模型賦予小模型更多能力的工作，可能是之后要研究的重點(diǎn)，畢竟10億參數(shù)的模型部署還可以嘗試，100億甚至1000億的模型對(duì)于企業(yè)來(lái)說(shuō)還是壓力過(guò)大的。

鏈接：https://www.zhihu.com/question/589704718/answer/2946686094

答者：艾倫

坐標(biāo)美國(guó) Top 10 的 CS PhD。

最近聽(tīng)到很多NLP換方向的故事。我本人當(dāng)初本來(lái)想做NLP方向，剛開(kāi)始讀博時(shí)臨時(shí)改成Data Mining。

可以看到這是AI領(lǐng)域內(nèi)的失業(yè)，將來(lái)領(lǐng)域外必然更多。詳見(jiàn)以下論文：

曾經(jīng)人們還坦言人類的創(chuàng)造力機(jī)器無(wú)法輕易取代，而現(xiàn)在來(lái)看，AI在很多方面的創(chuàng)造力甚至遠(yuǎn)高于人類

接下來(lái)可能會(huì)發(fā)生的事情：

會(huì)有一場(chǎng)超大模型的軍備競(jìng)賽。先前大廠普遍認(rèn)為搞超大模型沒(méi)前途。從成本出發(fā)，無(wú)論是大規(guī)模高質(zhì)量的數(shù)據(jù)標(biāo)注還是模型訓(xùn)練，都很少有人愿意接受，大廠工程師們吃著安穩(wěn)飯，更是不敢把身家性命抵到這種高成本卻前途未卜的事情上。OpenAI是一家小而精，且對(duì)大模型有著極高信仰的組織。OpenAI 把事情做絕，用 ChatGPT 和 GPT-4證明了把模型做大所能達(dá)到的境界。其他大廠得以說(shuō)服自己（以及PMs），順著這個(gè)方向把模型做得更大更powerful。

NLP和CV方向會(huì)從學(xué)術(shù)界轉(zhuǎn)向工業(yè)界的趨勢(shì)。此處“工業(yè)界”特指有財(cái)力和資源實(shí)行大規(guī)模、高質(zhì)量數(shù)據(jù)標(biāo)注，以及超大模型訓(xùn)練的Big Tech。學(xué)術(shù)界當(dāng)前的研究像小打小鬧，這種小作坊的模式終究無(wú)法和大廠匹敵。試想一下，一個(gè)實(shí)驗(yàn)室?guī)讉€(gè)PhD搶8塊V100能做出什么呢？

NLP頂會(huì)會(huì)涌現(xiàn)出一大批在各個(gè)應(yīng)用場(chǎng)景（e.g. social network, biomedical, text generation...）evaluate ChatGPT/GPT-4的文章，包括但不限于ACL/EMNLP/NAACL/EACL，這就跟當(dāng)年 transformer 走紅時(shí)一樣

雖然GPT-4讓很多傳統(tǒng) NLP 研究死掉，但也會(huì)開(kāi)辟一些新坑。比如

DeepFake Detection 和 Misinformation Detection，因?yàn)閷?lái)社交網(wǎng)絡(luò)上很多內(nèi)容都會(huì)是GPT生成的，不僅僅是 GPT-4 的textual output這么簡(jiǎn)單（Generated Audio, Images, Videos, etc）

Societal Impacts of GPT-4，這和Social Computing更相關(guān)，不僅限于NLP研究了

感覺(jué)最近每一天都在印證未來(lái)簡(jiǎn)史中的情節(jié)。未來(lái)，已來(lái)

審核編輯 ：李倩