原提問：

計算機視覺伴隨多個SOTA的完善和推進，已經進去深水區(qū)，各個論壇社區(qū)的畢業(yè)生和從業(yè)者都一片卷聲，大呼卷的不行，各種勸退，認為NLP目前才是藍海，是未來深度學習的自由之地。那么實際情況是怎么樣的呢？是因為CV對硬件有要求而NLP不需要硬件還是技術門檻過低，亦或是從業(yè)人員眾多等。那么未來的深度學習應用應該朝哪個方向發(fā)力呢，才能做大蛋糕?

謝凌曦：

我沒看錯吧？NLP是一片藍海是自由之地？CV比較完善進入了深水區(qū)？一時間，我都不知道應該從哪個點開始吐槽了。

因為題主問到了CV和NLP的比較。如果一定要橫向對比的話，那么CV和NLP長期以來是互相學習、互相趕超的關系。雖然同屬于AI這個大領域，也同樣具有不確定性因而概率類方法占據絕對優(yōu)勢，但兩者的性質還是存在諸多不同。具體來說：

CV信號是天然存在的，而NLP信號是人類創(chuàng)造出來、用于存儲知識的。因此，CV信號維度高、信息密度低，而NLP信號維度低、信息密度高。這就意味著在NLP信號上進行自監(jiān)督學習更容易，也意味著要在CV信號上進行自監(jiān)督學習，需要事先進行某種意義上的信息提純。

CV信號描述了對象的細節(jié)，具有一定的冗余度，而NLP信號是對象的抽象化描述，具有一定的模糊性。CV信號是層次化的，而NLP信號是結構化的。這些明顯的對比，意味著要想在CV和NLP領域產生初級技術應用，算法需要關注的點是不一樣的。CV更關注特征的抽象和domain之間的遷移，而NLP更關注單詞間的聯系和消歧義，等等。

當前，CV和NLP面臨的共同困難，都是標注信息的不完善——簡單地說，人類提供的標簽已經無法很好地指導學習過程，具體描述可以參考我昨天寫的另一個回答：

目前計算機視覺中的很多自監(jiān)督方法的下游任務用有監(jiān)督分類的意義是什么？

這也就意味著，有監(jiān)督學習的紅利已經基本吃完，業(yè)界急需從無標簽數據中獲取邁向下一代人工智能的鑰匙。雖然這把鑰匙仍未找到，但是我們基本可以確定大規(guī)模上游預訓練+小規(guī)模下游微調的套路。NLP已經部分走通了這條路——雖然現在的GPT-3被批評為只有記憶沒有常識，但是長遠看，這條路應該是通的；而CV也需要迎頭趕上。

警告：以下是猜測

如果對CV的未來走向進行判斷，我認為一種很可能發(fā)生情況是復刻NLP的軌跡，由大廠完成超大規(guī)模圖像預訓練模型，隨后將模型release給廣大開發(fā)者使用。這條路一旦走通，將會深遠地改變當前CV的格局和開發(fā)模式。當然，對于廣大開發(fā)者而言，適應新的算法并不困難，適應新的生態(tài)可能會有一定的挑戰(zhàn)。

最后，談到內卷的問題。內卷永遠是存在的，只要大家認為這個領域的從業(yè)者的數量超過了它能夠實際養(yǎng)活的數量。我對這個問題的看法是，CV在實際應用上的潛力遠沒有被發(fā)揮出來。如果更先進的技術路線能夠達成，那么整個行業(yè)能養(yǎng)活的工程師數量一定會增加，到時候還會不會卷，就看會不會有更多人跳進這個坑里來了。

韋仕才：

作為一名入門煉丹師我來談談我的觀點。

首先關于卷的這個問題，我覺得并不僅僅是因為或者所很大程度不是因為說cv入門門檻低，或者深度學習入門門檻低啥的，好歹它還需一塊1080ti+是吧?？纯锤舯诘?a href="http://www.brongaenegriffin.com/v/tag/852/" target="_blank">JAVA，那個真是有手就行（狗頭），但是你看有人說開發(fā)崗卷嗎？想必無數學長學姐都告訴過大家，遇事不決就學JAVA，或者再加點c++。而大家，至少我應該是幾乎沒聽過說JAVA開發(fā)崗一片紅海找不到工作啥的，至多就是入職的996，35歲的中年危機。甚至我認識的人很多是深度學習搞不下去了，找不到工作了，半年速成JAVA去找了開發(fā)的工作。同樣都是那么多人入門，甚至轉開發(fā)和JAVA的人更多，為啥就深度學習一片紅海，問題出在哪呢？

問題的核心其實在于供需失衡。首先是供給方，注意深度學習的紅利是真的曾經存在過的！??！，并不從一開始就是泡沫。在15-17年那會，前景看起來一片光明，學生們看到深度學習，計算機視覺帶來的巨大福利，老師們看到這個東西好發(fā)文章，申項目，于是紛紛轉向深度學習，計算機視覺。特別是隨著深度學習框架的普及和硬件資源的不斷升級, 深度學習的入門門檻越來越低, 兩個月入門真的不是夢想。就連李飛飛，吳恩達，bengio，blabla等各路大神都紛紛離校創(chuàng)業(yè)或從業(yè)，所以大家沒忍住誘惑走進了這個坑真怪不了什么，我也沒忍住，畢竟那時候誰能想到會是現在這樣，一切看起來都非常美好，智能時代仿佛近在眼前。但是現在在呢? 李飛飛又回到了斯坦福, 吳恩達開始去搞教育, bengio的公司或許將要賤賣（以低于融資成本的價格賣出），知乎上開始出現如何看待2019年算法崗一篇紅海, 2020年算法崗灰飛煙滅, 而我前不久也還在吐槽如何看待深度學習復現難的問題。這中間發(fā)生了什么?

這就需要談到需求方的問題。首先很明顯的是目前公司對算法崗，深度學習需求并沒有像大家所想象的那么大，不然也不至于出現現在大家所說的一片紅?；绎w煙滅的問題?？墒菫槭裁茨?？說好的工業(yè)4.0呢，說好的光明前景呢？這就要談到另一個問題，什么決定了公司的需求？夢想？熱愛？不，是利益，99.9%公司都是如此。剩下的0.1%也會慢慢變成如此。這里我想起了之前和師兄的聊天

我的一個博士師兄是工作之后才來讀博的，他17年碩士畢業(yè)去了海信做圖像算法，后來有一天我們一起回寢室，師兄突然說起還好辭職，不然現在海信大裁員指不定就裁到他了。我說你們不是做算法的嗎，怎么會裁到你們。師兄說裁的就是研發(fā)部門…，也就是算法崗可能的來源。我當時心想，不應該啊，研發(fā)部門不應該都是像達摩院， FAIR這種，關乎一個公司能否把握未來機遇，抓住下一個風口的重要部門嗎，怎么說裁就裁。師兄說，因為不掙錢啊，我們公司墻上掛滿了各種專利，但是實際能用來產生效益的沒幾個。不是每一個公司都能有那么大的魄力和資金投入做自己的算法研發(fā)的。更多是用別人做好的接口開發(fā)產品。

而像阿里，曠視，商湯這種提供算法支持的不應該有很大的算法崗需求嗎？為什么還是會卷。其實他們的需求也沒那么大，原因還是一樣的，計算機視覺，深度學習并沒能帶來大家所期望應用和盈利。說到這，其實大家眼里的眼里這些公司也不容易，也卷的不行，那么多公司就分人臉識別，智能安防等幾個領域的蛋糕，而且技術壁壘也沒有大到非某家不可的地步。而這歸根到底就是現在深度學習，計算機視覺能落地的場景真的不多。

所以這就談到第二點了，現在計算機視覺的瓶頸。以下觀點更多是從算法落地角度考慮的，可能存在一些局限。

做過算法落地的人應該都深有體會，那些頂刊頂會上的sota算法，你用到實際場景里，如果不適用額外數據做微調，準確率掉一個30%到40%，再正常不過了。而且很多時候視任務的難易程度準確率從70%到85%甚至90%是可以靠數據堆出來的，但是再往上就沒那么容易了。當然千萬級別甚至更高數量級的數據那就另說了，畢竟人工智能人工智能，有多少人工就有多少智能。即使如此還會有極端情況存在你加數據可能都無法解決

研一那會跟著師兄參加過一個復雜環(huán)境下人臉檢測識別挑戰(zhàn)賽，做的就是監(jiān)控視頻下白天黑夜各種復雜場景下的人臉識別。大家一看人臉識別，這不是做爛了嗎，還有什么好做的？我當時也這么想，師兄可能開始也這么想，然后師兄兩年就花在了上面，后來表示非常后悔。當時的情況就是白天下還好，基本都能識別差不多，黑夜路燈下，準確率極劇降到了10%各種優(yōu)化弄到20%就已經慘不忍睹了，就這還拿了第五名。前面的是一起參賽的還有大華，云從這些大廠，這里就說說大華，專業(yè)做安防的，他們最后黑夜環(huán)境下準確率大概是70%，而且這里還不確實他們是不是用了自己的數據，總之我們是沒數據。

數據都不能解決，但還是要用，那怎么辦，一般就只能限制場景，麻煩用戶了?，F在大家所能看到的落地應用多半是在一個盡量不影響用戶體驗的場景限制里，采集海量數據集，擬合一個模型然后使用。這個過程中真正起了大作用的，不是大家以為的那些sota模型，而是那些場景的約束和海量數據。以我做的活體檢測為例，現在也有落地的應用了，阿里，小視科技，但是你們去用的時候它都會有請靠近遠離攝像頭讓你距離攝像頭的位置在指定距離，請保持靜止blabla一些限制，甚至有時候我都已經在這個范圍里還不給我檢測，用的賊惡心。這些限制能不能不要？不行，因為不加這東西就解決不了。

緊接著上面就是關于計算機視覺的未來。我始終認為技術發(fā)展的終點就是產品，能夠切實的落地影響或改變人們的生活，解決人們的實際需求。所以我一直覺得我今后會是一個工程師而不是科學家。而如果從這個角度看計算機視覺的未來那就是這樣的。

我數據量不夠的怎么辦——小樣本學習，遷移學習。

數據標注成本高怎么辦——半監(jiān)督，無監(jiān)督。

我數據分布不均衡怎么辦——長尾分布。

如何利用各種可能的數據來優(yōu)化提高模型性能——多模態(tài)學習。

如何適應復雜場景（自然的，人為的）——深度學習的魯棒性，泛化性研究，對抗學習。

算法出問題我怎么糾正和修改——深度學習可解釋性問題。

我的模型怎么快速高效部署用于實際產品——機器學習系統，深度學習框架研究，模型壓縮

吉恒杉：

在企業(yè)里從事三年多cv業(yè)務，感覺cv還是有很多東西沒有解決，比如類別無關的檢測問題，圖像去模糊，畫質評估，美學度量，以及和nlp的跨模態(tài)檢索等。由于cv開源的好項目很多，整體開箱可用率高，入門門檻低，前兩三年入坑的人也比較多，導致現在內卷嚴重，這是實情，所以在招聘cv崗位的時候動輒要求發(fā)表幾篇a類文章，競爭還是很激烈的。加上今年經濟形勢嚴重，不掙錢的業(yè)務招聘名額會縮減，所以建議想從事cv的同事盡量挑選李業(yè)務線比較近的部門，比如阿里的電商部門(打個小廣告，我們部門還有招聘名額，歡迎有意向點同事發(fā)簡歷到 hengshan.jhs@alibaba-inc.com)。關于nlp，現在算法幾乎都是bert，transformer，關鍵看怎么抽象業(yè)務問題，由于nlp的落地比cv要好一點，所以nlp找工作確實比cv好找一點。但是nlp內卷也會越來越嚴重。至于長期cv的走向，可能還得跟學術的發(fā)展，可能跨模態(tài)檢索最近會好過一點，cv一些問題用nlp的transformer可以解決，感覺cv和nlp有統一起來的趨勢。

機器學習入坑者：

先來說說學界的寫論文，CV領域的難度很小，為啥？

因為：代碼開源+數據共享。

就拿目標檢測或者圖像分割來說，github上面一堆優(yōu)秀的開源項目，只要一鍵clone就能省去繁瑣的實驗流程。

所以，搞CV的同學說：“我在辛辛苦苦做實驗！！

”背后的潛臺詞可能是：“我下載了一份代碼，有幾個bug，應該是python或者是pytorch的版本不對應造成的，我重裝一下框架和cuda吧?。　?/p>

或者是潛臺詞是：“我的數據集格式和這個作者的不太一樣，怎么才能讀進去呢？”

對于頂刊頂會論文，對于國內大部分的課題組是無關緊要的，只要能發(fā)個SCI就算達標了，有些學校只需要發(fā)中文核心。畢竟，每年發(fā)cvpr的幾個實驗室，無非就是幾個名校和大廠。

對于導師來說，讓學生跑CV的實驗，數據可靠性也更高。為啥呢？

就拿圖像分類問題來說，可以改一改ResNet的層數，然后應用到葉片病害分類、缺陷分類或者是其它的分類任務之中。

實驗得到的數據，通過預估甚至都能猜個差不多。比如論文A采用ResNet在工業(yè)數據集上獲得了88%的分類準確率，某個論文B通過對ResNet的層數進行增加或者刪減，或者是采用多尺度的策略，總是可以提升1-2%的準確率。

都說深度學習的結果很玄學，但實際上，數據量充足的情況下總是可以通過提升算力來增強模型的性能。

fwtan：

多看看大佬的slides：Computer Vision: Looking Back to Look Forward, 覺得卷是因為大部分cv從業(yè)者未必能把里面的每一頁都看懂

愛因斯坦：

cv小菜雞說下自己的看法。

對于普通從業(yè)者來說，CV卷分為在學校卷和在企業(yè)卷。在學校卷原因是這個玩意入門門檻低，好發(fā)論文，和哪個領域都能排列組合一下，導致做這個的老師變多，進而導致做這個的碩博變多；在企業(yè)卷是因為CV資本泡沫還是有一些，各大獨角獸吸納了大量CV人才，之后餅畫不下去了，這些人就要一起競爭。NLP看卷不卷同理，我認為是要比CV好不少的，不過難保成為下一個卷起來的方向。

從未來應用角度，感覺CV目標是取代低端重復工作，NLP對應的則是取代人，有點強ai的意思，有點遙遠，至少未來感覺CV還是要比NLP應用廣闊很多的，無人車/醫(yī)療/工業(yè)/測繪/ARVR等。

不管是CV還是NLP，都是偏技術線，建議讀個博士，或者發(fā)幾篇頂會，搞這些一個很大好處是可以最大限度發(fā)揮自己的科研經歷的優(yōu)勢。選擇一個領域肯定要有做好的信心嘛，所以雖然CV卷了點，但如果能做好覺得在十年的短期內選CV還是好點的。

個人見解，如有錯誤還請指正哈

責任編輯：lq