現(xiàn)在西二旗或望京的地鐵車廂里打個(gè)噴嚏,就能讓10個(gè)算法工程師第二天因?yàn)楦忻罢?qǐng)假。
不久前,訊飛AI同傳語(yǔ)音造假的新聞刷爆科技圈,科大訊飛股價(jià)應(yīng)聲下跌3.89%(不是65.3%,標(biāo)題黨文章害死人)。 吃瓜群眾紛紛感慨,有多少人工,就有多少智能。
AI概念在2015年起就紅得發(fā)紫,不論是送外賣,搞團(tuán)購(gòu),賣車,或是推薦莆田醫(yī)院的,是個(gè)公司都會(huì)標(biāo)榜自己是搞人工智能的。
在21世紀(jì)的第二個(gè)十年,計(jì)算機(jī)專業(yè)相關(guān)的學(xué)生不說(shuō)自己是搞AI算法的,同學(xué)聚會(huì)都抬不起頭,相親都沒(méi)機(jī)會(huì)。
隨便從一摞簡(jiǎn)歷里抽出一份,一定會(huì)有AI、調(diào)參、CNN、LSTM這些關(guān)鍵詞。未來(lái)最賺錢(qián)的職業(yè),一定不是天橋貼膜,而是天橋調(diào)參,50塊錢(qián)一次,一調(diào)就靈:
天橋調(diào)參
NIPS會(huì)議,人滿為患,改改網(wǎng)絡(luò)結(jié)構(gòu),弄個(gè)激活函數(shù)就想水一篇paper; 到處都是AI算法的培訓(xùn)廣告,三個(gè)月,讓你年薪45萬(wàn)!
在西二旗或望京的地鐵車廂里打個(gè)噴嚏,就能讓10個(gè)算法工程師第二天因?yàn)楦忻罢?qǐng)假。
誰(shuí)也不知道這波熱潮還能持續(xù)多久,但筆者作為一線算法工程師,已經(jīng)能明顯感受到危機(jī)的味道: 以大紅大紫的圖像為例,圖像方向簡(jiǎn)歷堆滿了HR的辦公臺(tái),連小學(xué)生都在搞單片機(jī)和計(jì)算機(jī)視覺(jué)。
在筆者所在的公司,人工智能部門(mén)正在從早前研究院性質(zhì)的組織架構(gòu)分別向前臺(tái)和后臺(tái)遷移:前者進(jìn)入業(yè)務(wù)部門(mén),背上繁重的KPI,與外部競(jìng)爭(zhēng)者貼身肉搏。
后者則完全融入基礎(chǔ)架構(gòu),像數(shù)據(jù)庫(kù)一樣普通和平凡。之前安逸的偏研究生活被打破, AI早已走下神壇。
以筆者愚見(jiàn),對(duì)于一般的算法工程師,這種危機(jī)包含兩部分:一方面是來(lái)自人的競(jìng)爭(zhēng),大量便宜的畢業(yè)生和培訓(xùn)生涌入這個(gè)行業(yè),人才缺口被迅速填滿甚至飽和,未來(lái)的競(jìng)爭(zhēng)會(huì)更激烈。
另一方面則是來(lái)自機(jī)器的競(jìng)爭(zhēng),大量算法工程師會(huì)很快被他們每天研究的算法所代替。 這兩者互相惡化,AI人才市場(chǎng)終會(huì)變成一片紅海。
連小學(xué)生都會(huì)寫(xiě)模型
工具和框架本身的發(fā)展,讓設(shè)計(jì)模型所需的代碼寫(xiě)得越來(lái)越簡(jiǎn)潔。10年前從頭用C++和矩陣庫(kù)實(shí)現(xiàn)梯度下降還是有不小的門(mén)檻的,動(dòng)輒上千行。而當(dāng)今幾十行Keras甚至圖形化的模型構(gòu)建工具,讓小學(xué)生都能設(shè)計(jì)出可用的二分類模型。
強(qiáng)大的類庫(kù)吞噬了知識(shí),掩蓋了內(nèi)部的復(fù)雜性,但也給從業(yè)者帶來(lái)了不小的惰性。從業(yè)者的技術(shù)水平,和使用模型的復(fù)雜程度關(guān)系不大,越是大牛,用的技術(shù)更底層更make sense。
不僅如此,深度學(xué)習(xí)本身的性質(zhì),造成了明顯的數(shù)學(xué)鴻溝。與SVM, 決策樹(shù)不同,由于模型存在大量的非線性和復(fù)雜的層次關(guān)系,且輸入信號(hào)(例如圖像,文本)也很復(fù)雜,因此嚴(yán)格的數(shù)學(xué)論證是需要極高的抽象技巧的。
該方法為什么好,在什么類型的數(shù)據(jù)上好,有時(shí)連作者都在拍腦袋,很多state of arts的方法,成了口口相傳的經(jīng)驗(yàn)和trick,而非嚴(yán)謹(jǐn)?shù)膖heory。 連batch normlization(批規(guī)范化,只包含四個(gè)初中數(shù)學(xué)級(jí)別的簡(jiǎn)單公式)為何有效,都被爭(zhēng)論了好幾年。
只有鳳毛棱角的專家,能深入到模型最深處,用數(shù)值分析和理論證明給出嚴(yán)謹(jǐn)?shù)拇鸢浮?大部分人在入門(mén)后便進(jìn)入漫長(zhǎng)的平臺(tái)期,美其名曰參數(shù)調(diào)優(yōu),實(shí)際就像太上老君煉丹一樣。
我們把這種現(xiàn)象繪制成下面的AI學(xué)習(xí)曲線,左側(cè)是稍顯陡峭的入門(mén)期,需要學(xué)習(xí)基本的矩陣論,微積分和編程,之后便是漫長(zhǎng)的平臺(tái)期。
隨著復(fù)雜性越來(lái)越高,其學(xué)習(xí)曲線也越來(lái)越陡峭,大部分人也就止步于此。 越來(lái)越易用的工具,讓曲線的斜率變大,入門(mén)期變短,卻并不能改變右側(cè)的陡峭程度。
AI學(xué)習(xí)曲線
入門(mén)容易深入難,這條曲線同時(shí)也能描述AI人才的收入水平。而真正處于危機(jī)的,莫過(guò)于夾在中間的蕓蕓眾人:對(duì)理論一知半解,對(duì)工具非常依賴??商娲院軓?qiáng),一旦AI浪潮過(guò)去,就知道誰(shuí)是在裸泳。
市場(chǎng)和業(yè)務(wù)變化越來(lái)越快,能有哪些核心業(yè)務(wù),是能讓工程師靜心調(diào)個(gè)一年半載的呢?
當(dāng)一個(gè)從培訓(xùn)學(xué)校里出來(lái)的人都能做模型時(shí),有多少業(yè)務(wù)能讓公司多花兩三倍的人力成本,而僅帶來(lái)1%的性能提升呢?
機(jī)器都能調(diào)參,要你干嗎?
面向大眾AI科普節(jié)目,最常討論的便是“AI時(shí)代如何不被機(jī)器所取代”。很不幸,最容易且最快被取代的反而是算法工程師。
算法崗比工程崗更容易被取代。 在現(xiàn)有技術(shù)下,由于業(yè)務(wù)需求的復(fù)雜性, 自動(dòng)生成一套軟件App或服務(wù)幾乎不可能的(否則就已經(jīng)進(jìn)入強(qiáng)人工智能時(shí)代了),但模型太容易被形式化地定義了。
根據(jù)數(shù)據(jù)性質(zhì),自動(dòng)生成各個(gè)領(lǐng)域的端到端(end2end)的模型也逐漸在工業(yè)上可用了:圖像語(yǔ)音和廣告推薦的飛速發(fā)展,直接套用即可。理論和經(jīng)驗(yàn)越來(lái)越完善,人變得越來(lái)越可替代。
特征可以自動(dòng)生成和優(yōu)選,特征工程師失業(yè)了; 深度網(wǎng)絡(luò)采用經(jīng)典結(jié)構(gòu)即能滿足一般業(yè)務(wù)需求,參數(shù)搜索在AutoML下變得越來(lái)越方便,調(diào)參工程師的飯碗也丟了; 以前需要大力氣搭建的數(shù)據(jù)回流和預(yù)測(cè)的鏈路,已經(jīng)成了公司的基礎(chǔ)組件,數(shù)據(jù)工程師也沒(méi)事干了。
此處引用老板經(jīng)常說(shuō)的一句話:機(jī)器都能干了,要你干嗎?
從目前AI熱門(mén)論文的情況看,廣告推薦領(lǐng)域已經(jīng)逐漸成熟,很多技巧沉淀為一整套方法論,已進(jìn)入平臺(tái)期。
下一個(gè)即將被攻陷的領(lǐng)域應(yīng)該是圖像;而文本由于其內(nèi)在的抽象性和模糊性,應(yīng)該是算法工程師最后的一塊凈土,但這個(gè)門(mén)檻,五年內(nèi)就會(huì)有爆發(fā)式的突破。
如何最優(yōu)化職業(yè)發(fā)展?
人工智能已經(jīng)火了至少五年,它在未來(lái)五年是否火爆我們不能確定,但一定會(huì)更加兩極化:偏基礎(chǔ)的功能一般程序員就能搞定,像白開(kāi)水一樣普通。而針對(duì)更復(fù)雜模型甚至強(qiáng)人工智能的研究會(huì)成為少數(shù)人的專利。
在一般的技術(shù)公司,傳統(tǒng)意義的軟件開(kāi)發(fā)和產(chǎn)品設(shè)計(jì),遠(yuǎn)比AI算法的需求來(lái)的多。
算法永遠(yuǎn)是錦上添花,而非雪中送炭,再好的算法也拯救不了落后的業(yè)務(wù)和商業(yè)模式。一旦經(jīng)濟(jì)下行,企業(yè)首要干掉的就是錦上添花且人力成本較高的部分。
如果你是頂級(jí)的算法專家,這樣的問(wèn)題根本不需擔(dān)心。但是,對(duì)大部分人來(lái)說(shuō),如何找到自己的梯度上升方向,實(shí)現(xiàn)最優(yōu)的人生優(yōu)化器呢?
筆者給出一些不成熟的小建議,供讀者拋磚引玉,基本也是往兩頭走:
首先是深入原理和底層,類似TensorFlow的核心代碼至少要讀一遍吧?就算沒(méi)有嚴(yán)格的理論基礎(chǔ),最起碼也不能瞎搞啊。
切莫不能被工具帶來(lái)的易用性迷惑雙眼。要熟悉工具箱里每種函數(shù)的品性,對(duì)流動(dòng)在模型里的數(shù)據(jù)有足夠的嗅覺(jué),在調(diào)參初期就能對(duì)不靠譜的參數(shù)快速剪枝。
按個(gè)人理解,做算法帶來(lái)的最大收獲是科學(xué)精神和實(shí)驗(yàn)思維,這是做工程很難培養(yǎng)出來(lái)的。以前看論文看了introduction和模型設(shè)計(jì),草草地讀一下實(shí)驗(yàn)結(jié)果就完事兒了。
殊不知AB實(shí)驗(yàn)設(shè)計(jì)很可能才是論文的核心:實(shí)驗(yàn)樣本是否無(wú)偏,實(shí)驗(yàn)設(shè)計(jì)是否嚴(yán)謹(jǐn),核心效果是否合理,是否能證明論文結(jié)論。
也許一行代碼和一個(gè)參數(shù)的修改,背后是艱辛的思考和實(shí)驗(yàn),做算法太需要嚴(yán)謹(jǐn)和縝密的思維了。即使未來(lái)不做算法,這些經(jīng)驗(yàn)都會(huì)是非常寶貴的財(cái)富。
再者是盡早面向領(lǐng)域,面向人和業(yè)務(wù)。AI本身只是工具,它的抽象性并不能讓其成為各個(gè)領(lǐng)域的靈丹妙藥。
如果不能和AI專家在深度上競(jìng)爭(zhēng),就在業(yè)務(wù)領(lǐng)域?qū)>钔?,擁有比業(yè)務(wù)人員更好的數(shù)據(jù)敏感度,成為跨界專家。現(xiàn)在已經(jīng)有大量AI+金融、AI+醫(yī)療、AI+體育的成功案例。
人能熟悉領(lǐng)域背后的數(shù)據(jù),背后的人性,這是機(jī)器短時(shí)間內(nèi)無(wú)法代替的,跨界帶來(lái)的組合爆炸,也許暗含著危機(jī)中的機(jī)會(huì)吧。
最后感慨一下,同樣是80后,年齡相差無(wú)幾,有人已是副總裁,有人帶了幾個(gè)人的小團(tuán)隊(duì),有人還在基層苦苦掙扎,軌跡在畢業(yè)時(shí)分叉,幾年后早已滄海桑田。
-
人工智能
+關(guān)注
關(guān)注
1811文章
49506瀏覽量
258348 -
計(jì)算機(jī)視覺(jué)
+關(guān)注
關(guān)注
9文章
1713瀏覽量
47339 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5586瀏覽量
123662
原文標(biāo)題:算法工程師的危機(jī)
文章出處:【微信號(hào):IV_Technology,微信公眾號(hào):智車科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄

硬件工程師面試必會(huì):10個(gè)核心考點(diǎn)#硬件設(shè)計(jì) #硬件工程師 #電路設(shè)計(jì) #電路設(shè)計(jì)
電子發(fā)燒友工程師看!電子領(lǐng)域評(píng)職稱,技術(shù)之路更扎實(shí)


硬件工程師看了只會(huì)找個(gè)角落默默哭泣#硬件工程師 #MDD #MDD辰達(dá)半導(dǎo)體 #產(chǎn)品經(jīng)理 #軟件工程師

工程師經(jīng)驗(yàn)分享:社區(qū)之星 趙云 沉著穩(wěn)定才能做好技術(shù)

如何成為一名嵌入式軟件工程師?



硬件工程師的終極幻想:焊板子焊上人生巔峰!#半導(dǎo)體器件 #硬件工程師 #MDD辰達(dá)半導(dǎo)體
嵌入式軟件工程師就業(yè)好不好?

不同時(shí)期的硬件工程師,最怕發(fā)生的事 #電子工程師 #硬件工程師 #內(nèi)容過(guò)于真實(shí) #YXC晶振 #揚(yáng)興科技
GpuGeek云平臺(tái)正式上線,專注AI算法工程師需求
【「從算法到電路—數(shù)字芯片算法的電路實(shí)現(xiàn)」閱讀體驗(yàn)】+介紹基礎(chǔ)硬件算法模塊
圖像算法工程師的利器——SpeedDP深度學(xué)習(xí)算法開(kāi)發(fā)平臺(tái)

評(píng)論