深度學(xué)習(xí)的成功和一系列令人驚訝的失敗模式教會(huì)了我們處理數(shù)據(jù)的寶貴教訓(xùn)。本文展示了深度學(xué)習(xí)真正可以實(shí)現(xiàn)什么，與經(jīng)典計(jì)算機(jī)視覺的區(qū)別是什么，以及進(jìn)行關(guān)鍵應(yīng)用的潛在危險(xiǎn)有哪些。

我們對(duì)深度網(wǎng)絡(luò)的黑盒效應(yīng)都很熟悉了。雖然沒有人知道黑盒子里到底經(jīng)歷了什么，然而深度學(xué)習(xí)的成功以及一系列驚人的失敗模式，提供了如何處理的數(shù)據(jù)的寶貴教訓(xùn)。

本文作者Piekniewski，將為我們展示深度學(xué)習(xí)的實(shí)際能力、與經(jīng)典計(jì)算機(jī)視覺的關(guān)系，在關(guān)鍵應(yīng)用上依賴深度學(xué)習(xí)的潛在危險(xiǎn)，以及未來走向。

此人也對(duì)AI寒冬論持有堅(jiān)定的信念，參見文章《深度學(xué)習(xí)到頂，AI寒冬將至！》《歷史總是在重演，AI寒冬或再來》。

視覺問題中沒有純粹的“簡(jiǎn)單”和“復(fù)雜”

首先需要就視覺/計(jì)算機(jī)視覺做一點(diǎn)說明。原則上可以表述如下：給定一臺(tái)攝像機(jī)拍攝的圖像，計(jì)算機(jī)可以回答關(guān)于該圖像內(nèi)容的一些問題。

簡(jiǎn)單的問題比如“圖像中是否存在三角形”，“圖像中是否存在人臉”；復(fù)雜的問題例如“是否有狗在圖像中追逐貓”。這些對(duì)人類來說小兒科的問題看似有很多相似的地方，然而事實(shí)卻證明這些問題的背后的復(fù)雜性存在巨大差異。

同樣是讓計(jì)算機(jī)回答“圖中是否有XX”的問題，“圖中是否有貓”顯然要比“圖中是否有紅色”更難。你看，試圖將視覺問題劃分為“簡(jiǎn)單”或“復(fù)雜”將會(huì)陷入無止境的深淵。

這一點(diǎn)很重要。因?yàn)橄裎覀內(nèi)祟愡@種高度視覺化的動(dòng)物，以上問題都不是問題。但對(duì)計(jì)算機(jī)深度學(xué)習(xí)來說，確實(shí)非常復(fù)雜。

傳統(tǒng)計(jì)算機(jī)視覺存在的問題

傳統(tǒng)的計(jì)算機(jī)視覺就是使用一套算法，從圖片里提取信息（通常表示為像素值數(shù)組）。比如去噪、增強(qiáng)和檢測(cè)的算法，一些方法旨在尋找簡(jiǎn)單的幾何圖元，例如邊緣檢測(cè)、形態(tài)分析、霍夫變換、斑點(diǎn)檢測(cè)、角點(diǎn)檢測(cè)、各種圖像閾值處理技術(shù)等。還有特征表示技術(shù)和變換，如定向梯度的直方圖、Haar級(jí)聯(lián)等可以用作機(jī)器學(xué)習(xí)分類器的前端以構(gòu)建更復(fù)雜的檢測(cè)器。

與流行的看法相反，上述工具結(jié)合在一起可以組成非常強(qiáng)大有效的特定物體探測(cè)器。人們可以構(gòu)建面部檢測(cè)器、汽車檢測(cè)器、路牌檢測(cè)器，并且它們很可能在精度和計(jì)算復(fù)雜性方面，優(yōu)于這些特定對(duì)象的深度學(xué)習(xí)解決方案。

但問題是，每個(gè)探測(cè)器都需要由有能力的人員從頭開始構(gòu)建，低效又昂貴，且不可擴(kuò)展的。

因此，李上上那些很厲害的探測(cè)器只適用于必須高頻場(chǎng)景，還需要證明前期投資的合理性。許多探測(cè)器都是專有的，一般公眾無法使用。

優(yōu)秀的面部探測(cè)器、車牌閱讀器很多，但狗探測(cè)器卻很少。沒有一個(gè)心智正常的人會(huì)投入人力和物力去編寫狗探測(cè)器或分類器，從圖像中分類出一種狗，貴且不切實(shí)際。

這是傳統(tǒng)視覺的死穴，卻是深度學(xué)習(xí)的用武之地。

用一個(gè)聰明學(xué)生的故事來解釋深度學(xué)習(xí)的本質(zhì)

想象一下，你正在教授計(jì)算機(jī)視覺課程。在開始的幾個(gè)講座中，學(xué)生了解到豐富的技術(shù)（例如上面討論的技術(shù)），接下來就是給學(xué)生布置一些任務(wù)。

先從一些簡(jiǎn)單的任務(wù)開始，例如通過詢問圖像中是否有圓形或正方形；接下來逐漸提高復(fù)雜度。學(xué)生每周都要編寫計(jì)算機(jī)程序來解決下一個(gè)任務(wù)。而你來查看代碼，并在某些示例上運(yùn)行代碼來檢驗(yàn)效果。

這個(gè)學(xué)期，來了一個(gè)新生，他不跟周圍人說話，也從不問問題。但當(dāng)他提交第一個(gè)解決方案時(shí)，你會(huì)發(fā)現(xiàn)這是一堆難以理解的代碼，跟你以前看到的代碼都不同。

看起來他正在用一些隨機(jī)看的過濾器對(duì)每個(gè)圖像進(jìn)行卷積，然后使用一些非常奇怪的邏輯，許多“ifthenelse”語句具有大量搞不懂的參數(shù)來獲得最終答案。你在樣本上運(yùn)行此代碼，它居然完全正常！你心想，這個(gè)方法是在不同尋常難以理解，但管他呢，確實(shí)有效??！

幾周過去了，任務(wù)復(fù)雜度在不斷提升，你越來越看不懂這個(gè)學(xué)生的代碼，但就算是最復(fù)雜的任務(wù)，它的效果也令人驚訝。最后一個(gè)問題是在一組真實(shí)的圖像中區(qū)分貓和狗。其他學(xué)生代碼的準(zhǔn)確率都沒有超過65％，但新學(xué)員的代碼能夠達(dá)到95％！太不可思議了。

你對(duì)代碼進(jìn)行了逆向工程，結(jié)果發(fā)現(xiàn)他那堆復(fù)雜的代碼，背后的邏輯其實(shí)非常簡(jiǎn)單：

檢測(cè)是否有狗牌：如果有返回“狗”；沒有返回“貓”

如果沒有狗牌，檢測(cè)圖像的左側(cè)部分是否比右側(cè)部分更黃：如果是返回“狗”；不是返回“貓”

你把這個(gè)學(xué)生叫到辦公室問他是怎么想的，他表示其實(shí)自己也不知道，他根本不明白貓和狗是什么，只知道通過什么方法將二者區(qū)分出來。這算作弊嗎？從人類的角度來看，是的，他的出發(fā)點(diǎn)和你想的完全不同。

雖然其他學(xué)生使用原始數(shù)據(jù)集并沒有得到特別突出的結(jié)果，但也不會(huì)出什么奇怪的錯(cuò)誤。相比而言，新學(xué)生的方式雖然在使用當(dāng)前數(shù)據(jù)集的時(shí)候，效果卓著，然而一旦稍微對(duì)數(shù)據(jù)集做一點(diǎn)改動(dòng)，例如將狗牌貼在貓身上，結(jié)果就是完全錯(cuò)誤的。

深度學(xué)習(xí)的天賜和詛咒

上面那個(gè)新學(xué)生的例子，其實(shí)很形象的表述了深度學(xué)習(xí)的特性。

深度學(xué)習(xí)是一種使用梯度反向傳播的、特定優(yōu)化技術(shù)來生成“程序”（也稱為“神經(jīng)網(wǎng)絡(luò)”）的技術(shù)。上面學(xué)生的程序只是構(gòu)建一組轉(zhuǎn)換和條件，將正確的標(biāo)簽分配給數(shù)據(jù)集中的正確圖像。而且總是在尋求解決問題最省力的方法，比如給定數(shù)據(jù)集里，狗的圖片都在右上角有一道藍(lán)色的光暈，那么深度學(xué)習(xí)就會(huì)立刻使用這作為區(qū)分貓狗的標(biāo)準(zhǔn)。

為了消除這些虛假的偏差，我們通常會(huì)向訓(xùn)練集添加更多數(shù)據(jù)、反向傳播生成的“程序”可能非常大、非常復(fù)雜，具有數(shù)百萬個(gè)參數(shù)和數(shù)千個(gè)條件檢查，可以鎖定到組合更精細(xì)偏見的組合。任何允許分配正確標(biāo)簽以統(tǒng)計(jì)優(yōu)化目標(biāo)函數(shù)的東西都會(huì)做，無論是否與任務(wù)的“語義精神”相關(guān)。

深度網(wǎng)絡(luò)能否最終鎖定到“語義正確”先驗(yàn)的東西上？當(dāng)然可以。但現(xiàn)在有大量證據(jù)表明，實(shí)際上并非五次。對(duì)抗性的例子表明，對(duì)圖像的微小修改都可以導(dǎo)致錯(cuò)誤的結(jié)果。對(duì)類似于先前訓(xùn)練的數(shù)據(jù)集的新樣本的研究表明，超出原始數(shù)據(jù)集的泛化遠(yuǎn)比數(shù)據(jù)集中的泛化弱得多。

自動(dòng)創(chuàng)建無人能想到的功能，是深度學(xué)習(xí)的最大優(yōu)勢(shì)，同時(shí)也是它的最大弱點(diǎn)、因?yàn)榇蠖鄶?shù)時(shí)候，至少在語義上是存疑的。

深度學(xué)習(xí)在什么情況下好用，什么情況下不可用？

深度學(xué)習(xí)無疑是計(jì)算機(jī)視覺工具箱的一個(gè)有趣補(bǔ)充?，F(xiàn)在可以相對(duì)容易地“訓(xùn)練”探測(cè)器來探測(cè)物體，還可以在一定程度通過調(diào)整探測(cè)器來使用更多算力。但同時(shí)也需要為深度網(wǎng)絡(luò)的黑盒屬性付出高昂的代價(jià)，我們無法確定他如何做出決定，而且跟我們認(rèn)可的“語義精神”毫無關(guān)系。因此，在輸入數(shù)據(jù)中出現(xiàn)的任何低級(jí)偏差都會(huì)導(dǎo)致檢測(cè)器意外地失敗，而且這些失效條件實(shí)際上無法表征。

因此在落地應(yīng)用時(shí)，深度學(xué)習(xí)主要用于對(duì)錯(cuò)誤不敏感、且能夠保證輸入不會(huì)與訓(xùn)練數(shù)據(jù)集有很大差異場(chǎng)景，例如圖像搜索，可能是監(jiān)視，自動(dòng)零售以及幾乎所有的“非關(guān)鍵任務(wù)”，95％的準(zhǔn)確率非常夠用了。

具有諷刺意味的是，大多數(shù)人堅(jiān)信深度學(xué)習(xí)在無人駕駛汽車、自動(dòng)機(jī)器人場(chǎng)景下的應(yīng)用是一場(chǎng)革命，Piekniewski認(rèn)為，只能將這種信念描述為“不幸”的誤解。因?yàn)檫@些場(chǎng)景需要需要實(shí)時(shí)決策，容錯(cuò)率極低，經(jīng)常會(huì)導(dǎo)致致命的結(jié)果，最近的研究顯示基于深度神經(jīng)的自動(dòng)駕駛解決方案在現(xiàn)實(shí)生活中確實(shí)容易受到對(duì)抗性攻擊。

還有人對(duì)深度學(xué)習(xí)應(yīng)用在醫(yī)學(xué)和診斷中寄予厚望。然而，在這個(gè)領(lǐng)域，也有一些相關(guān)的發(fā)現(xiàn)，例如，在一個(gè)機(jī)構(gòu)數(shù)據(jù)上訓(xùn)練的模型失敗了，換一個(gè)機(jī)構(gòu)數(shù)據(jù)卻成功了，說明這些模型使用比許多研究人員所希望的更淺度的數(shù)據(jù)。

數(shù)據(jù)比我們想象的更淺。

深度學(xué)習(xí) vs 傳統(tǒng)計(jì)算機(jī)視覺

深度學(xué)習(xí)現(xiàn)在非常流行，但傳統(tǒng)的計(jì)算機(jī)視覺也并非就失去價(jià)值。

傳統(tǒng)計(jì)算機(jī)視覺仍然可以用來構(gòu)建強(qiáng)大的探測(cè)器。這些手工做成的探測(cè)器可能無法在某些特定數(shù)據(jù)集指標(biāo)上實(shí)現(xiàn)高性能，但可以保證依賴于輸入的“語義相關(guān)”特征集，它的故障模式可以更好地表征和預(yù)期。

深度學(xué)習(xí)提供統(tǒng)計(jì)上強(qiáng)大的探測(cè)器，而不需要昂貴的特征工程，盡管仍需要大量已標(biāo)記的數(shù)據(jù)，外加大量GPU和現(xiàn)場(chǎng)的深度學(xué)習(xí)專家。而且，這些探測(cè)器會(huì)意外地失效，適用范圍也不容易被（完全）表征。

所以，在容錯(cuò)率高的場(chǎng)景中，可以選擇深度學(xué)習(xí)；在容錯(cuò)率低且計(jì)算復(fù)雜性更重要的場(chǎng)景中，經(jīng)典機(jī)器視覺管道將在可預(yù)見的未來繼續(xù)占據(jù)重要位置。