7月28-29日，由中國(guó)人工智能學(xué)會(huì)和深圳市羅湖區(qū)人民政府共同主辦，馬上科普承辦的“2018 中國(guó)人工智能大會(huì)（CCAI 2018）”完美收官。

香港中文大學(xué)終身教授，騰訊優(yōu)圖實(shí)驗(yàn)室杰出科學(xué)家，IEEE Fellow賈佳亞作題為《大規(guī)模圖像理解、分割新進(jìn)展》的主題演講。

以下是根據(jù)速記整理的大會(huì)講座實(shí)錄。

賈佳亞 香港中文大學(xué)終身教授，騰訊優(yōu)圖實(shí)驗(yàn)室杰出科學(xué)家，IEEE Fellow

目前，機(jī)器視覺(jué)已在下面幾個(gè)領(lǐng)域得到了成功的應(yīng)用。

1. 在游戲領(lǐng)域。機(jī)器視覺(jué)可以知道一個(gè)人的形體、骨骼、結(jié)構(gòu)，可以制作出很多新的游戲。這個(gè)市場(chǎng)非常大。

2. 安防領(lǐng)域。傳統(tǒng)上需要看很多的攝像頭，需要很多人力去審查，現(xiàn)在基于機(jī)器視覺(jué)技術(shù)，日常的判別不需要人去看，電腦就可以完成。

3. 娛樂(lè)領(lǐng)域。視覺(jué)技術(shù)可以創(chuàng)造出非常漂亮的人物，改變每一個(gè)人的外觀?；诖?，騰訊做了很多的娛樂(lè)應(yīng)用，如QQ里就有非常多有趣的玩法。

4. 醫(yī)療領(lǐng)域。從被醫(yī)生主導(dǎo)到現(xiàn)在電腦技術(shù)和人工智能技術(shù)，病變和異?？梢宰詣?dòng)檢測(cè)出來(lái)，這也是計(jì)算機(jī)視覺(jué)可實(shí)用的一部分。

5.自動(dòng)駕駛領(lǐng)域。計(jì)算機(jī)視覺(jué)是其中一個(gè)基本模塊。

我今天演講的主要部分是偏技術(shù)的，在演講之前，給大家看一些有趣的東西。

第一個(gè)是是超分辨率的結(jié)果圖（見(jiàn)上圖）。這是一個(gè)老問(wèn)題，研究了幾十年。我們?nèi)ツ暝贗CCV發(fā)表的一篇論文又在之前的基礎(chǔ)上極大地提高了速度和結(jié)果的分辨率，在一個(gè)非常模糊的圖片中生成清晰的細(xì)節(jié)。系統(tǒng)很簡(jiǎn)單，它對(duì)在網(wǎng)絡(luò)上需要大量傳輸?shù)膱D像或者視頻，可以極大地減少帶寬流量需求，節(jié)省成本。

第二個(gè)是我們團(tuán)隊(duì)研究了多年的Deblurring去模糊。當(dāng)大家看到像上面這張模糊照片時(shí)第一個(gè)反應(yīng)是把這張圖像刪除，節(jié)省空間?，F(xiàn)在我們的技術(shù)可以“變廢為寶”，從這些圖像里解析出車牌、人臉、字符，以及其他很多清晰細(xì)節(jié)。去模糊是圖像處理里比較難的問(wèn)題之一，因?yàn)樗且粋€(gè)高度ill-posed(病態(tài))的問(wèn)題，已經(jīng)研究了十年。最近我們又開(kāi)發(fā)出了新的方法，把結(jié)果做的更好。

第三個(gè)是我們和Intel的合作者今年在CVPR大會(huì)上發(fā)表的一個(gè)有趣的圖像生成系統(tǒng)。給出一個(gè)簡(jiǎn)單的畫板（見(jiàn)上圖），可以生成非常真實(shí)的圖像結(jié)果。這個(gè)過(guò)程可以用歷史上的文藝發(fā)展階段來(lái)理解。人類經(jīng)歷了一個(gè)從寫實(shí)派到抽象派的發(fā)展過(guò)程?，F(xiàn)在電腦技術(shù)創(chuàng)造還處在一個(gè)連寫實(shí)派都做不好的階段 —— 從一個(gè)任意的簡(jiǎn)單構(gòu)思到電腦幫你生成一張高質(zhì)量的相片還是非常難做到。這是其中一個(gè)我們要攻克的難關(guān)。

第四個(gè)就是我們?nèi)ツ曜隽艘粋€(gè)Make-UP Go（一鍵卸妝）的系統(tǒng)。其目標(biāo)是把上了妝（如上面左圖所示）的和實(shí)際樣子差別太大的圖片回復(fù)到上妝之前的容貌。這個(gè)系統(tǒng)在未婚男士群體中需求量很大。

基于這個(gè)系統(tǒng)和改進(jìn)，我們今年發(fā)表了一個(gè)Face edit（臉部編輯）系統(tǒng)。它可以任意改變面部的表情和真實(shí)容貌，可以加胡子,去除胡子；變年輕，變老；變哭為笑。這些效果都非常真實(shí)，就像一個(gè)人真實(shí)面容一樣。上圖示一個(gè)主持人的視頻，我們可以隨便改變他的樣子，比如留英俊的小胡子，年輕10歲；或者看到他20年后的樣貌。

以上的技術(shù)和效果都叫做前端視覺(jué)，就是可以讓人直接看到很多效果的一類視覺(jué)研究。很有趣，用了很多時(shí)間研發(fā)。加入騰訊以后，我發(fā)現(xiàn)前端視覺(jué)有非常多的應(yīng)用，可以給不同的團(tuán)隊(duì)和產(chǎn)品賦能。所以在這一年時(shí)間里，騰訊產(chǎn)品里多了很多以這樣的技術(shù)為基礎(chǔ)的產(chǎn)品應(yīng)用。

除了給大家列舉的這些前段視覺(jué)的例子，今天我主要講的技術(shù)叫做語(yǔ)義分割，它是計(jì)算機(jī)視覺(jué)里最難的技術(shù)之一。同時(shí)這類研究我也稱之為后端視覺(jué)。因?yàn)樗鼈兪腔竟ぞ?，不能直接變成視覺(jué)效果。但是這些工具確實(shí)非常有用，基本上很多應(yīng)用都必須用到，這是為什么叫它后端視覺(jué)的原因。

從2016年到今天，3年時(shí)間里,我們做了大量的圖像語(yǔ)義分割研究。它的目標(biāo)是把一幅圖像里的每個(gè)像素分到一個(gè)類別里，比如人、車或者道路。這是一個(gè)非常難的問(wèn)題，需要分辨每個(gè)像素是什么類別。而總類別有80個(gè)以上，這就使得合理的分割具有很大的歧義性和巨大的搜索空間。

下面是語(yǔ)義分割技術(shù)的應(yīng)用范圍。

? 可以分辨哪些是人、車、樹(shù)和房屋，是自動(dòng)駕駛和道路理解里很重要的部分。

? 可以把提取出來(lái)的物體輪廓做增強(qiáng)，幫助很多有視力疾病的人，使他們生活變得更加便利。

? 智能醫(yī)療的核心部分是病理圖像的理解。其中最關(guān)鍵的部分就是語(yǔ)義分割，找到病變的圖像部分，或者分析心血管的內(nèi)部結(jié)構(gòu)信息。這對(duì)于醫(yī)生的幫助非常大，可以節(jié)省時(shí)間或者提高診斷的準(zhǔn)確度。

? 衛(wèi)星圖像理解?？梢宰詣?dòng)定位出不同的人、樹(shù)、房屋；也可以在衛(wèi)星圖像里找到道路，以及更加復(fù)雜的環(huán)境布局。

? 可以把圖像或者視頻中的人物提取出來(lái)，自動(dòng)切換背景，以及實(shí)現(xiàn)虛化等效果。

這些都是在圖像語(yǔ)義分割的基礎(chǔ)上實(shí)現(xiàn)的。

展望未來(lái)，如果有家庭機(jī)器人，它一定要有本領(lǐng)理解環(huán)境，看到周圍的事物。而語(yǔ)義分割技術(shù)可以改進(jìn)機(jī)器人的識(shí)別能力，是其一個(gè)重要的組件。

上面我講的是圖像語(yǔ)義分割研究的重要性，下面的內(nèi)容就更加技術(shù)化，主要闡述怎樣開(kāi)發(fā)這類算法和算法的特點(diǎn)。

首先要展開(kāi)講的技術(shù)是傳統(tǒng)語(yǔ)義分割。如上圖所示，2012—2013年語(yǔ)義分割技術(shù)沒(méi)有大的變化，說(shuō)明領(lǐng)域出現(xiàn)了一個(gè)小瓶頸；2014年，因?yàn)橛辛诵碌?a href="http://www.brongaenegriffin.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)模型——全卷積神經(jīng)網(wǎng)絡(luò)(FCN）為代表的工作，使這個(gè)領(lǐng)域又被推動(dòng)了一步；從2013—2018年每年都有提升，說(shuō)明這個(gè)領(lǐng)域開(kāi)始進(jìn)入了一個(gè)新增長(zhǎng)期。在可用數(shù)據(jù)集上，傳統(tǒng)用的是Pascal VOC 2012，包含大概2萬(wàn)張圖片，數(shù)據(jù)量并不大。后來(lái)出現(xiàn)了cityscapes 數(shù)據(jù)集，標(biāo)注了更多道路圖像，有粗標(biāo)注和精細(xì)標(biāo)注的種類。

在方法上，傳統(tǒng)的語(yǔ)義分割技術(shù)需要預(yù)處理、主程序和后處理，現(xiàn)在的深度學(xué)習(xí)框架下則全部統(tǒng)一了。也就是說(shuō)，輸入一個(gè)視頻或者圖像直接在網(wǎng)絡(luò)里輸出結(jié)果。這對(duì)于硬件適配也是很好的簡(jiǎn)化。

在2017年我們推出了一個(gè)技術(shù)叫做PSPNet（見(jiàn)上圖）。這是我們學(xué)校的研究組和商湯科技一起開(kāi)發(fā)的，它最重要的部分就是中間把輸入的圖像通過(guò)網(wǎng)絡(luò)分成不同大小的特征，每一個(gè)特征做提取，最后做一個(gè)聚集達(dá)到高質(zhì)量的結(jié)果。這個(gè)網(wǎng)絡(luò)非常簡(jiǎn)單，但是拿到了ImageNet Scene Parsing Challenge 2016 第一名。剛才說(shuō)到的FCN準(zhǔn)確率44.8%，這個(gè)網(wǎng)絡(luò)達(dá)到57.21%，提高了13%，是非常大的進(jìn)步。這個(gè)框架現(xiàn)在有很多應(yīng)用，在不同領(lǐng)域都可以使用，包括顯著性檢、雙目深度估計(jì)、運(yùn)動(dòng)估計(jì)、3D重建，而且我們已經(jīng)將它開(kāi)源。

開(kāi)發(fā)完這個(gè)技術(shù)之后我們開(kāi)始新的挑戰(zhàn)。在上面的圖表里，橫軸是時(shí)間，越往右說(shuō)明算法越快；縱軸是準(zhǔn)確率，越往上越高。我們讓所有之前的算法都在這個(gè)圖里根據(jù)速度和準(zhǔn)確度找到自己的位置。在統(tǒng)計(jì)意義上，里面有三個(gè)部分。一個(gè)部分是做的很準(zhǔn)，但是模型很復(fù)雜，計(jì)算量大，所以跑的很慢；一個(gè)是做的很快，但是因?yàn)閷?duì)網(wǎng)絡(luò)簡(jiǎn)化的太厲害導(dǎo)致效果不好。基于此，我們迎接了一個(gè)挑戰(zhàn)，就是把分割做到又快又準(zhǔn)，這就是在這個(gè)圖標(biāo)里進(jìn)入右上角的象限。

我們提出的算法叫做ICNet，是今年ECCV的論文。它的原理是把圖像特征提取分成幾個(gè)部分，對(duì)于小尺度的圖像，用一個(gè)比較深的網(wǎng)絡(luò)來(lái)提取特征，因?yàn)槊恳粚拥倪\(yùn)算非常小，所以這部分時(shí)間開(kāi)銷不大；對(duì)于大一些的圖像尺度把網(wǎng)絡(luò)的層數(shù)減少，也可以很快減少運(yùn)算量。按照這個(gè)思路，在三個(gè)尺度上對(duì)圖像提取了特征，最后做融合和分類，這個(gè)網(wǎng)絡(luò)就完成了。ICNet既滿足了運(yùn)算量的壓縮需求，又沒(méi)有損失太多的特征信息，是一個(gè)比較好用的網(wǎng)絡(luò)結(jié)構(gòu)。我們的代碼也是開(kāi)源的。

利用PSPNet和ICNet，在2016年開(kāi)始的各類語(yǔ)義分割比賽中拿到了很好的成績(jī)，證明了我們這套框架在實(shí)際應(yīng)用中有效，可以被廣泛的應(yīng)用。

以上是傳統(tǒng)語(yǔ)義分割。同期我們進(jìn)行了另外一個(gè)重要研究，就是把語(yǔ)義分割延展到個(gè)體理解。語(yǔ)義分割不需要知道一張圖里有幾個(gè)人，只要能正確地把人的像素點(diǎn)給分類正確就可以了。而新的個(gè)體分割（instance segmentation）需要理解的更深刻，把圖像分成個(gè)體而不是類別。這個(gè)問(wèn)題更難解決，因?yàn)樗辛擞?jì)數(shù)的概念。個(gè)體分割的概念提還不到10年時(shí)間。

從2015—2018年3年時(shí)間里，我們?cè)谶@類研究中投入巨大，當(dāng)時(shí)成績(jī)也是不錯(cuò)的。在這個(gè)例子里，我們可以把這復(fù)雜的十幾輛有遮擋，有斷層，顏色相近，大大小小的車全部分割出來(lái)。

我們?cè)O(shè)計(jì)模型時(shí)嘗試了很多辦法。舉這個(gè)Simpson的例子，里面三個(gè)人，如果要把Simpson分離出來(lái)，需要設(shè)計(jì)一個(gè)網(wǎng)絡(luò)（見(jiàn)上圖）。首先想到的是檢測(cè)出Simpson，然后把他提取出具體輪廓；后來(lái)把每個(gè)個(gè)體的各個(gè)部分分割出來(lái)組合成整體，這是第二個(gè)解決方案；第三個(gè)算法是把物體的橫向和豎向信息分別找一遍，然后結(jié)合起來(lái)一個(gè)二維的理解，把人提取出來(lái)；最后還有一個(gè)方法根據(jù)物體邊界，把里面填滿就可以找出需要的個(gè)體信息。

首先講第一個(gè)從部分到整體的方法。原理是分別用小范圍信息分割出需要的像素點(diǎn)，最后整合成整體目標(biāo)。這個(gè)算法與樂(lè)高玩具的原理比較相近。一個(gè)樂(lè)高的玩具車可以被拆成很小的部件；同時(shí)如果合理的利用這些部件，加以改變，就可以組裝成另外車的樣子。所以，一個(gè)物體的組成是依賴于自己小部件的組合方式，以及每一個(gè)小部件的特點(diǎn)。這個(gè)結(jié)構(gòu)里包含了兩條路徑分別分割出物體，以及給出合適的類別標(biāo)簽。

第二個(gè)我們探索的個(gè)體分割的算法類似于一個(gè)建筑物的建造過(guò)程 ，是由一磚一瓦慢慢由底至上搭建起來(lái)的。類似提出了sequential Grouping（序列組合）的算法，去實(shí)現(xiàn)逐步分割出物體的過(guò)程。我們的想法是，用線條組成物體的基本幾何元素，這樣利用橫線和豎線的交叉（見(jiàn)上圖），以及起點(diǎn)終點(diǎn)的建立，就可以搭出一個(gè)所需物體的輪廓。

橫線和豎線是一維的信息；把它們結(jié)合到一起就變成了二維的特征。這個(gè)方法很有創(chuàng)新性，是之前沒(méi)有人做過(guò)的。我們的結(jié)果也很激動(dòng)人心，在這樣的程序下面也可以得到相當(dāng)準(zhǔn)確的結(jié)果。大家有興趣可以到我們的項(xiàng)目網(wǎng)站上查詢更多細(xì)節(jié)。

最后要介紹的方法是我們最近的研究結(jié)果PANet（見(jiàn)上圖），它基于了Mask R-CNN一個(gè)理解。我們的重要算法是將各層級(jí)提出來(lái)的特征做融合，使語(yǔ)義和結(jié)構(gòu)信息更好保留，對(duì)最后檢測(cè)和分割有很大的提高。

這個(gè)改進(jìn)非常有效，在最有代表性的COCO數(shù)據(jù)集上比之前的方法提高了好幾個(gè)百分點(diǎn)。

這一頁(yè)slide給大家看看個(gè)體分割的進(jìn)展。從2015年開(kāi)始， 2016年達(dá)到了37.6的分割結(jié)果。我們的PANet實(shí)現(xiàn)了46.7點(diǎn)的分割結(jié)果，比上一年最好的方法有了24%的相對(duì)進(jìn)步。

后面的例子包含的信息量很大。上圖是很多車在畫面中，我們分割出其中最重要的駕駛員。他們雖然個(gè)體很小，使用我們的方法也能比較準(zhǔn)確地找到了他們。

在上圖所示復(fù)雜雨天打傘排隊(duì)的圖像里，哪怕有些人被遮擋了一半或者三分之二，還有小朋友個(gè)頭比較小的，同樣都可以把他們找到分割出來(lái)。其它的物品還包括背包、雨傘等。后面還有很多例子不具體介紹了。

最后我想說(shuō)的是，語(yǔ)義分割和個(gè)體分割都是計(jì)算機(jī)視覺(jué)里最有挑戰(zhàn)性的問(wèn)題。它們的重要性不言而喻，可以提供給很多應(yīng)用所需的工具。它們就是我之前所說(shuō)的背景視覺(jué)。真正設(shè)計(jì)開(kāi)發(fā)出里面的算法都是不容易的。所以，科研做事情要耐得住辛苦和長(zhǎng)時(shí)間的失敗。但是一旦成功，一個(gè)算法就能夠幫助這個(gè)領(lǐng)域之外的很多應(yīng)用，包括醫(yī)學(xué)圖像的分析、工業(yè)圖像的分析和日常圖像的理解等。