本文作者魏秀參，本文首發(fā)于作者的知乎專欄《欲窮千里目》， AI研習(xí)社獲其授權(quán)發(fā)布。

計(jì)算機(jī)視覺 (Computer Vision, CV) 是一門研究如何使機(jī)器“看”的科學(xué)。1963年來自MIT的Larry Roberts發(fā)表的該領(lǐng)域第一篇博士論文“Machine Perception of Three-Dimensional Solids”（），標(biāo)志著CV作為一門新興人工智能方向研究的開始。

在發(fā)展了50多年后的今天，我們就來聊聊最近讓計(jì)算機(jī)視覺擁有「無中生有」能力的幾個(gè)有趣嘗試：1）超分辨率重建；2）圖像著色；3）看圖說話；4）人像復(fù)原；5）圖像自動(dòng)生成?？梢钥闯?，這五個(gè)嘗試層層遞進(jìn)，難度和趣味程度也逐步提升。（注：本文在此只談視覺問題，不提太過具體的技術(shù)細(xì)節(jié)，若大家對(duì)某部分感興趣，以后再來單獨(dú)寫文章討論 :)

超分辨率重建 (Image Super-Resolution)

去年夏天，一款名為“waifu 2x”（）的島國應(yīng)用在動(dòng)畫和計(jì)算機(jī)圖形學(xué)中著實(shí)火了一把。waifu 2x借助深度「卷積神經(jīng)網(wǎng)絡(luò)」(Convolutional Neural Network, CNN) 可以將圖像的分辨率提升2倍，同時(shí)還能對(duì)圖像降噪。簡單來說，就是讓計(jì)算機(jī)「無中生有」的填充一些原圖中并沒有的像素，從而讓漫畫看起來更清晰真切。大家不妨看看下圖，真想童年時(shí)候看的就是如此高清的龍珠（）??！

不過需要指出的是，圖像超分辨率的研究始于2009年左右，只是得力于「深度學(xué)習(xí)」的發(fā)展，waifu 2x可以做出更好的效果。在具體訓(xùn)練CNN時(shí)，輸入圖像為原分辨率， 而對(duì)應(yīng)的超分辨率圖像則作為目標(biāo)，以此構(gòu)成訓(xùn)練的“圖像對(duì)” (image pair)，經(jīng)過模型訓(xùn)練便可得到超分辨率重建模型。waifu 2x的深度網(wǎng)絡(luò)原型基于香港中文大學(xué)湯曉歐教授團(tuán)隊(duì)的工作[1]。有趣的是，[1]中指出可以用傳統(tǒng)方法給予深度模型以定性的解釋。如下圖，低分辨率圖像通過CNN的卷積 (convolution) 和池化 (pooling) 操作后可以得到抽象后的特征圖 (feature map)?；诘头直媛侍卣鲌D，同樣可以利用卷積和池化實(shí)現(xiàn)從低分辨率到高分辨率特征圖的非線性映射 (non-linear mapping)。最后的步驟則是利用高分辨率特征圖重建高分辨率圖像。實(shí)際上，所述三個(gè)步驟與傳統(tǒng)超分辨率重建方法的三個(gè)過程是一致的。

圖像著色 (Image Colorization)

顧名思義，圖像著色是將原本「沒有」顏色的黑白圖像進(jìn)行彩色填充。圖像著色同樣借助卷積神經(jīng)網(wǎng)絡(luò)，輸入為黑白和對(duì)應(yīng)彩色圖像的image pair，但是僅僅通過對(duì)比黑白像素和RGB像素來確定填充的顏色，效果欠佳。因?yàn)轭伾畛涞慕Y(jié)果要符合我們的認(rèn)知習(xí)慣，比如，把一條汪星人的毛涂成鮮綠色就會(huì)讓人覺得很怪異。于是近期，早稻田大學(xué)發(fā)表在2016年計(jì)算機(jī)圖形學(xué)國際頂級(jí)會(huì)議SIGGRAPH上的一項(xiàng)工作[2]就在原來深度模型的基礎(chǔ)上，加入了「分類網(wǎng)絡(luò)」來預(yù)先確定圖像中物體的類別，以此為“依據(jù)”再做以顏色填充。下圖分別是模型結(jié)構(gòu)圖和顏色恢復(fù)demo，其恢復(fù)效果還是頗為逼真的。另外，此類工作還可用于黑白電影的顏色恢復(fù)，操作時(shí)只需簡單的將視頻中每一幀拿出來作colorization即可。

"看圖說話" (Image Caption)

常說“圖文并茂”，文字是除圖像外另一種描述世界的方式。 近期，一項(xiàng)名為“image caption”的研究逐漸升溫起來，其主要任務(wù)是通過計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)的方法實(shí)現(xiàn)對(duì)一張圖像自動(dòng)地生成人類自然語言的描述，即“看圖說話”。值得一提的是，在今年的CV國際頂會(huì)CVPR上，image caption被列為了一個(gè)單獨(dú)的session，其熱度可見一斑。一般來講在image caption中，CNN用來獲取圖像特征，接著將圖像特征作為語言模型LSTM（RNN的一種）的輸入，整體作為一個(gè)「end-to-end」的結(jié)構(gòu)進(jìn)行聯(lián)合訓(xùn)練，最終輸出對(duì)圖像的語言描述（見下圖）。

目前image caption領(lǐng)域的最好結(jié)果[3]來自澳大利亞University of Adelaide的Chunhua Shen教授（）團(tuán)隊(duì)。與之前image caption工作相比，他們的改進(jìn)與剛才提到的顏色恢復(fù)簡直有異曲同工之妙，同樣是考慮利用圖像中物體的類別作為較精準(zhǔn)的“依據(jù)”來更好的生成自然語言描述，即下圖中的紅色框框圈起的部分。Image caption的急速發(fā)展不僅加速了CV和NLP在AI大領(lǐng)域內(nèi)的交融，同時(shí)也為增強(qiáng)現(xiàn)實(shí)應(yīng)用奠定了更加堅(jiān)實(shí)的技術(shù)基礎(chǔ)。另外，我們更樂于看到今后日趨成熟的image caption技術(shù)嵌入到穿戴式設(shè)備上，那一天盲人便可以間接的“看到光明”。

人像復(fù)原 (Sketch Inversion)