去年，我在 LinkedIn 上閱讀到一篇很有趣的文章，內(nèi)容涉及使用基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò)來(lái)增加美國(guó)宇航局毅力號(hào)（Nasa’s Perseverance Rover）發(fā)回的圖像和視頻中包含的細(xì)微細(xì)節(jié)。這篇文章讓我回想到，我在 90 年代第一次觀看《銀翼殺手》時(shí)，基于當(dāng)時(shí)可用的技術(shù)，諸如“將 15 增強(qiáng)到 23”之類的場(chǎng)景似乎如此難以置信。那時(shí)（因?yàn)椤躲y翼殺手》之類的電影），我正在攻讀為期三年的人工智能學(xué)位課程，我無(wú)法預(yù)測(cè)到千禧年初深度學(xué)習(xí)革命的影響。你不能添加不存在的東西，我一直對(duì)自己說(shuō)。但現(xiàn)在看來(lái)，你可以——而且非常有說(shuō)服力。

超分辨率如何應(yīng)用于現(xiàn)實(shí)世界？

超分辨率的應(yīng)用非常廣泛：從舊照片的懷舊修復(fù)和著色到通過(guò)對(duì)低分辨率源內(nèi)容進(jìn)行上采樣來(lái)減少視頻流帶寬。正如“放大火星”（Upscaling Mars）一文的作者所解釋的那樣，升級(jí)行星探索飛行器上的攝像頭是不可行的，因此，如果需要通過(guò)提高分辨率來(lái)獲得更多細(xì)節(jié)，或者甚至在機(jī)載鏡頭變得模糊或損壞的災(zāi)難性場(chǎng)景中，最先進(jìn)的超分辨率技術(shù)可以提供巨大的價(jià)值。也有許多例子表明，很多原始圖像是黑白的或是歷史圖像視頻，隨著分辨率的提高，通過(guò)著色，它們被重新激活。

什么是基于深度學(xué)習(xí)的超分辨率？

基于深度學(xué)習(xí)的超分辨率是將學(xué)習(xí)的上采樣（up-sampling）函數(shù)應(yīng)用于圖像的過(guò)程，目的是增強(qiáng)圖像中現(xiàn)有的像素?cái)?shù)據(jù)或生成合理的新像素?cái)?shù)據(jù)，從而提高圖像的分辨率。事實(shí)上，上面提到的著色示例提供了一些關(guān)于深度學(xué)習(xí)如何利用上下文關(guān)系和自然圖像的統(tǒng)計(jì)信息的見解。假設(shè)您有一個(gè)輸入面片（卷積神經(jīng)網(wǎng)絡(luò)輸入圖像的一個(gè)區(qū)域）“x”，那么在相應(yīng)的輸出面片y的顏色上存在一個(gè)條件概率分布 p（ y|x ） 。

這種分布在生成輸出顏色時(shí)基本考慮了上下文關(guān)系。著色神經(jīng)網(wǎng)絡(luò)通常近似于這種分布模式：它了解到黑白輸入圖像的特定部分（面片）有可能是特定的顏色或顏色范圍，基于網(wǎng)絡(luò)訓(xùn)練時(shí)與類似輸入面片對(duì)應(yīng)的先前輸出面片。這就是黑白照片或視頻的著色方式。

超分辨率網(wǎng)絡(luò)正在以類似的方式解決一個(gè)非常類似的問(wèn)題：在這種情況下，它已經(jīng)學(xué)會(huì)了根據(jù)低分辨率輸入面片x的上下文生成最有可能的高分辨率輸出面片Y。

放大圖像的功能已經(jīng)存在了一段時(shí)間，所以你可能會(huì)問(wèn)，為什么我們需要另一種方法？現(xiàn)有技術(shù)包括最近鄰、雙線性和雙三次（三次卷積）上采樣，這些技術(shù)在迄今為止的大多數(shù)圖像和視頻上縮放應(yīng)用中已經(jīng)足夠了。然而，如下所示的放大輸出圖像的裁剪，突出顯示了以這種方式將圖像放大到更大分辨率時(shí)產(chǎn)生的一些不良偽影。

如上圖所示，輸出圖像的裁剪包含豹子胡須上稱為“鋸齒”的偽影，最近鄰算法也難以重建皮膚紋理，從而導(dǎo)致像素化。雙線性和雙三次算法往往會(huì)使圖像過(guò)度柔化，使其看起來(lái)失焦，缺乏細(xì)節(jié)。

這些限制，加上提高顯示分辨率能力的宏觀趨勢(shì)，在保持當(dāng)前功率預(yù)算和性能的同時(shí)，正在為該領(lǐng)域激發(fā)一些非常令人興奮的創(chuàng)新。

Visidon是一家芬蘭公司，成立于 2006 年，擅長(zhǎng)使用基于人工智能的軟件技術(shù)來(lái)增強(qiáng)靜態(tài)圖像和視頻內(nèi)容。它開發(fā)了一套基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò)，可以將 1080p分辨率的圖像和視頻縮放到 4K （2160p） 和 8K （4320p） 分辨率。已經(jīng)設(shè)計(jì)和訓(xùn)練了三個(gè)基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò)（VD1、VD2 和 VD3），每個(gè)網(wǎng)絡(luò)的目標(biāo)分別是：

快速雙三次質(zhì)量推理 （VD1）

快速且優(yōu)于雙三次質(zhì)量推理 （VD2）

靜止圖像的最高質(zhì)量超分辨率推理 （VD3）。

Imagination 如何幫助部署和加速這些算法

在60幀的情況下，使用超分辨率來(lái)提高圖像和視頻內(nèi)容的分辨率，，這需要大量計(jì)算，而這正是 Imagination 可以提供幫助的地方。我們的 IMG 4系列 AI 計(jì)算引擎采用張量分片技術(shù)，旨在為基于卷積的神經(jīng)網(wǎng)絡(luò)提供低系統(tǒng)帶寬、高推理率的執(zhí)行——這是Visidon超分辨率解決方案中的主要算法。

圖1： IMG 4NX-MC8，Imagination 的可擴(kuò)展多核架構(gòu)。

我們的多核架構(gòu)和獲得專利的張量分片技術(shù)相結(jié)合，可以在并行處理的同時(shí)將大量圖像和權(quán)重?cái)?shù)據(jù)保留在芯片上，從而產(chǎn)生可擴(kuò)展、強(qiáng)大的超分辨率性能，如下圖所示：

表1：IMG 4系列 NNA計(jì)算引擎上的Visidon超分辨率網(wǎng)絡(luò)性能（將 1080p 視頻轉(zhuǎn)換為 4K 分辨率）

Visidon如何衡量視覺(jué)質(zhì)量

Visidon網(wǎng)絡(luò)的質(zhì)量由專家和非專家參與者使用隨機(jī)盲評(píng)進(jìn)行評(píng)估，兩組評(píng)估人員分別為七個(gè)輸出版本（三個(gè)Visidon網(wǎng)絡(luò) （VD1-3） 和lanczos4，雙三次，雙線性和最近鄰）進(jìn)行評(píng)分。Visidon的VD 超分辨率網(wǎng)絡(luò)質(zhì)量與現(xiàn)有的基于非深度學(xué)習(xí)的上采樣算法的比較如下表所示：

評(píng)估人員之前沒(méi)有看過(guò)網(wǎng)絡(luò)的圖像或結(jié)果，也不允許討論結(jié)果。然后將分?jǐn)?shù)標(biāo)準(zhǔn)化為 1 到 5，其中雙三次曲線的參考分?jǐn)?shù)為2。

現(xiàn)在是你一直在等待的部分——視覺(jué)效果！

現(xiàn)在讓我們來(lái)看看Visidon 的VD1、VD3 和 VD3 網(wǎng)絡(luò)的結(jié)果，它們可以通過(guò)張量分片有效地部署在Imaginations 4系列NNA上。

注：樣本圖像來(lái)自Flickr2K 數(shù)據(jù)集，可免費(fèi)用于商業(yè)用途，OpenCV 庫(kù)用于 lanczos4、雙三次、雙線性以及最近鄰放大，因此可以驗(yàn)證結(jié)果。

上面的圖像對(duì)比突出了Visidon的VD3超分辨率算法的卓越品質(zhì)，使花朵的所有部分都清晰、無(wú)噪，尤其是花瓣細(xì)節(jié)和黃色雄蕊。雙三次算法無(wú)法充分處理邊緣，使其不會(huì)因平滑而丟失。另請(qǐng)參閱內(nèi)部花瓣與花的深色中心區(qū)域相交的位置。

另一個(gè)很好的例子是，通過(guò)Visidon網(wǎng)絡(luò)中的適當(dāng)銳化，樹葉和巖石定義得以保留，而這在雙三次上采樣的平滑中完全丟失了。

在這個(gè)比較中，Visidon 的VD2 網(wǎng)絡(luò)體現(xiàn)了微羽毛的細(xì)節(jié)和清晰度，考慮到輸入圖像在某些地方出現(xiàn)混疊，這令人印象深刻。VD2 網(wǎng)絡(luò)通過(guò)保留羽毛圖案的復(fù)雜性來(lái)從中恢復(fù)，而雙三次算法無(wú)法做到這一點(diǎn)。喙部的細(xì)節(jié)和掠過(guò)它的小羽毛仍然清晰可見，沒(méi)有明顯的階梯效應(yīng)——這在雙三次輸出圖像中可以看到，盡管很微妙。

此圖像對(duì)比突出了Visidon 的VD1 網(wǎng)絡(luò)的基線目標(biāo)，即在質(zhì)量上優(yōu)于雙三次上采樣，同時(shí)提供非常高的推理性能。因此，雖然 VD1 在評(píng)估中產(chǎn)生了最低的感知質(zhì)量，但其輸出比雙三次放大更清晰，可以保留了眼睛下方羽毛的細(xì)節(jié)，并且爪子下方樹枝上的紋理明顯更清晰。

在這里，我們看到Visidon 的網(wǎng)絡(luò)巧妙地恢復(fù)了雙三次放大中丟失的細(xì)節(jié)。多虧了Visidon 的VD3 網(wǎng)絡(luò)，原始非常模糊的原始圖像的一小部分得以精細(xì)的細(xì)節(jié)呈現(xiàn)出來(lái)。此外，請(qǐng)注意VD3 放大中水面的反射細(xì)節(jié)。難以置信！

結(jié)論

在計(jì)算能力可用于實(shí)時(shí)超分辨率圖像和視頻之前，現(xiàn)有算法已經(jīng)滿足了高達(dá) 1080p 分辨率的觀眾。但隨著 4K（和 8K）顯示器質(zhì)量的不斷提高，非深度學(xué)習(xí)算法的軟化并不能完全滿足新一代高分辨率觀看的需要。

因此，如果采用放大技術(shù)將低分辨率內(nèi)容傳遞到高分辨率屏幕，則必須以智能和上下文的方式保留源圖像和視頻的細(xì)節(jié)，以提供最愉悅的視覺(jué)體驗(yàn)。

Imagination 的 IMG 4系列NNA AI 計(jì)算引擎提高了計(jì)算能力，可以提供低功耗、低面積和系統(tǒng)帶寬可擴(kuò)展的卷積神經(jīng)網(wǎng)絡(luò)加速，使其成為部署Visidon最先進(jìn)的基于深度學(xué)習(xí)的超分辨率解決方案的完美平臺(tái)。