你有過(guò)水下拍攝照片的經(jīng)歷嗎？你是否注意到水下拍攝的圖片總是有些模糊甚至失真？這是由于光的衰減和反向散射效應(yīng)導(dǎo)致水下能見(jiàn)度較低。

為了解決這個(gè)問(wèn)題，哈爾濱工程大學(xué)的科研人員設(shè)計(jì)了一種機(jī)器學(xué)習(xí)算法用于生成逼真的水下圖像，以及一種基于生成的圖像進(jìn)行訓(xùn)練從而實(shí)現(xiàn)自然色恢復(fù)和除霧的算法。團(tuán)隊(duì)表示該算法在圖片處理質(zhì)量和數(shù)量上都與頂尖技術(shù)水平相當(dāng)，該算法每秒在單個(gè)顯卡上處理的幀數(shù)可達(dá)125幀。

圖：圖像增強(qiáng)前后的水下目標(biāo)探測(cè)結(jié)果。（A）真實(shí)的水下照片和（B）基于模型輸出的真實(shí)照片。紅色框內(nèi)為扇貝，藍(lán)色框內(nèi)為海參，綠色框內(nèi)為海膽。

團(tuán)隊(duì)表示大多數(shù)水下圖像增強(qiáng)算法（例如調(diào)節(jié)白平衡算法）都不是基于物理成像模型構(gòu)建的，因此算法的泛化能力較差。而該技術(shù)采用的方法是首先利用生成對(duì)抗網(wǎng)絡(luò)（GAN）來(lái)生成一組特定調(diào)查地點(diǎn)的圖像，再將這組圖像輸入給第二個(gè)算法，U-Net。其中GAN是一種由生成器構(gòu)成的AI模型，用于使鑒別器在分類(lèi)過(guò)程中將合成樣本歸類(lèi)為真實(shí)樣本。

團(tuán)隊(duì)運(yùn)用3733個(gè)帶標(biāo)簽的圖像以及對(duì)應(yīng)的深度地圖訓(xùn)練GAN，圖像主要包括扇貝、海參、海膽及其他水產(chǎn)養(yǎng)殖生物。他們還獲得了包括NY Depth在內(nèi)的公開(kāi)數(shù)據(jù)集，該數(shù)據(jù)集總共包含數(shù)千張水下照片。

訓(xùn)練完成后，研究人員將雙模型方法的結(jié)果與基線模型方法的結(jié)果進(jìn)行對(duì)比。結(jié)果表明，該方法優(yōu)勢(shì)體現(xiàn)在兩方面，一方面是顏色還原均勻，另一方面是可以在不破壞原始輸入圖像的底層結(jié)構(gòu)的情況下很好地還原綠色色調(diào)的圖像。通常情況下，該方法還能夠在保持“適當(dāng)?shù)摹绷炼群蛯?duì)比度的同時(shí)還原顏色，這是其他圖像增強(qiáng)方法所做不到的。

不過(guò)研究團(tuán)隊(duì)基于受損圖片重建圖像的方法并非首創(chuàng)。劍橋咨詢(xún)公司的AI系統(tǒng)DeepRay用10萬(wàn)個(gè)靜止圖片來(lái)訓(xùn)練GAN網(wǎng)絡(luò)，用來(lái)消除由不透明玻璃板導(dǎo)致的圖片失真。開(kāi)源的DeOldify計(jì)劃采用了包括GAN的一系列AI模型來(lái)對(duì)舊照片和膠卷進(jìn)行著色和還原。

此外，微軟亞洲研究中心的科學(xué)家在去年九月詳細(xì)介紹了一個(gè)用于給視頻自動(dòng)著色的端到端系統(tǒng)。去年英偉達(dá)的研究人員構(gòu)建了一個(gè)框架，該框架僅基于一個(gè)帶注釋的著色視頻幀就能推斷顏色。并且谷歌的AI團(tuán)隊(duì)在去年六月推出了一種無(wú)需人工監(jiān)督即可對(duì)灰度視頻進(jìn)行著色的算法。

責(zé)任編輯：gt