要想拍攝運(yùn)動(dòng)模糊效果的照片，需要高超的攝影技術(shù)。最近，谷歌兩名研究員開發(fā)了一種新算法，能夠使用兩張清晰圖像合成運(yùn)動(dòng)模糊效果。該技術(shù)也可用來合成訓(xùn)練去模糊算法所需的訓(xùn)練數(shù)據(jù)。

谷歌的研究人員最近開發(fā)了一種新技術(shù)，使用連續(xù)拍攝的一對(duì)非模糊圖像，能夠合成運(yùn)動(dòng)模糊圖像。在發(fā)表在arXiv上的預(yù)印版論文中，研究人員概述了他們的方法，并與幾種基線方法對(duì)比，對(duì)其進(jìn)行了評(píng)估。

當(dāng)場(chǎng)景中的物體或相機(jī)本身在拍攝時(shí)發(fā)生移動(dòng)，運(yùn)動(dòng)模糊就會(huì)自然產(chǎn)生。這導(dǎo)致移動(dòng)的物體或整個(gè)圖像看起來是模糊的。在某些情況下，運(yùn)動(dòng)模糊可以用來表示被攝對(duì)象的速度或?qū)⑵渑c背景分離。

“在圖像理解方面，運(yùn)動(dòng)模糊是一個(gè)有價(jià)值的線索，”進(jìn)行這項(xiàng)研究的谷歌研究員Tim Brooks和Jonathan Barron在論文中寫道：“給定一個(gè)包含運(yùn)動(dòng)模糊的圖像，我們可以估計(jì)導(dǎo)致觀察到的模糊的場(chǎng)景運(yùn)動(dòng)的相對(duì)方向和幅度。這種運(yùn)動(dòng)估計(jì)在語義上可能是有意義的，或者可以用去模糊算法來合成一個(gè)清晰的圖像?！?/p>

最近的研究已經(jīng)探討了使用深度學(xué)習(xí)算法從圖像中去除不想要的運(yùn)動(dòng)模糊或推斷給定場(chǎng)景的運(yùn)動(dòng)動(dòng)力學(xué)。然而，為了訓(xùn)練這些算法，研究人員需要大量的數(shù)據(jù)，這些數(shù)據(jù)通常是通過合成模糊圖像生成的。最終，深度學(xué)習(xí)算法在多大程度上能夠有效去除真實(shí)圖像中的運(yùn)動(dòng)模糊，很大程度上取決于用于訓(xùn)練運(yùn)動(dòng)模糊的合成數(shù)據(jù)的真實(shí)性。

“在這篇論文中，我們將這個(gè)已經(jīng)有充分研究的模糊估計(jì)/模糊去除任務(wù)的逆向問題視為一個(gè)頭等問題。”Brooks和Barron在他們的論文中寫道：“我們提出了一種快速有效的方法來合成訓(xùn)練運(yùn)動(dòng)去模糊算法所需的訓(xùn)練數(shù)據(jù)，并且我們定量地證明了我們的技術(shù)能夠從合成的訓(xùn)練數(shù)據(jù)推廣到真實(shí)的運(yùn)動(dòng)模糊圖像。”

圖1：(a)中展示了一個(gè)物體在圖像平面上移動(dòng)的兩幅圖像。我們的系統(tǒng)利用這些圖像合成(b)中的運(yùn)動(dòng)模糊圖像，它傳達(dá)了一種運(yùn)動(dòng)的感覺，并將主體與背景分離。

他們?cè)O(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)架構(gòu)包括一個(gè)新的“線性預(yù)測(cè)”(line prediction)層，它會(huì)教一個(gè)系統(tǒng)從連續(xù)拍攝的兩張圖像退回到跨越這兩張輸入圖像捕獲時(shí)間的運(yùn)動(dòng)模糊圖像。他們的模型需要大量的訓(xùn)練數(shù)據(jù)，因此研究人員設(shè)計(jì)并執(zhí)行了一種新策略，該策略使用幀插值技術(shù)(frame interpolation)生成運(yùn)動(dòng)模糊圖像及其各自輸入的大型合成數(shù)據(jù)集。

架構(gòu)的圖示：以兩個(gè)輸入圖像的連接作為輸入，并使用U-Net卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測(cè)線性預(yù)測(cè)層的參數(shù)

Brooks和Barron還拍攝了一組由慢動(dòng)作視頻合成的高質(zhì)量的真實(shí)運(yùn)動(dòng)模糊圖像，然后用這些圖像來評(píng)估他們的模型與基線技術(shù)。他們的模型取得了非常好的結(jié)果，在準(zhǔn)確性和速度上都優(yōu)于現(xiàn)有的方法。

表1：在真實(shí)測(cè)試數(shù)據(jù)集上的性能，其中我們的模型與3個(gè)簡(jiǎn)化變體和5個(gè)基線算法進(jìn)行比較

研究人員在論文中寫道：“我們的方法快速、準(zhǔn)確，并且使用來自視頻或’突發(fā)’的現(xiàn)成圖像作為輸入，因此能夠?yàn)閿z影應(yīng)用程序提供運(yùn)動(dòng)模糊處理，或?yàn)槿ツ：惴ɑ蜻\(yùn)動(dòng)估計(jì)算法所需的真實(shí)訓(xùn)練數(shù)據(jù)的合成提供一種途徑。”

從合成訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取的5組輸入/輸出圖像對(duì)

雖然經(jīng)驗(yàn)豐富的攝影師經(jīng)常將動(dòng)態(tài)模糊視為一種藝術(shù)效果，但拍攝有效的動(dòng)態(tài)模糊照片是非常具有挑戰(zhàn)性的。在大多數(shù)情況下，這些圖像是長(zhǎng)期試錯(cuò)過程的產(chǎn)物，而且需要先進(jìn)的技術(shù)和設(shè)備。

在有經(jīng)驗(yàn)的攝影師手中，利用運(yùn)動(dòng)模糊可以產(chǎn)生引人注目的照片，像(a)那樣。但是對(duì)于大多數(shù)業(yè)余攝影師來說，運(yùn)動(dòng)模糊更有可能像(b)那樣。

由于難以獲得高質(zhì)量的運(yùn)動(dòng)模糊效果，大多數(shù)消費(fèi)者相機(jī)都被設(shè)計(jì)成盡可能少地拍攝運(yùn)動(dòng)模糊的圖像。這意味著業(yè)余攝影師幾乎沒有空間能在他們的圖像中嘗試運(yùn)動(dòng)模糊。

“通過將普通消費(fèi)者相機(jī)拍攝到的傳統(tǒng)非模糊圖像合成為運(yùn)動(dòng)模糊圖像，我們的技術(shù)允許非專業(yè)人士在拍攝后創(chuàng)建運(yùn)動(dòng)模糊圖像?！毖芯咳藛T在論文中解釋道。

最終， Brooks和Barron設(shè)計(jì)的方法可能會(huì)有許多有趣的應(yīng)用。例如，它可以幫助業(yè)余攝影師實(shí)現(xiàn)藝術(shù)運(yùn)動(dòng)模糊效果，同時(shí)也能為訓(xùn)練深度學(xué)習(xí)算法合成更逼真的運(yùn)動(dòng)模糊圖像。