要想拍攝運(yùn)動模糊效果的照片，需要高超的攝影技術(shù)。最近，谷歌兩名研究員開發(fā)了一種新算法，能夠使用兩張清晰圖像合成運(yùn)動模糊效果。該技術(shù)也可用來合成訓(xùn)練去模糊算法所需的訓(xùn)練數(shù)據(jù)。

谷歌的研究人員最近開發(fā)了一種新技術(shù)，使用連續(xù)拍攝的一對非模糊圖像，能夠合成運(yùn)動模糊圖像。在發(fā)表在arXiv上的預(yù)印版論文中，研究人員概述了他們的方法，并與幾種基線方法對比，對其進(jìn)行了評估。

當(dāng)場景中的物體或相機(jī)本身在拍攝時發(fā)生移動，運(yùn)動模糊就會自然產(chǎn)生。這導(dǎo)致移動的物體或整個圖像看起來是模糊的。在某些情況下，運(yùn)動模糊可以用來表示被攝對象的速度或?qū)⑵渑c背景分離。

“在圖像理解方面，運(yùn)動模糊是一個有價值的線索，”進(jìn)行這項(xiàng)研究的谷歌研究員Tim Brooks和Jonathan Barron在論文中寫道：“給定一個包含運(yùn)動模糊的圖像，我們可以估計導(dǎo)致觀察到的模糊的場景運(yùn)動的相對方向和幅度。這種運(yùn)動估計在語義上可能是有意義的，或者可以用去模糊算法來合成一個清晰的圖像?！?/p>

最近的研究已經(jīng)探討了使用深度學(xué)習(xí)算法從圖像中去除不想要的運(yùn)動模糊或推斷給定場景的運(yùn)動動力學(xué)。然而，為了訓(xùn)練這些算法，研究人員需要大量的數(shù)據(jù)，這些數(shù)據(jù)通常是通過合成模糊圖像生成的。最終，深度學(xué)習(xí)算法在多大程度上能夠有效去除真實(shí)圖像中的運(yùn)動模糊，很大程度上取決于用于訓(xùn)練運(yùn)動模糊的合成數(shù)據(jù)的真實(shí)性。

“在這篇論文中，我們將這個已經(jīng)有充分研究的模糊估計/模糊去除任務(wù)的逆向問題視為一個頭等問題。”Brooks和Barron在他們的論文中寫道：“我們提出了一種快速有效的方法來合成訓(xùn)練運(yùn)動去模糊算法所需的訓(xùn)練數(shù)據(jù)，并且我們定量地證明了我們的技術(shù)能夠從合成的訓(xùn)練數(shù)據(jù)推廣到真實(shí)的運(yùn)動模糊圖像?！?/p>

圖1：(a)中展示了一個物體在圖像平面上移動的兩幅圖像。我們的系統(tǒng)利用這些圖像合成(b)中的運(yùn)動模糊圖像，它傳達(dá)了一種運(yùn)動的感覺，并將主體與背景分離。

他們設(shè)計的神經(jīng)網(wǎng)絡(luò)架構(gòu)包括一個新的“線性預(yù)測”(line prediction)層，它會教一個系統(tǒng)從連續(xù)拍攝的兩張圖像退回到跨越這兩張輸入圖像捕獲時間的運(yùn)動模糊圖像。他們的模型需要大量的訓(xùn)練數(shù)據(jù)，因此研究人員設(shè)計并執(zhí)行了一種新策略，該策略使用幀插值技術(shù)(frame interpolation)生成運(yùn)動模糊圖像及其各自輸入的大型合成數(shù)據(jù)集。

架構(gòu)的圖示：以兩個輸入圖像的連接作為輸入，并使用U-Net卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測線性預(yù)測層的參數(shù)

Brooks和Barron還拍攝了一組由慢動作視頻合成的高質(zhì)量的真實(shí)運(yùn)動模糊圖像，然后用這些圖像來評估他們的模型與基線技術(shù)。他們的模型取得了非常好的結(jié)果，在準(zhǔn)確性和速度上都優(yōu)于現(xiàn)有的方法。

表1：在真實(shí)測試數(shù)據(jù)集上的性能，其中我們的模型與3個簡化變體和5個基線算法進(jìn)行比較

研究人員在論文中寫道：“我們的方法快速、準(zhǔn)確，并且使用來自視頻或’突發(fā)’的現(xiàn)成圖像作為輸入，因此能夠?yàn)閿z影應(yīng)用程序提供運(yùn)動模糊處理，或?yàn)槿ツ：惴ɑ蜻\(yùn)動估計算法所需的真實(shí)訓(xùn)練數(shù)據(jù)的合成提供一種途徑?！?/p>

從合成訓(xùn)練數(shù)據(jù)集中隨機(jī)抽取的5組輸入/輸出圖像對

雖然經(jīng)驗(yàn)豐富的攝影師經(jīng)常將動態(tài)模糊視為一種藝術(shù)效果，但拍攝有效的動態(tài)模糊照片是非常具有挑戰(zhàn)性的。在大多數(shù)情況下，這些圖像是長期試錯過程的產(chǎn)物，而且需要先進(jìn)的技術(shù)和設(shè)備。

在有經(jīng)驗(yàn)的攝影師手中，利用運(yùn)動模糊可以產(chǎn)生引人注目的照片，像(a)那樣。但是對于大多數(shù)業(yè)余攝影師來說，運(yùn)動模糊更有可能像(b)那樣。

由于難以獲得高質(zhì)量的運(yùn)動模糊效果，大多數(shù)消費(fèi)者相機(jī)都被設(shè)計成盡可能少地拍攝運(yùn)動模糊的圖像。這意味著業(yè)余攝影師幾乎沒有空間能在他們的圖像中嘗試運(yùn)動模糊。

“通過將普通消費(fèi)者相機(jī)拍攝到的傳統(tǒng)非模糊圖像合成為運(yùn)動模糊圖像，我們的技術(shù)允許非專業(yè)人士在拍攝后創(chuàng)建運(yùn)動模糊圖像?！毖芯咳藛T在論文中解釋道。

最終， Brooks和Barron設(shè)計的方法可能會有許多有趣的應(yīng)用。例如，它可以幫助業(yè)余攝影師實(shí)現(xiàn)藝術(shù)運(yùn)動模糊效果，同時也能為訓(xùn)練深度學(xué)習(xí)算法合成更逼真的運(yùn)動模糊圖像。