Single-View View Synthesis with Multiplane Images

最近在視圖合成方面的一系列工作使用深度學(xué)習(xí)來(lái)生成多平面圖像——一種以相機(jī)為中心的分層 3D 表示——給定兩個(gè)或多個(gè)已知視點(diǎn)的輸入圖像。我們將此表示應(yīng)用于單視圖視圖合成，這是一個(gè)更具挑戰(zhàn)性但可能具有更廣泛應(yīng)用的問(wèn)題。我們的方法直接從單個(gè)圖像輸入中學(xué)習(xí)預(yù)測(cè)多平面圖像，并且我們引入了用于監(jiān)督的尺度不變視圖合成，使我們能夠在在線視頻上進(jìn)行訓(xùn)練。我們展示了這種方法適用于幾個(gè)不同的數(shù)據(jù)集，它還生成了合理的深度圖，并且它學(xué)會(huì)了在背景層中填充前景對(duì)象邊緣后面的內(nèi)容。

ASSET: Autoregressive Semantic Scene Editing with Transformers atHigh Resolutions

我們提出了資產(chǎn)，一種神經(jīng)架構(gòu)，用于根據(jù)用戶對(duì)其語(yǔ)義分割圖的編輯自動(dòng)修改輸入的高分辨率圖像。我們的架構(gòu)基于具有新穎注意力機(jī)制的轉(zhuǎn)換器。我們的關(guān)鍵思想是在高分辨率下稀疏變換器的注意力矩陣，由在較低圖像分辨率下提取的密集注意力引導(dǎo)。雖然以前的注意力機(jī)制在處理高分辨率圖像時(shí)計(jì)算成本太高，或者在阻礙遠(yuǎn)程交互的特定圖像區(qū)域內(nèi)受到過(guò)度限制，但我們新的注意力機(jī)制在計(jì)算上既高效又有效。我們的稀疏注意力機(jī)制能夠捕捉遠(yuǎn)程交互和上下文，從而合成場(chǎng)景中有趣的現(xiàn)象，例如景觀到水面上的反射或與景觀的其余部分一致的論壇，這些是以前的卷積網(wǎng)絡(luò)無(wú)法可靠生成的和變壓器方法。我們提供定性和定量結(jié)果，以及用戶研究，證明我們方法的有效性。

我們的代碼和數(shù)據(jù)集可在我們的項(xiàng)目頁(yè)面上找到：https://github.com/DifanLiu/ASSET

審核編輯 ：李倩