三維重建是近年來計算機(jī)視覺研究的前沿方向，特別是基于單張RGB圖像對三維場景重建更是引起了廣泛的關(guān)注。而這篇文章的作者通過對環(huán)境細(xì)心的觀察，提出了從單張圖像中恢復(fù)三維結(jié)構(gòu)的新方法——利用圖像中水體的反射光來輔助算法進(jìn)行深度估計和三維重建，為我們提供了一個全新的思路。

波光粼粼的水面為藝術(shù)家和建筑師帶來了無線的想象空間和創(chuàng)作靈感，但在星星點(diǎn)點(diǎn)的反光背后卻還隱含著場景結(jié)構(gòu)的視覺線索。對于計算機(jī)視覺的研究人員來說，水面的反光為圖像提供了另一個觀察場景對象的視角，如果加以合適的利用就能為視覺任務(wù)提供更多更豐富的信息。

簡單來說，一張包含目標(biāo)水面倒影的圖像中包含了形成立體視覺的必要信息，相機(jī)可以同時記錄下直接從目標(biāo)傳播過來的光線，同時還能記錄下目標(biāo)通過水面的反光，這使得單圖像立體視覺重建成為了可能。

但水面的反射光畢竟與直接從空氣中傳輸?shù)较鄼C(jī)的情況不同，除了幾何方面還需要克服光線衰減、扭曲等方面的問題。水面反射光受到環(huán)境的復(fù)雜影響和水中介質(zhì)的散射，甚至在較淺的水域還會受到水底反射的影響。為了探索這一問題，研究人員提出了Shape from Water Reflection的概念，通過單張圖像同時捕捉目標(biāo)及其在水面的反射來及進(jìn)行三維重建。利用規(guī)范的迭代方法來調(diào)整目標(biāo)的輻射損失實(shí)現(xiàn)高動態(tài)范圍，同時利用幾何關(guān)系對相機(jī)進(jìn)行標(biāo)定，使得這種方法可以在不依賴于相機(jī)參數(shù)的情況下結(jié)合反射圖像進(jìn)行恢復(fù)。此外，為了解決水面波浪的情況，研究通過對水面表面法向量的建模同時恢復(fù)水面和目標(biāo)的三維結(jié)構(gòu)。

下圖展示了這種方法的主要流程，首先需要從圖像中抽取目標(biāo)和對應(yīng)的反射區(qū)域，而后對特征進(jìn)行匹配，并基于這些信息進(jìn)行水面法向量估計和和反射場景的輻射估計，最后進(jìn)行立體匹配和深度計算；針對有波紋的水面，還需要對波浪進(jìn)行一定的矯正和三維波浪形狀估計。

Shape from Water Reflection

首先針對平靜的水面，研究人員將水面視為平面鏡面模型可以利用反射模型來對這一過程進(jìn)行建模。首先需要將圖像中需要重建的目標(biāo)對象分為直接入射區(qū)域和水面反射區(qū)域，可以利用水面分界線和淹沒來實(shí)現(xiàn)，隨后研究人員通過構(gòu)建出場景和反射中對應(yīng)的點(diǎn)對來及逆行水平面的表面估計，隨后通過水體表面來估計水面的法向量。

在得到表面法向量后，就可以基于法向量利用直接入射和反射圖像來作為外部標(biāo)定過的立體視覺對。隨后研究人員還需要對圖像進(jìn)行輻射校正，通過分離環(huán)境光直接傳輸和反射光，并考慮到水面的菲涅爾反射效應(yīng)來進(jìn)行處理。隨后得到的圖像就可以用于立體匹配了。

由于在幾何標(biāo)定過程中的誤差會引起不正確的輻射恢復(fù)。所以可以利用輻射恢復(fù)的誤差信息迭代地優(yōu)化幾何標(biāo)定過程，不斷進(jìn)行前文流程圖中的A2-A4過程使得恢復(fù)的形狀和場景收斂。此外通過水面的菲涅爾反射過程還可以對相機(jī)的內(nèi)參進(jìn)行估計，從而可以實(shí)現(xiàn)自標(biāo)定的場景重建。

最后可以基于立體視覺匹配和三角公式實(shí)現(xiàn)稠密深度圖的計算。如果利用菲涅爾效應(yīng)帶來的不同有效曝光就可以實(shí)現(xiàn)圖像的高動態(tài)范圍，并利用深度值和輻射強(qiáng)度值來構(gòu)建具有紋理映射的三維網(wǎng)格模型了。

基于菲涅爾效應(yīng)帶來的不同曝光來重建出高動態(tài)范圍的圖像

當(dāng)然水面不可能一直風(fēng)平浪靜，針對有波浪的情形也需要有效處理。研究人員將水面的波動視為水面法向量的差分。首先針對全局進(jìn)行水面估計，隨后迭代的對細(xì)節(jié)的法向量進(jìn)行優(yōu)化，對幾何與輻射進(jìn)行求解。

通過表面法向量差分的方式來估計水面波紋，可以移除波紋對于成像造成的影響。

結(jié)果

下圖展示了一系列基于這種方法進(jìn)行重建的結(jié)果，可以看到不僅圖像紋理的動態(tài)范圍有所提升，同時細(xì)節(jié)也得到了良好的恢復(fù)。