1 什么是三維重建

在計算機視覺中，三維重建是指根據(jù)單視圖或者多視圖的圖像重建三維信息的過程。由于單視頻的信息不完全，因此三維重建需要利用經(jīng)驗知識，而多視圖的三維重建(類似人的雙目定位)相對比較容易，其方法是先對攝像機進行標定，即計算出攝像機的圖像坐標系與世界坐標系的關(guān)系，然后利用多個二維圖像中的信息重建出三維信息。

2 重建的結(jié)果如何表達

1、深度圖 (depth)每個像素值代表的是物體到相機xy平面的距離，由深度攝像頭獲取2、點云(point cloud)某個坐標系下的點的數(shù)據(jù)集，由三維激光雷達獲取3、網(wǎng)格(mesh)全部由三角形組成的多邊形網(wǎng)格

4、體素 (voxel)三維空間中的一個有大小的點，一個小方塊，相當于是三維空間種的像素。

3 如何實現(xiàn)整個重建過程

image.png

3.1 深度圖像的獲取

景物的深度圖像由Kinect在Windows平臺下拍攝獲取，同時可以獲取其對應(yīng)的彩色圖像。為了獲取足夠多的圖像，需要變換不同的角度來拍攝同一景物，以保證包含景物的全部信息。具體方案既可以是固定Kinect傳感器來拍攝旋轉(zhuǎn)平臺上的物體；也可以是旋轉(zhuǎn)Kinect傳感器來拍攝固定的物體。

推薦學(xué)習(xí)3D視覺工坊三維點云課程：

[1]三維點云處理：算法與實戰(zhàn)匯總? ?

[2]徹底搞懂基于Open3D的點云處理教程！

3.2 預(yù)處理

受到設(shè)備分辨率等限制，它的深度信息也存在著許多缺點。為了更好的促進后續(xù)基于深度圖像的應(yīng)用，必須對深度圖像進行去噪和修復(fù)等圖像增強過程。目前深度相機輸出的depth圖還有很多問題，比如對于光滑物體表面反射、半/透明物體、深色物體、超出量程等都會造成深度圖缺失。而且很多深度相機是大片的深度值缺失，這對于算法工程師來說非常頭疼。

3.3 計算點云數(shù)據(jù)

整個計算過程實際上是從世界坐標系到像素坐標系（不考慮畸變）的過程，用一幅圖來總結(jié)其轉(zhuǎn)換關(guān)系：

世界坐標系：描述環(huán)境中任何物體的位置。

相機坐標系：在相機上建立的坐標系，為了從相機的角度描述物體位置而定義，作為溝通世界坐標系和圖像/像素坐標系的中間一環(huán)。單位為m。以相機的光心為坐標原點，X 軸和Y 軸分別平行于圖像坐標系的 X 軸和Y 軸，相機的光軸為Z 軸，用（Xc, Yc, Zc）表示其坐標值。

圖像坐標系(image coordinate system)：描述物體從相機坐標系到圖像坐標系的投影透射關(guān)系，方便進一步得到像素坐標系下的坐標。以圖像平面的中心為坐標原點，X軸和Y 軸分別平行于圖像平面的兩條垂直邊，用( x , y )表示其坐標值。圖像坐標系是用物理單位（例如毫米）表示像素在圖像中的位置。

像素坐標系(pixel coordinate system)：描述物體成像后的像點在數(shù)字圖像上（相片）的坐標，是我們真正從相機內(nèi)讀取到的信息所在的坐標系。單位為個（像素數(shù)目）。以圖像平面的左上角頂點為原點，X 軸和Y 軸分別平行于圖像坐標系的 X 軸和Y 軸，用(u , v )表示其坐標值。數(shù)碼相機采集的圖像首先是形成標準電信號的形式，然后再通過模數(shù)轉(zhuǎn)換變換為數(shù)字圖像。每幅圖像的存儲形式是M × N的數(shù)組，M 行 N 列的圖像中的每一個元素的數(shù)值代表的是圖像點的灰度。這樣的每個元素叫像素，像素坐標系就是以像素為單位的圖像坐標系。

3.4 點云配準

對于多幀通過不同角度拍攝的景物圖像，各幀之間包含一定的公共部分。為了利用深度圖像進行三維重建，需要對圖像進行分析，求解各幀之間的變換參數(shù)。深度圖像的配準是以場景的公共部分為基準，把不同時間、角度、照度獲取的多幀圖像疊加匹配到統(tǒng)一的坐標系中。計算出相應(yīng)的平移向量與旋轉(zhuǎn)矩陣，同時消除冗余信息。點云配準除了會制約三維重建的速度，也會影響到最終模型的精細程度和全局效果。因此必須提升點云配準算法的性能。三維深度信息的配準按不同的圖像輸入條件與重建輸出需求被分為：粗糙配準、精細配準和全局配準等三類方法。配準過程中，匹配誤差被均勻的分散到各個視角的多幀圖像中，達到削減多次迭代引起的累積誤差的效果。值得注意的是，雖然全局配準可以減小誤差，但是其消耗了較大的內(nèi)存存儲空間，大幅度提升了算法的時間復(fù)雜度。

3.5 數(shù)據(jù)融合

經(jīng)過配準后的深度信息仍為空間中散亂無序的點云數(shù)據(jù)（如下圖），僅能展現(xiàn)景物的部分信息。因此必須對點云數(shù)據(jù)進行融合處理，以獲得更加精細的重建模型。

以Kinect傳感器的初始位置為原點構(gòu)造體積網(wǎng)格，網(wǎng)格把點云空間分割成極多的細小立方體，這種立方體叫做體素(Voxel)。為了解決體素占用大量空間的問題，提出了TSDF (Truncated Signed Distance Field，截斷符號距離場)算法（如下圖），該方法只存儲距真實表面較近的數(shù)層體素，而非所有體素。因此能夠大幅降低KinectFusion的內(nèi)存消耗，減少模型冗余點。

通過為所有體素賦予TSDF（Truncated Signed Distance Field，截斷有效距離場）值，來隱式的模擬表面。下圖所示，計算出TSDF值，即此體素到重建表面的最小距離值。當TSDF值大于零，表示該體素在表面前；當TSDF小于零時，表示該體素在表面后；當TSDF值越接近于零，表示該體素越貼近于場景的真實表面。于是形成重建的表面。

4 三維重建的經(jīng)典算法

4.1 泊松算法

1、原理基于八叉樹和泊松方程的一種網(wǎng)格三維重建算法，利用指示函數(shù)，可以對空間內(nèi)部的所有有效指示函數(shù)實現(xiàn)梯度計算，通過求解這個函數(shù)提取等值面，得到表面的過程，即構(gòu)建泊松方程并對其求解的過程。2、算法流程

3、核心代碼

?//----------------------------------法線估計------------------------------------
????pcl::NormalEstimation?n;//法線估計對象
????pcl::PointCloud::Ptr?normals(new?pcl::PointCloud);//存儲估計的法線
????pcl::KdTree::Ptr?tree(new?pcl::KdTree);
????tree->setInputCloud(cloud);
????n.setInputCloud(cloud);
????n.setSearchMethod(tree);
????n.setKSearch(10);
????n.compute(*normals);
????//-------------------------------連接法線和坐標---------------------------------
????pcl::PointCloud::Ptr?cloud_with_normals(new?pcl::PointCloud);
????pcl::concatenateFields(*cloud,?*normals,?*cloud_with_normals);
????//---------------------------------泊松重建-------------------------------------
????pcl::KdTree::Ptr?tree2(new?pcl::KdTree);
????tree2->setInputCloud(cloud_with_normals);
????pcl::Poisson?pn;
????pn.setSearchMethod(tree2);
????pn.setInputCloud(cloud_with_normals);
????pn.setDepth(6);??????????????//?設(shè)置將用于表面重建的樹的最大深度
????pn.setMinDepth(2);
????pn.setScale(1.25);???????????//?設(shè)置用于重建的立方體的直徑與樣本的邊界立方體直徑的比值
??? pn.setSolverDivide(3);???????//?設(shè)置塊高斯-塞德爾求解器用于求解拉普拉斯方程的深度。精度
????pn.setIsoDivide(6);??????????//?設(shè)置塊等表面提取器用于提取等表面的深度?平滑度
????pn.setSamplesPerNode(10);????//?設(shè)置每個八叉樹節(jié)點上最少采樣點數(shù)目?八叉樹節(jié)點上的采樣點數(shù)速度
????pn.setConfidence(false);?????//?設(shè)置置信標志，為true時，使用法線向量長度作為置信度信息，false則需要對法線進行歸一化處理
????pn.setManifold(false);???????//?設(shè)置流行標志，如果設(shè)置為true，則對多邊形進行細分三角話時添加重心，設(shè)置false則不添加
????pn.setOutputPolygons(false);?//?設(shè)置是否輸出為多邊形(而不是三角化行進立方體的結(jié)果)。

4、結(jié)果展示

4.2 凸包算法

1、算法流程給出三維空間中的n個頂點，求解由這n個頂點構(gòu)成的凸包表面

1）首先任選4個點形成的一個四面體(初始凸包)然后每次新加一個點P分兩種情況：a. P在凸包內(nèi)，則可以跳過。b. P在凸包外，對于某邊，找到從這個點可以“看見”的包含該邊的面S（能不能看見可以用法向量來計算，看點是否在面外側(cè)），刪除這些面S，然后用S的除該邊外的另外兩邊與點P新構(gòu)成兩個面。這樣遍歷所有邊，就將P加入該凸包中，并形成了新的凸包。2）遍歷所有點，最后得到整個點集的凸包。

2、核心代碼

//---------------------對上述點云構(gòu)造凸包-----------------------
?pcl::ConvexHull?hull;??//創(chuàng)建凸包對象
?hull.setInputCloud(cloud);????????????//設(shè)置輸入點云
?hull.setDimension(3);?????????????????//設(shè)置輸入數(shù)據(jù)的維度(2D或3D)
?vector?polygons;???????//設(shè)置pcl:Vertices類型的向量，用于保存凸包頂點

?pcl::PointCloud::Ptr?surface_hull(new?pcl::PointCloud);//該點云用于描述凸包形狀
?
?hull.setComputeAreaVolume(true);???????//設(shè)置為真，則調(diào)用qhr庫來計算凸包的總面積和體積
?hull.reconstruct(*surface_hull,?polygons);//計算3D凸包結(jié)果
?float?Area?=?hull.getTotalArea();??????//獲取凸包的總面積
?float?Volume?=?hull.getTotalVolume();??//獲取凸包的總體積
?cout?<

	3、結(jié)果展示

	

	

	4.3 凹包算法

	1、原理在三維層面上來講，該算法我們可以想象為一個球在一堆點集中進行滾動，符合條件的三個點即會構(gòu)成一個多邊形，這個條件是一種“空球法則” (類似于空圓法則)，也就是說這個球除三個基本點之外不會包含其他的點。

	

	

	從右圖中可以看出，球并沒有滾到P11和P12兩個點，那么這時我們猜想：如果縮小球的半徑，是否就可以遍歷更多的點，從而輸出的點云就更加的清晰完整呢？2、核心代碼
pcl::ConcaveHull?cavehull;?
?cavehull.setInputCloud(cloud);????????
?cavehull.setAlpha(0.001);????????????
?vector?polygons;???????
?cavehull.reconstruct(*surface_hull,?polygons);//?重建面要素到點云


	3、結(jié)果展示設(shè)置半徑分別為0.5、0.1、0.05、0.02時，得到下面四種結(jié)果

	

	因此，之前的猜想是正確的。

	除此三種重建算法外，還有貪婪、Delaunay三角剖分算法等等。

	編輯：黃飛