本人所在行業(yè)屬于3D視覺(jué)方向，因此最近也是學(xué)習(xí)了很多3D視覺(jué)的知識(shí)，這次專(zhuān)門(mén)總結(jié)一下。

傳統(tǒng)工業(yè)機(jī)器視覺(jué)中，2D指的是X方向加Y方向，那么3D視覺(jué)自然就是加了一個(gè)Z方向。目前我接觸到的公司產(chǎn)品是3D激光輪廓儀，也叫3D激光傳感器，線激光傳感器，采用的是激光三角測(cè)距法。

1.3D相機(jī)的工作原理

在傳統(tǒng)的2D視覺(jué)中，一套詳細(xì)的解決方案最基礎(chǔ)的是相機(jī)、鏡頭、和光源。根據(jù)客戶(hù)的需求以及現(xiàn)場(chǎng)的生產(chǎn)環(huán)境，通過(guò)一些公式計(jì)算出符合要求的相機(jī)和鏡頭，最后根據(jù)客戶(hù)的成本需求來(lái)選出最合適的相機(jī)加鏡頭。最后的光源是整套解決方案中比較難的一個(gè)點(diǎn)，要根據(jù)客戶(hù)所測(cè)物件的不同來(lái)選擇合適的光源，保證能夠清晰的成像。大家可以看出來(lái)，2D視覺(jué)對(duì)于工程師的要求比較高，要擁有豐富的項(xiàng)目經(jīng)驗(yàn)，有一定的光學(xué)和軟件知識(shí)，而3D相機(jī)相對(duì)來(lái)說(shuō)就要簡(jiǎn)單一些。

一般3D相機(jī)都會(huì)集成在一個(gè)框架內(nèi)，不會(huì)像2D視覺(jué)系統(tǒng)那樣區(qū)分開(kāi)來(lái)。這里我放一張基恩士最新型的一款3D激光輪廓儀給大家看一看：

基本上目前市面上的3D激光相機(jī)都是這個(gè)樣子，里面集成了激光發(fā)射器、鏡頭以及感光芯片。下面我們就來(lái)好好講一講3D相機(jī)的工作原理。

在3D相機(jī)中，取代光源的是激光發(fā)射器，通過(guò)復(fù)雜的光學(xué)系統(tǒng)設(shè)計(jì)，激光發(fā)射器發(fā)出的激光會(huì)形成一條直線，激光投射到物體表面就會(huì)形成反射，在光學(xué)系統(tǒng)的設(shè)計(jì)下，反射光會(huì)被鏡頭捕捉到，最后通過(guò)鏡頭反射到感光芯片上。因此，3D相機(jī)內(nèi)部最重要的三個(gè)部件分別為激光發(fā)射器，鏡頭和感光芯片，同時(shí)還會(huì)加一些FPGA或者ARM用于圖形處理，比如圖像算法以及圖像濾波。一般情況下，激光發(fā)射器需要優(yōu)秀的光學(xué)工程師進(jìn)行設(shè)計(jì)，比如不同的透鏡反射出來(lái)的激光也會(huì)有不同的效果；鏡頭基本上也都是正常我們看見(jiàn)的鏡頭，感光芯片一般會(huì)選擇高精度的CMOS芯片。

一般我們把激光線方向稱(chēng)為X方向，也就是激光照射出來(lái)的那條線定義為X軸，高度為Z方向，通過(guò)一次靜態(tài)拍照，我們可以得到X和Z兩個(gè)方向的數(shù)據(jù)，那么Y方向呢，我們一般把運(yùn)動(dòng)方向記為Y方向，也就是說(shuō)。我們可以通過(guò)移動(dòng)相機(jī)或者移動(dòng)物體，并且讓相機(jī)持續(xù)不斷的拍照，就形成了連續(xù)的Y方向數(shù)據(jù)，最后組合在一起，就是我們所需要的3D數(shù)據(jù)了。

2. 3D相機(jī)的測(cè)量原理

下面我們來(lái)了解一下3D激光相機(jī)的測(cè)距原理，我司采用的是激光三角測(cè)距法，一般工業(yè)領(lǐng)域都是普遍采用這個(gè)方法，因?yàn)榧す馊菧y(cè)距法的精度比較高，抗干擾能力也很強(qiáng)，此外，還有很多的測(cè)距方法，主要分為兩個(gè)大類(lèi)，分別是被動(dòng)測(cè)量類(lèi)和主動(dòng)測(cè)量類(lèi)。被動(dòng)測(cè)量類(lèi)分為單目視覺(jué)、雙目視覺(jué)和多目視覺(jué)；主動(dòng)測(cè)量類(lèi)分為結(jié)構(gòu)光法，TOF飛行時(shí)間法，激光三角測(cè)距法。TOF飛行時(shí)間法也是一種比較常見(jiàn)的3D光學(xué)測(cè)距方法，主要用于手機(jī)領(lǐng)域，比如手機(jī)的人臉識(shí)別，因?yàn)門(mén)OF飛行時(shí)間的測(cè)量范圍比較大，可以達(dá)到20米到30米，比較適合手機(jī)領(lǐng)域進(jìn)行一些AR/VR交互。

激光三角測(cè)距法我就不細(xì)講了，因?yàn)榫W(wǎng)上的資料實(shí)在是太多了，直接百度搜索激光三角測(cè)距法原理即可。

3.? 3D相機(jī)中主要使用到的一些技術(shù)參數(shù)

在與客戶(hù)的接觸中，經(jīng)?？蛻?hù)會(huì)咨詢(xún)一些硬件參數(shù)問(wèn)題，我發(fā)現(xiàn)網(wǎng)上關(guān)于3D視覺(jué)的資料真的少的可憐，所以好好整理了一番。

在2D視覺(jué)中，會(huì)有許多專(zhuān)業(yè)的術(shù)語(yǔ)名詞，比如視場(chǎng)，分辨率，重復(fù)精度等，3D視覺(jué)中也是如此。

在3D視覺(jué)中大致以以下術(shù)語(yǔ)：

●視野范圍/視場(chǎng)(FOV)

是指在某一工作距離下傳感器激光線方向能掃到的最大寬度。在2D視覺(jué)中，視場(chǎng)一般是兩個(gè)值，即X方向*Y方向，而3D視覺(jué)只有一個(gè)值。一般情況下就是在傳感器最佳工作距離下激光線的長(zhǎng)度，注意是在工作距離下的長(zhǎng)度，畢竟激光發(fā)射出來(lái)形成一個(gè)光面，如果沒(méi)有遮擋理論上是無(wú)限長(zhǎng)的。

此外，3D相機(jī)還分為近視場(chǎng)，中視場(chǎng)，遠(yuǎn)視場(chǎng)。

●測(cè)量范圍

傳感器的近視場(chǎng)到遠(yuǎn)視場(chǎng)的距離。這個(gè)概念有點(diǎn)像2D視覺(jué)中的景深，即Z軸可清晰成像的范圍。

●工作距離

傳感器下表面到被測(cè)物表面的距離。這里的傳感器指的就是相機(jī)，每臺(tái)相機(jī)的工作距離是不一樣的，一定要記住工作距離，不然選好了相機(jī)發(fā)現(xiàn)客戶(hù)現(xiàn)場(chǎng)的安裝高度達(dá)不到相機(jī)的工作距離要求，那么你前期的準(zhǔn)備工作就全部浪費(fèi)掉了。

●分辨率

傳感器可以識(shí)別的最小尺寸。跟圖像傳感器一般是CMOS芯片的晶圓尺寸也就是感光元件有關(guān)系。

●線性度

也叫準(zhǔn)確度，直線度。一般指的是Z線性度，為偏差值（參考值與測(cè)量值的差值）與測(cè)量范圍的比值。

●重復(fù)精度

也叫做重復(fù)性。是指將被測(cè)物重復(fù)掃描4100次后的最大偏差值。

●垂直分辨率

能夠測(cè)量出的最小高度

●水平分辨率

能夠測(cè)量的最小寬度

●運(yùn)動(dòng)方向

在運(yùn)動(dòng)方向還有幾個(gè)術(shù)語(yǔ)如下：

1.線間距：反映傳感器接收到的觸發(fā)信號(hào)間隔。這個(gè)參數(shù)跟編碼器信號(hào)或者外部信號(hào)頻率有關(guān)系。比如假設(shè)一萬(wàn)個(gè)脈沖走10毫米，那么信號(hào)間隔就為1微米。

2.掃描頻率(HZ)：?jiǎn)挝粫r(shí)間內(nèi)傳感器能夠獲取的3D輪廓線數(shù)目，反映傳感器當(dāng)前配置下的處理極限。比如2K那就是一秒最多可以跑兩千條線。這個(gè)參數(shù)也是客戶(hù)經(jīng)常會(huì)問(wèn)到的一個(gè)參數(shù)。一般情況下，掃描范圍越大，曝光時(shí)間越長(zhǎng)，掃描頻率越低。這個(gè)參數(shù)還分為全幅掃描頻率和ROI掃描頻率。

3.公式：最大掃描速度=掃描頻率*線間距。假設(shè)我這里有一個(gè)相機(jī)掃描頻率為1000，線間距為1um，那么1秒他最快只能掃1mm，如果被測(cè)物體長(zhǎng)1cm，那么我需要掃描至少10秒鐘才能將這個(gè)物體的長(zhǎng)度掃出來(lái)。一般情況下，相機(jī)的最大掃描頻率是固定的，所以只能改動(dòng)線間距，線間距和編碼器或者外部信號(hào)有關(guān)，也就是說(shuō)，如果想加快掃描速度，那么只能加大編碼器的信號(hào)，也就是讓物體或者相機(jī)的移動(dòng)速度變快。但是速度過(guò)快也可能導(dǎo)致缺少數(shù)據(jù)細(xì)節(jié)，導(dǎo)致某些缺陷沒(méi)有捕捉到。

下面這張圖就是對(duì)3D傳感器的一些參數(shù)的可視化，來(lái)自于某視覺(jué)公司的培訓(xùn)PPT。

下面我們來(lái)看一下基恩士的產(chǎn)品目錄中的參數(shù)列表：

對(duì)比前面的參數(shù)可視化圖，是不是覺(jué)得這些參數(shù)都比較容易理解了。

現(xiàn)在對(duì)于這些參數(shù)是不是一目了然。

將一些專(zhuān)業(yè)術(shù)語(yǔ)理解透徹，不僅在面對(duì)客戶(hù)時(shí)可以更加專(zhuān)業(yè)，也是為了可以在客戶(hù)現(xiàn)場(chǎng)更好的解決問(wèn)題。

目前3D視覺(jué)有著2D視覺(jué)無(wú)法比擬的優(yōu)勢(shì)，但3D視覺(jué)同樣也有一些重難點(diǎn)需要解決。

比如如何知道一個(gè)物體能否被準(zhǔn)確的掃描出來(lái)呢，測(cè)量是否成功取決于有多長(zhǎng)時(shí)間可以用于測(cè)量。被測(cè)物體通過(guò)探頭光束的速度越慢，越多時(shí)間可以被用于測(cè)量。因此，不能簡(jiǎn)單的認(rèn)為一個(gè)靜態(tài)測(cè)量可行，就一定意味著動(dòng)態(tài)測(cè)量也是可行的。測(cè)量的結(jié)果也取決于被測(cè)物體表面的反光特性。也就是說(shuō)被測(cè)物體表面的反光性或吸光性的強(qiáng)弱，會(huì)決定是否可以測(cè)得有效信號(hào)。被測(cè)材料本身也會(huì)影響測(cè)量結(jié)果。舉例來(lái)講，如果半透明被測(cè)物體的透明度過(guò)高，測(cè)量信號(hào)可能完全失真了。最后一個(gè)應(yīng)該考慮的因素是被測(cè)物體的輪廓缺陷，可能產(chǎn)生陰影的輪廓以及多次反射的表面影響。以上這些基本因素都可能明顯影響測(cè)量信號(hào)質(zhì)量以及測(cè)量結(jié)果。

除去上面提到的這些影響因素，一個(gè)清晰可識(shí)別的輪廓表面反射的持續(xù)信號(hào)仍然可能是難以使用的缺損信號(hào)。如果想避免這種情況，輪廓儀的每一個(gè)獨(dú)立參數(shù)都必須正確設(shè)置并適合被測(cè)物體。使用正確的濾波器以及曝光時(shí)間的設(shè)定，往往能夠改善不良信號(hào)，經(jīng)過(guò)不斷嘗試最終可以完成測(cè)試。舉例來(lái)講，測(cè)量一個(gè)快速移動(dòng)的黑色橡膠被測(cè)物體，較短的曝光時(shí)間和被測(cè)物體的高吸光性都會(huì)更容易導(dǎo)致一個(gè)不良的測(cè)量結(jié)果。而與之相反，如果黑色被測(cè)物體不移動(dòng)或較慢移動(dòng)，較長(zhǎng)的曝光時(shí)間可能更有助于獲得完整的輪廓信息。但是這樣就會(huì)影響到檢測(cè)速度，各有利弊。

目前3D視覺(jué)在掃描透明物體比如玻璃的時(shí)候效果往往不佳，因?yàn)椴Ａ强梢灾苯幼尲す馔干溥^(guò)去的，導(dǎo)致CMOS芯片上難以成像，還有一個(gè)就是多重反射的問(wèn)題，也會(huì)造成成像錯(cuò)誤。

此外，3D視覺(jué)還會(huì)遇到一個(gè)視覺(jué)陰影問(wèn)題，也就是處于相機(jī)掃描角度的原因，會(huì)出現(xiàn)視野盲區(qū)。

所幸是目前學(xué)術(shù)界對(duì)于計(jì)算機(jī)視覺(jué)和3D視覺(jué)很是熱衷，越來(lái)越多的新技術(shù)開(kāi)始出現(xiàn)，開(kāi)始彌補(bǔ)上述的缺點(diǎn)，據(jù)我所知，上述這些問(wèn)題現(xiàn)在都已經(jīng)有看了可行且可以落地的結(jié)局方法，以上就是大致的總結(jié)。

編輯：黃飛

?