“雙目視覺(jué)可能在國(guó)內(nèi)研究的廠家還比較少，但實(shí)際上它在國(guó)際上應(yīng)用的范圍已經(jīng)比較廣了，尤其在日本，歐美的廠家更多，但是日本的產(chǎn)品相對(duì)來(lái)講比歐美的還要再成熟一些?！敝锌苹垩勐?lián)合創(chuàng)始人兼COO孟然表示，從06年開(kāi)始一些高端配置的車型也應(yīng)用了雙目視覺(jué)的系統(tǒng)，比如路虎、捷豹、斯巴魯。

那么雙目視覺(jué)感知原理是什么？它屬于380到760納米可見(jiàn)光的范圍，實(shí)際上它比單目和毫米波雷達(dá)的區(qū)別是什么？雙目是兩種類別的傳感器（我指的僅僅是用于防撞這個(gè)功能）。

中科慧眼聯(lián)合創(chuàng)始人兼COO孟然在2018高工智能

商用車開(kāi)發(fā)者大會(huì)上發(fā)表主題演講

雙目視覺(jué)實(shí)際上是基于兩路視頻的視差，就是左眼與右眼對(duì)于同一個(gè)目標(biāo)所形成的圖像像素點(diǎn)的差異，像素點(diǎn)的差異通過(guò)基線，就是兩個(gè)攝像頭之間的間距關(guān)系。基線的距離，視差加上焦距，就可以換算出來(lái)你與我之間的距離，實(shí)際上就是一個(gè)三角關(guān)系。

你會(huì)發(fā)現(xiàn)這個(gè)視差越大，物體會(huì)離你越近。用這個(gè)原理去進(jìn)行距離的測(cè)定，以此再進(jìn)行防撞系統(tǒng)的開(kāi)發(fā)。

去年我們參與了百度阿波龍量產(chǎn)項(xiàng)目，這是測(cè)試場(chǎng)的測(cè)試情況，這里面的顏色也是雙目所形成的三維的數(shù)據(jù)，紅色代表比較近，藍(lán)色、黑色代表比較遠(yuǎn)，在形成了所有障礙物的信息后，與前面的超聲波、激光、毫米波去進(jìn)行融合，最后給出了最終的防撞策略。

在阿波龍量產(chǎn)的小巴它實(shí)際上是四層的防撞系統(tǒng)，最外層的是毫米波，它只是正向的，然后一圈的是激光雷達(dá)，這是第二層，比毫米波要近一些，是在100米左右，在60米到80米左右是用的視覺(jué)，在視覺(jué)的內(nèi)部是一圈的超聲波，它是形成了四層的防撞系統(tǒng)。

右邊是實(shí)時(shí)場(chǎng)景，左邊是雙目感知出來(lái)的效果圖

其實(shí)，行業(yè)內(nèi)有好多人會(huì)問(wèn)，單目視覺(jué)和雙目視覺(jué)到底有什么區(qū)別？他們是應(yīng)用了同樣的電磁波波長(zhǎng)的兩套不同的系統(tǒng)，因?yàn)樗麄儨y(cè)試的原理不一樣，單目視覺(jué)是基于識(shí)別的原理，進(jìn)行距離的測(cè)定。

雙目視覺(jué)是通過(guò)我剛剛講的三角關(guān)系，通過(guò)視差的方式實(shí)現(xiàn)距離的測(cè)量，它就像雷達(dá)通過(guò)發(fā)射時(shí)間與反射的時(shí)間差距測(cè)量一樣，他們是基于不同的原理，所以雙目不依賴與識(shí)別、樣本庫(kù)、分類器，它是不識(shí)別物體類別的，這個(gè)跟單目不一樣。

同時(shí)，我們?cè)陔p目里面想植入成熟的單目感知算法，它與雙目相機(jī)本身感知數(shù)據(jù)進(jìn)行一個(gè)DoubleCheck，做一個(gè)融合取舍，再與雷達(dá)做融合，形成最終感知的結(jié)果。這個(gè)在阿波龍里已經(jīng)用到了。

到底雙目能夠達(dá)到多遠(yuǎn)，對(duì)于視覺(jué)來(lái)講，從原理上來(lái)講是沒(méi)有一個(gè)極限的，因?yàn)樗R頭有關(guān)，如果你用放大鏡可能只用看到幾厘米，對(duì)于一個(gè)傳感器，跟它的鏡頭有很直接的關(guān)系。

原則上來(lái)講，鏡頭的焦距越遠(yuǎn)，看到的越遠(yuǎn)，但是你的視角會(huì)變窄，鏡頭的焦距越窄，你看的越近，但是你的視角會(huì)變大。如果雙目之間的距離越大，原則上你看的是越遠(yuǎn)，但是你近處看不到的地方也會(huì)變的越大，所以無(wú)限的放遠(yuǎn)與無(wú)限的放近實(shí)際上都是不好的。

我們?nèi)绾味x鏡頭的焦距跟項(xiàng)目本身是有關(guān)的，比如你是一個(gè)低速車，我要盡可能的放大視角，我們把測(cè)定的距離放到五六十米，因?yàn)槟阒挥腥氖~。但是如果你是一個(gè)高速車，比如說(shuō)一百公里到兩百公里的車速，我們可能把這個(gè)距離放的很遠(yuǎn)，比如看到120、150米，但是你的視角可能會(huì)變窄。

在低速小巴上，我們用的是兩套系統(tǒng)，一套是50度40米的，一套是38度80米的，在國(guó)內(nèi)微循環(huán)的小巴普遍使用的25幀的頻率，歐美用的是30幀。

我們還有一款即將發(fā)布的四目相機(jī)一體化視覺(jué)解決方案，除了雙目避障以外還有兩個(gè)雙焦的鏡頭，適用于紅綠燈、標(biāo)識(shí)線等識(shí)別。

現(xiàn)在行業(yè)還有一種說(shuō)法，視覺(jué)傳感器到底它的必要性在哪兒？視覺(jué)是可以感知顏色的，可以感知可見(jiàn)光，但是毫米波、激光包括超聲波它有自己的物理性質(zhì)，這個(gè)是沒(méi)辦法改變的。

對(duì)于一套自動(dòng)駕駛系統(tǒng)來(lái)話，信息融合肯定是避免不了的，像視覺(jué)可能它擔(dān)心的是什么？它擔(dān)心的是強(qiáng)逆光、致盲，像毫米波或者激光可能在這個(gè)方面是沒(méi)有問(wèn)題的。

但在黑色的感知效果上，視覺(jué)又要強(qiáng)于毫米波和可見(jiàn)光，所以不同的場(chǎng)景、不同的時(shí)間、不同的環(huán)境，可能這種波所固有的性質(zhì)你是改變不了的，所以自動(dòng)駕駛系統(tǒng)一般來(lái)講都是做多傳感技術(shù)的融合。

視覺(jué)在融合里起到什么作用？它一定是作用于中近距離，視覺(jué)在遠(yuǎn)距離測(cè)距上是不如激光或者毫米波的精度那么高，而且沒(méi)有那么快的響應(yīng)速度。

在你開(kāi)高速的時(shí)候你可以用余光一邊聊天一邊看手機(jī)就開(kāi)了。但是當(dāng)你倒車的時(shí)候?yàn)槭裁匆罂从铱绰牡鼓?？就是因?yàn)橐粋€(gè)物體離你越近，你需要看到的東西就越細(xì)。

當(dāng)我們高速行駛的時(shí)候，可能不需要看的那么詳細(xì)，所以在高速上行駛的是探測(cè)幾百米以外的小汽車或者大貨車的時(shí)候，我們用雷達(dá)打這個(gè)線束是沒(méi)有問(wèn)題的。

但是當(dāng)你在做低速駕駛，比如說(shuō)城市街道，比如園區(qū)，尤其對(duì)于小障礙物的時(shí)候，更致密的感知是更必要的，這就是視覺(jué)的優(yōu)勢(shì)。比如說(shuō)園區(qū)里面的垃圾筒，小貓小狗的感知，如果用16線或者32線的激光雷達(dá)線束打過(guò)去以后可能打不到。

視覺(jué)的優(yōu)勢(shì)在于它更致密，而不是精度更高，測(cè)的更遠(yuǎn)，視覺(jué)是聚焦在中近距離，雷達(dá)是聚焦在中遠(yuǎn)距離。

雙目視覺(jué)可以形成路面的點(diǎn)云圖，顏色是代表距離，縱向有一千行，橫向有一千多行，這個(gè)是跟目前雷達(dá)最大的不同，它把更加致密的點(diǎn)云給到數(shù)據(jù)融合的模塊。

這是夜晚的情況，對(duì)于圖像來(lái)講，它最好的效果實(shí)際上是在天空、路面、景物、輪胎、人、車，所有的障礙物之間有一個(gè)很好的對(duì)比度，有一個(gè)很高的信號(hào)比，所以我們?cè)谝雇淼凸獾那闆r，還是在白天太陽(yáng)特別強(qiáng)烈的情況下，我們希望得到的圖像是一樣的，每一個(gè)類別之間有一個(gè)很好的對(duì)比度。

對(duì)于視覺(jué)來(lái)講也有兩種算法，一個(gè)是基于面的，一個(gè)是基于邊緣的，基于面的點(diǎn)云會(huì)更致密，我們之前看到的所有三維的圖，但是基于邊的，它的數(shù)據(jù)的可靠性更強(qiáng)。