淺談?計(jì)算機(jī)視覺(jué)傳感器&系統(tǒng)

作者：Mehdi Amine

從硬件到實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)的系統(tǒng)，本文的概述側(cè)重于廣度而非深度。為了平衡這種方法，本文引導(dǎo)讀者閱讀具有指導(dǎo)性的參考文獻(xiàn)，并提供了隨時(shí)可以運(yùn)行的源代碼。我們從圖像形成的機(jī)制開始。我們涵蓋針孔、透鏡、傳感器(CCD和CMOS)、Bayer濾波器和顏色重建。

然后，我們轉(zhuǎn)到計(jì)算機(jī)視覺(jué)的應(yīng)用上來(lái)，檢測(cè)圖像中的車道線。該方法是基于一套常用的計(jì)算機(jī)視覺(jué)算法。

成像歷史簡(jiǎn)介

拍照就是把3D場(chǎng)景投影到2D平面上。暗箱通過(guò)一個(gè)針孔實(shí)現(xiàn)了這種投影。墻上的一個(gè)小針孔讓光線穿透了黑暗的照相機(jī)室。這個(gè)簡(jiǎn)單的機(jī)制產(chǎn)生了尖銳的投影，使藝術(shù)家能夠在場(chǎng)景的細(xì)節(jié)上畫出草圖。但是這種方法缺乏亮度，針孔本身不能收集足夠的光。

柯歇(Athanasius Kircher) 1645年的著作《大路西與陰影》(Ars Magna Lucis Et Umbrae)中“便攜式”暗箱的雕刻

針孔相機(jī)即使在今天也吸引了廣泛的興趣，它們能夠捕捉到令人驚嘆的圖像，其特點(diǎn)是在任何地方都能使用。缺點(diǎn)還是一樣，圖像很暗，需要很長(zhǎng)的曝光時(shí)間。

用針孔相機(jī)拍攝的鄧盧斯城堡的日落，曝光時(shí)間20分鐘，伊萬(wàn)·麥格雷戈

為了解決光線暗淡的問(wèn)題，引入了透鏡。通過(guò)在光圈前放置透鏡，可以聚集更多的光。透鏡還可以修改投影圖像的放大倍率。在過(guò)去，放大需要藝術(shù)家移動(dòng)整個(gè)相機(jī)。如今，在不改變場(chǎng)景和像面之間的距離的情況下，可以通過(guò)移動(dòng)鏡頭的位置來(lái)調(diào)節(jié)放大效果。變焦是移動(dòng)鏡頭來(lái)改變放大倍率的過(guò)程。

即使有了鏡頭，捕捉圖像也需要很長(zhǎng)時(shí)間依靠藝術(shù)家在投影圖像上作畫。19世紀(jì)30年代，路易斯·達(dá)蓋爾(Louis Daguerre)發(fā)明了膠片，這是攝影史上最重要的發(fā)明之一。這是第一次有可能在物理層上記錄光，不需要依靠藝術(shù)家，只需要按下一個(gè)按鈕，就能記住一個(gè)時(shí)刻。

膠片上涂上鹵化銀。一旦暴露在光線下，鹵化銀就會(huì)轉(zhuǎn)化為金屬銀。轉(zhuǎn)換量取決于膠片上任何特定點(diǎn)的曝光量。為了產(chǎn)生圖像，膠片隨后要經(jīng)過(guò)化學(xué)顯影處理。

黑白底片處理

硅成像探測(cè)器的發(fā)明甚至比膠片的影響更大。同樣的芯片可以用來(lái)捕捉無(wú)限多的圖片，而不再需要化學(xué)照相顯影。它是數(shù)碼相機(jī)所使用的技術(shù)，也是我們大多數(shù)人今天隨身攜帶的手機(jī)。

圖像傳感器

概括地說(shuō)，拍照就是將3D場(chǎng)景投影到2D平面上。投影是通過(guò)光圈來(lái)實(shí)現(xiàn)的，通過(guò)透鏡來(lái)收集更多的光線并調(diào)節(jié)放大倍率。2D平面最初是一個(gè)簡(jiǎn)單的平面，藝術(shù)家可以在上面作畫。后來(lái)它變成了鹵化銀薄膜的表面。最后是硅芯片的表面:圖像傳感器。

為了將接收到的光轉(zhuǎn)換成數(shù)字圖像，大多數(shù)圖像傳感器依賴于硅原子的特性。當(dāng)一個(gè)具有足夠能量的光子撞擊硅原子時(shí)，它會(huì)釋放出電子。在硅晶格(一個(gè)像素)上，光子通量暴露產(chǎn)生電子通量。然后電子通量被轉(zhuǎn)換成電壓。

電荷耦合裝置 CCD

在這種類型的圖像傳感器中，光子到電子的轉(zhuǎn)換發(fā)生在每個(gè)像素中。在每個(gè)像素下都有一個(gè)電容儲(chǔ)存釋放的電子。一個(gè)叫做“垂直CCD移位寄存器”的電路連接每列像素的電容。這個(gè)電路可以使電子從一個(gè)像素垂直轉(zhuǎn)移到它正下方的像素上，直到它們到達(dá)最后一行。最后一行由水平CCD移位寄存器連接，該寄存器將電子送到模數(shù)轉(zhuǎn)換器中。

CCD中電子的垂直傳遞采用bucket-brigade法完成。這意味著每一行在獲取其前面一行的電子之前，先將其電子傳遞給下一行。水平轉(zhuǎn)移保持行順序，當(dāng)它們水平移動(dòng)到ADC時(shí)，它們被轉(zhuǎn)換為與它們的電子電荷成比例的電壓。

互補(bǔ)金屬氧化物半導(dǎo)體 CMOS

CMOS以不同的方式實(shí)現(xiàn)圖像傳感器。它不是將電子從像素轉(zhuǎn)移到ADC，而是集成了像素級(jí)的電壓轉(zhuǎn)換。

使用CMOS可以單獨(dú)尋址每個(gè)像素以讀取其電壓。這提供了更多的靈活性，因?yàn)樗梢约涌焯囟ㄅd趣區(qū)域的閱讀速度。這種靈活性是以更小的光敏區(qū)域?yàn)榇鷥r(jià)的，因?yàn)樵谙袼丶?jí)集成了更多的組件。為了彌補(bǔ)感光區(qū)域的減少，微透鏡被直接放置在每個(gè)像素的上方。這些微透鏡將光線聚焦在光敏探測(cè)器上。

像素結(jié)構(gòu)

獲取顏色

像素本身能夠捕捉光的強(qiáng)度，但不能捕捉光的波長(zhǎng)。為了捕捉顏色(波長(zhǎng))，最流行的方法是疊加一個(gè)拜耳濾光片陣列。在這種方法中，每個(gè)像素都被一個(gè)紅色、綠色或藍(lán)色的濾光片覆蓋。

圖像傳感器的像素陣列上的彩色濾光片的拜耳排列。每個(gè)2乘2單元格包含兩個(gè)綠色，一個(gè)藍(lán)色和一個(gè)紅色的濾光片。

人類對(duì)幾乎所有顏色的感覺(jué)都可以通過(guò)3種波長(zhǎng)產(chǎn)生。捕捉紅色、綠色和藍(lán)色的波長(zhǎng)就足以重現(xiàn)拍攝到的場(chǎng)景的實(shí)際顏色。但就其本身而言，拜耳模式的疊加是不夠的。它產(chǎn)生的圖像看起來(lái)像左邊的:

左邊圖像的像素要么是紅色，要么是綠色，要么是藍(lán)色。注意，圖像看起來(lái)大部分是綠色的。拜耳模式模擬了人類視網(wǎng)膜在白天對(duì)綠光最敏感的事實(shí)。因此濾鏡是一半綠色，四分之一紅色，四分之一藍(lán)色。

為了將左邊的圖像轉(zhuǎn)換為右邊的圖像，我們?nèi)∶總€(gè)像素的值，并將其與相鄰像素的值結(jié)合起來(lái)。這個(gè)過(guò)程被稱為插值。假設(shè)我們從左邊的圖片中取一個(gè)藍(lán)色的像素。插值是將藍(lán)色值與相鄰像素的紅色和綠色值混合在一起。

計(jì)算機(jī)視覺(jué)

圖像傳感器的應(yīng)用已經(jīng)成為我們生活中的基本組成部分。它們塑造了我們表達(dá)自我和交流的方式，它們開辟了科學(xué)和藝術(shù)的跨學(xué)科領(lǐng)域。也許這些領(lǐng)域中最先進(jìn)的是計(jì)算機(jī)視覺(jué)。

研究計(jì)算機(jī)視覺(jué)必須從欣賞使之成為可能的硬件開始。我們已經(jīng)簡(jiǎn)要地了解了硬件的歷史、進(jìn)展和主要組件。讓我們來(lái)看一個(gè)使用它的令人興奮的實(shí)際應(yīng)用。

自動(dòng)駕駛中的車道線檢測(cè)

從2021年5月開始，特斯拉開始交付不再安裝雷達(dá)的Model 3和Model Y。這些車型依賴基于攝像頭的自動(dòng)駕駛系統(tǒng)，以相同的安全評(píng)級(jí)提供相同的功能。

特斯拉Vision的主動(dòng)安全功能之一是車道偏離警告/避免。能夠探測(cè)道路車道在駕駛中是至關(guān)重要的。我們將研究車道檢測(cè)，并以兩種不同的方式實(shí)現(xiàn)它。首先使用計(jì)算機(jī)視覺(jué)算法，其次使用空間卷積神經(jīng)網(wǎng)絡(luò)。

![image-20220825133010031](D: onghuaiyangwechat202208Computer Vision Sensors & Systems.assetsimage-20220825133010031.png)

第一步是檢測(cè)圖像中最顯著的邊緣。與其相鄰像素亮度對(duì)比較大的區(qū)域被標(biāo)記為邊緣。下面的代碼將圖像轉(zhuǎn)換為灰度，用高斯濾波器進(jìn)行模糊以減少噪聲，并應(yīng)用算法Canny邊緣檢測(cè)。

def?canny(image):
??gray?=?cv2.cvtColor(image,?cv2.COLOR_RGB2GRAY)
??blur?=?cv2.GaussianBlur(gray,?(5,?5),?0)
??canny?=?cv2.Canny(blur,?10,?30)
??return?canny

Canny Edge Detection

![image-20220825133055971](D: onghuaiyangwechat202208Computer Vision Sensors & Systems.assetsimage-20220825133055971.png)

經(jīng)過(guò)Canny邊緣檢測(cè)后得到的圖像

這些圖像充滿了我們不需要的信息。我們想專注于前方的道路，所以我們將定義一個(gè)多邊形區(qū)域，以裁剪每個(gè)圖像。定義多邊形的點(diǎn)對(duì)這兩幅圖像來(lái)說(shuō)是不同的。為了找到它們，我們可以繪制圖像并顯示寬度和高度軸。

def?region_of_interest(image):
????height?=?image.shape[0]
????width?=?image.shape[1]
????polygons?=?np.array([[(10,height),?(width,height),?(width,1100),?(630,?670),?(10,?1070)]])
????mask?=?np.zeros_like(image)
????cv2.fillPoly(mask,?polygons,?255)
????masked_image?=?cv2.bitwise_and(image,?mask)
????return?masked_image