如果有人朝你扔過來一個球，通常你會怎么辦？——當然是馬上把它接住。

這個問題是不是很弱智？但實際上，這一過程是最復雜的處理過程之一，實際上的過程大概如下：首先球進入人類的視網膜，一番元素分析后，發(fā)送到大腦，視覺皮層會更加徹底地去分析圖像，把它發(fā)送到剩余的皮質，與已知的任何物體相比較，進行物體和緯度的歸類，最終決定你下一步的行動：舉起雙手、拿起球（之前已經預測到它的行進軌跡）。

上述過程只在零點幾秒內發(fā)生，幾乎都是完全下意識的行為，也很少會出差錯。因此，重塑人類的視覺并不只是單一一個困難的課題，而是一系列、環(huán)環(huán)相扣的過程。

計算機視覺技術的概念

正像其它學科一樣，一個大量人員研究了多年的學科，卻很難給出一個嚴格的定義，模式識別如此，目前火熱的人工智能如此，計算機視覺亦如此。與計算機視覺密切相關的概念有視覺感知（visual perception）,視覺認知(visual cognition),圖像和視頻理解( image and video understanding)。這些概念有一些共性之處，也有本質不同。

從廣義上說，計算機視覺就是“賦予機器自然視覺能力”的學科。自然視覺能力，就是指生物視覺系統(tǒng)體現(xiàn)的視覺能力。一則生物自然視覺無法嚴格定義，在加上這種廣義視覺定義又“包羅萬象”，同時也不太符合40多年來計算機視覺的研究狀況，所以這種“廣義計算機視覺定義”，雖無可挑剔，但也缺乏實質性內容，不過是一種“循環(huán)式游戲定義”而已。

實際上，計算機視覺本質上就是研究視覺感知問題。視覺感知，根據(jù)維科百基（Wikipedia）的定義, 是指對“環(huán)境表達和理解中，對視覺信息的組織、識別和解釋的過程”。根據(jù)這種定義，計算機視覺的目標是對環(huán)境的表達和理解，核心問題是研究如何對輸入的圖像信息進行組織，對物體和場景進行識別，進而對圖像內容給予解釋。

計算機視覺（Computer Vision, CV）是一門研究如何讓計算機達到人類那樣“看”的學科。更準確點說，它是利用攝像機和電腦代替人眼使得計算機擁有類似于人類的那種對目標進行分割、分類、識別、跟蹤、判別決策的功能。

計算機視覺是使用計算機及相關設備對生物視覺的一種模擬，是人工智能領域的一個重要部分，它的研究目標是使計算機具有通過二維圖像認知三維環(huán)境信息的能力。計算機視覺是以圖象處理技術、信號處理技術、概率統(tǒng)計分析、計算幾何、神經網絡、機器學習理論和計算機信息處理技術等為基礎，通過計算機分析與處理視覺信息。

通常來說，計算機視覺定義應當包含以下三個方面：

1、對圖像中的客觀對象構建明確而有意義的描述；

2、從一個或多個數(shù)字圖像中計算三維世界的特性；

3、基于感知圖像做出對客觀對象和場景有用的決策。

作為一個新興學科，計算機視覺是通過對相關的理論和技術進行研究，從而試圖建立從圖像或多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)。計算機視覺是一門綜合性的學科，其中包括計算機科學和工程、信號處理、物理學、應用數(shù)學和統(tǒng)計學，神經生理學和認知科學等，同時與圖像處理，模式識別，投影幾何，統(tǒng)計推斷，統(tǒng)計學習等學科密切相關，近年來，與計算機圖形學，三維表現(xiàn)等學科也發(fā)生了很強的聯(lián)系。

人工智能與計算機視覺

計算機視覺與人工智能有密切聯(lián)系，但也有本質的不同。人工智能的目的是讓計算機去看、去聽和去讀。圖像、語音和文字的理解，這三大部分基本構成了我們現(xiàn)在的人工智能。而在人工智能的這些領域中，視覺又是核心。大家知道，視覺占人類所有感官輸入的80%，也是最困難的一部分感知。如果說人工智能是一場革命，那么它將發(fā)軔于計算機視覺，而非別的領域。

人工智能更強調推理和決策，但至少計算機視覺目前還主要停留在圖像信息表達和物體識別階段?！拔矬w識別和場景理解”也涉及從圖像特征的推理與決策，但與人工智能的推理和決策有本質區(qū)別。

計算機視覺和人工智能的關系：

第一， 它是一個人工智能需要解決的很重要的問題。

第二， 它是目前人工智能的很強的驅動力。因為它有很多應用，很多技術是從計算機視覺誕生出來以后，再反運用到AI領域中去。

第三， 計算機視覺擁有大量的量子AI的應用基礎。

計算機視覺技術的原理

計算機視覺就是用各種成象系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終研究目標就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應環(huán)境的能力。在實現(xiàn)最終目標以前，人們努力的中期目標是建立一種視覺系統(tǒng)，這個系統(tǒng)能依據(jù)視覺敏感和反饋的某種程度的智能完成一定的任務。例如，計算機視覺的一個重要應用領域就是自主車輛的視覺導航，還沒有條件實現(xiàn)象人那樣能識別和理解任何環(huán)境，完成自主導航的系統(tǒng)。因此，人們努力的研究目標是實現(xiàn)在高速公路上具有道路跟蹤能力，可避免與前方車輛碰撞的視覺輔助駕駛系統(tǒng)。

這里要指出的一點是在計算機視覺系統(tǒng)中計算機起代替人腦的作用，但并不意味著計算機必須按人類視覺的方法完成視覺信息的處理。計算機視覺可以而且應該根據(jù)計算機系統(tǒng)的特點來進行視覺信息的處理。但是，人類視覺系統(tǒng)是迄今為止，人們所知道的功能最強大和完善的視覺系統(tǒng)，對人類視覺處理機制的研究將給計算機視覺的研究提供啟發(fā)和指導。因此，用計算機信息處理的方法研究人類視覺的機理，建立人類視覺的計算理論，也是一個非常重要和信人感興趣的研究領域。

這一領域的深入研究是從20世紀50年代開始的，走的是三個方向——即復制人眼；復制視覺皮層；以及復制大腦剩余部分。

復制人眼——讓計算機“去看”

目前做出最多成效的領域就是在“復制人眼”這一領域。在過去的幾十年，科學家已經打造了傳感器和圖像處理器，這些與人類的眼睛相匹配，甚至某種程度上已經超越。通過強大、光學上更加完善的鏡頭，以及納米級別制造的半導體像素，現(xiàn)代攝像機的精確性和敏銳度達到了一個驚人的地步。它們同樣可以拍下每秒數(shù)千張的圖像，并十分精準地測量距離。

但是問題在于，雖然我們已經能夠實現(xiàn)輸出端極高的保真度，但是在很多方面來說，這些設備并不比19世紀的針孔攝像機更為出色：它們充其量記錄的只是相應方向上光子的分布，而即便是最優(yōu)秀的攝像頭傳感器也無法去“識別”一個球，遑論將它抓住。

換而言之，在沒有軟件的基礎上，硬件是相當受限制的。因此這一領域的軟件才是要投入解決的更加棘手的問題。不過現(xiàn)在攝像頭的先進技術，的確為這軟件提供了豐富、靈活的平臺就是了。

復制視覺皮層——讓計算機“去描述”

要知道，人的大腦從根本上就是通過意識來進行“看”的動作的。比起其他的任務，在大腦中相當?shù)牟糠侄际菍ｉT用來“看”的，而這一專長是由細胞本身來完成的——數(shù)十億的細胞通力合作，從嘈雜、不規(guī)則的視網膜信號中提取模式。

如果在特定角度的一條沿線上出現(xiàn)了差異，或是在某個方向上出現(xiàn)了快速運動，那么神經元組就會興奮起來。較高級的網絡會將這些模式歸納進元模式（meta-pattern）中：它是一個朝上運動的圓環(huán)。同時，另一個網絡也相應而成：這次是帶紅線的白色圓環(huán)。而還有一個模式則會在大小上增長。從這些粗糙但是補充性的描述中，開始生成具體的圖像。

使用人腦視覺區(qū)域相似的技術，定位物體的邊緣和其他特色，從而形成的“方向梯度直方圖”

由于這些網絡一度被認為是“深不可測的復雜”，因此在計算機視覺研究的早期，采用的是別的方式：即“自上而下的推理”模式——比如一本書看起來是“這樣”，那么就要注意與“這個”類似的模式。而一輛車看起來是“這樣”，動起來又是“這樣”。

在某些受控的情況下，確實能夠對少數(shù)幾個物體完成這一過程，但如果要描述身邊的每個物體，包括所有的角度、光照變化、運動和其他上百個要素，即便是咿呀學語的嬰兒級別的識別，也需要難以想象的龐大數(shù)據(jù)。

而如果不用“自上而下”，改用“自下而上”的辦法，即去模擬大腦中的過程，則看上去前景更加美好：計算機可以在多張圖中，對一張圖片進行一系列的轉換，從而找到物體的邊緣，發(fā)現(xiàn)圖片上的物體、角度和運動。就像人類的大腦一樣，通過給計算機觀看各種圖形，計算機會使用大量的計算和統(tǒng)計，試著把“看到的”形狀與之前訓練中識別的相匹配。

科學家正在研究的，是讓智能手機和其他的設備能夠理解、并迅速識別出處在攝像頭視場里的物體。如上圖，街景中的物體都被打上了用于描述物體的文本標簽，而完成這一過程的處理器要比傳統(tǒng)手機處理器快上120倍。

隨著近幾年并行計算領域的進步，相關的屏障逐漸被移除。目前出現(xiàn)了關于模仿類似大腦機能研究和應用的爆發(fā)性增長。模式識別的過程正在獲得數(shù)量級的加速，我們每天都在取得更多的進步。

復制大腦剩余部分——讓計算機“去理解”

當然，光是“識別”“描述”是不夠的。一臺系統(tǒng)能夠識別蘋果，包括在任何情況、任何角度、任何運動狀態(tài)，甚至是否被咬等等等等。但它仍然無法識別一個橘子。并且它甚至都不能告訴人們：啥是蘋果？是否可以吃？尺寸如何？或者具體的用途。

前面說過，沒有軟件，硬件的發(fā)揮非常受限。但現(xiàn)在的問題是，即便是有了優(yōu)秀的軟硬件，沒有出色的操作系統(tǒng)，也“然并卵”。

對于人們來說，大腦的剩余部分由這些組成，包括長短期記憶、其他感官的輸入、注意力和認知力、從世界中萬億級別的交互中收獲的十億計知識，這些知識將通過我們很難理解的方式，被寫入互聯(lián)的神經。而要復制它，比起我們遇到過的任何事情都要更加復雜。

計算機視覺技術的圖像處理方法

計算機視覺系統(tǒng)中，視覺信息的處理技術主要依賴于圖像處理方法，它包括圖像增強、數(shù)據(jù)編碼和傳輸、平滑、邊緣銳化、分割、特征抽取、圖像識別與理解等內容。經過這些處理后，輸出圖像的質量得到相當程度的改善，既改善了圖像的視覺效果，又便于計算機對圖像進行分析、處理和識別。

圖像的增強

圖像的增強用于調整圖像的對比度，突出圖像中的重要細節(jié)，改善視覺質量。通常采用灰度直方圖修改技術進行圖像增強。圖像的灰度直方圖是表示一幅圖像灰度分布情況的統(tǒng)計特性圖表，與對比度緊密相連。通過灰度直方圖的形狀，能判斷該圖像的清晰度和黑白對比度。如果獲得一幅圖像的直方圖效果不理想，可以通過直方圖均衡化處理技術作適當修改，即把一幅已知灰度概率分布圖像中的像素灰度作某種映射變換，使它變成一幅具有均勻灰度概率分布的新圖像，實現(xiàn)使圖像清晰的目的。

圖像的平滑

圖像的平滑處理技術即圖像的去噪聲處理，主要是為了去除實際成像過程中因成像設備和環(huán)境所造成的圖像失真，提取有用信息。眾所周知，實際獲得的陶像在形成、傳輸、接收和處理的過程中，不可避免地存在著外部干擾和內部干擾，如光電轉換過程中敏感元件靈敏度的不均勻性、數(shù)字化過程的量化噪聲、傳輸過程中的誤差以及人為因素等．均會使圖像變質。因此，去除噪聲，恢復原始圖像是圖像處理中的一個重要內容。

圖像的數(shù)據(jù)編碼和傳輸

數(shù)字圖像的數(shù)據(jù)量是相當龐大的，一幅512。512個像素的數(shù)字圖像的數(shù)據(jù)量為256 K字節(jié)，若假設每秒傳輸25幀圖像，則傳輸?shù)男诺浪俾蕿?2．4M比特／秒。高信道速率意味瞢高投資，也意味著普及難度的增加，因此。傳輸過程中，對圖像數(shù)據(jù)進行壓縮顯得非常重要。數(shù)據(jù)的壓縮主要通過圖像數(shù)據(jù)的編霄和變換壓縮完成。圖像數(shù)據(jù)編碼一般采用預測編碼．即將圖像數(shù)據(jù)的空間變化規(guī)律和序列變化規(guī)律用一個預測公式表示．如果知道了，某一像素的前面各相鄰像素值之后．可以用公式預測該像素值。該方法可將一幅圖像的數(shù)據(jù)壓縮到為數(shù)不多的幾十個特傳輸，在接收端再變換回去即可。

邊緣銳化

圖像邊緣銳化處理主要是加強圖像中的輪廓邊緣和細節(jié)，形成完整的物體邊界．達到將物體從圖像中分離出來或將表示同一物體表面的區(qū)域檢測出來的目的。它是早期視覺理論和算法中的基本問題．也是中期和后期視覺成敗的重要因素之一。

圖像的分割

圖像分割是將圖像分成若干部分，每一部分對應于某一物體表面．在進行分割時．每一部分的灰度或紋理符合某一種均勻測度度量。某本質是將像素進行分類。分類的依據(jù)是像素的灰度值、顏色、頻譜特性、空間特性或紋理特性等。圖像分割是圖像處理技術的基本方法之一，應用于諸如染色體分類、景物理解系統(tǒng)、機器視覺等方面。圖像分割主要有兩種方法：一是鑒于度量宅問的灰度閭值分割法。它是根據(jù)圖像灰度直方圖來決定圖像空間域像素聚類。二是空間域區(qū)域增長分割方法。它是對在某種意義上(如灰度級、組織、梯度等)具有相似性質的像素連通集構成分割區(qū)域，該方法有很好的分割效果，但缺點是運算復雜．處理速度慢。

數(shù)據(jù)驅動的分割

常見的數(shù)據(jù)驅動分割包括基于邊緣檢測的分割、基于區(qū)域的分割、邊緣與區(qū)域相結合的分割等。對于基于邊緣檢測的分割,其基本思想是先檢測圖像中的邊緣點,再按一定策略連接成輪廓,從而構成分割區(qū)域。難點在于邊緣檢測時抗噪聲性能和檢測精度的矛盾,若提高檢測精度,則噪聲產生的偽邊緣會導致不合理的輪廓;若提高抗噪聲性能,則會產生輪廓漏檢和位置偏差。為此,人們提出各種多尺度邊緣檢測方法,根據(jù)實際問題設計多尺度邊緣信息的結合方案,以較好地兼顧抗噪聲性能和檢測精度。

基于區(qū)域的分割的基本思想是根據(jù)圖像數(shù)據(jù)的特征將圖像空間劃分成不同的區(qū)域。常用的特征包括:直接來自原始圖像的灰度或彩色特征;由原始灰度或彩色值變換得到的特征。方法有閾值法、區(qū)域生長法、聚類法、松弛法等。

邊緣檢測能夠獲得灰度或彩色值的局部變化強度,區(qū)域分割能夠檢測特征的相似性與均勻性。將兩者結合起來,通過邊緣點的限制,避免區(qū)域的過分割;同時通過區(qū)域分割補充漏檢的邊緣,使輪廓更加完整。例如,先進行邊緣檢測與連接,再比較相鄰區(qū)域的特征(灰度均值、方差),若相近則合并;對原始圖像分別進行邊緣檢測和區(qū)域生長,獲得邊緣圖和區(qū)域片段圖后,再按一定的準則融合,得到最終分割結果。

模型驅動的分割

常見的模型驅動分割包括基于動態(tài)輪廓(Snakes)模型、組合優(yōu)化模型、目標幾何與統(tǒng)計模型。Snakes模型用于描述分割目標的動態(tài)輪廓。由于其能量函數(shù)采用積分運算,具有較好的抗噪聲性,對目標的局部模糊也不敏感,因而適用性很廣。但這種分割方法容易收斂到局部最優(yōu),因此要求初始輪廓應盡可能靠近真實輪廓。

近年來對通用分割方法的研究傾向于將分割看作一個組合優(yōu)化問題,并采用一系列優(yōu)化策略完成圖像分割任務。主要思路是在分割定義的約束條件之外,根據(jù)具體任務再定義一個優(yōu)化目標函數(shù),所求分割的解就是該目標函數(shù)在約束條件下的全局最優(yōu)解。以組合優(yōu)化的觀點處理分割問題,主要是利用一個目標函數(shù)綜合表示分割的各種要求和約束,將分割變?yōu)槟繕撕瘮?shù)的優(yōu)化求解。由于目標函數(shù)通常是一個多變量函數(shù),可采用隨機優(yōu)化方法。

基于目標幾何與統(tǒng)計模型的分割是將目標分割與識別集成在一起的方法,常稱作目標檢測或提取。基本思想是將有關目標的幾何與統(tǒng)計知識表示成模型,將分割與識別變?yōu)槠ヅ浠虮O(jiān)督分類。常用的模型有模板、特征矢量模型、基于連接的模型等。這種分割方法能夠同時完成部分或全部識別任務,具有較高的效率。然而由于成像條件變化,實際圖像中的目標往往與模型有一定的區(qū)別,需要面對誤檢與漏檢的矛盾,匹配時的搜索步驟也頗為費時。

圖像的識別

圖像的識別過程實際上可以看作是一個標記過程，即利用識別算法來辨別景物中已分割好的各個物體．給這螳物體賦予特定的標記，它是汁算機視覺系統(tǒng)必須完成的一個任務。按照網像識別從易到難．町分為i類問題?第一類識別問題中．圖像中的像素表達了某一物體的某種特定信息。第二類問題中，待識別物是有形的整體。二維圖像信息已經足夠識別該物體．如文字識別、某些具有穩(wěn)定可視表面的三維體識別等。第三類問題是由輸入的二維圖、要素圖、2x5維圖等．得出被測物體的三維表示。這里存著如何將隱含的三維信息提取出來的問題．當是今研究的熱點。

目前用于圖像識別的方法主要分為決策理論和結構方法。決策理論方法的基礎是決策函數(shù)，利用它對模式向量進行分類識別．是以定時描述(如統(tǒng)計紋理)為基礎的：結構方法的核心是將物體分解成』'模式或模式基元，而不同的物體結構有不同的基元串(或稱字符串)，通過對未知物體利用給定的模式基元求出編碼邊界，得到字符串，冉根據(jù)字符串判斷它的屬類。這是一種依賴于符號描述被測物體之間關系的方法。

計算機視覺的應用領域

計算機視覺的應用領域主要包括對照片、視頻資料如航空照片、衛(wèi)星照片、視頻片段等的解釋、精確制導、移動機器人視覺導航、醫(yī)學輔助診斷、工業(yè)機器人的手眼系統(tǒng)、地圖繪制、物體三維形狀分析與識別及智能人機接口等。

早期進行數(shù)字圖像處理的目的之一就是要通過采用數(shù)字技術提高照片的質量,輔助進行航空照片和衛(wèi)星照片的讀取判別與分類。由于需要判讀的照片數(shù)量很多,于是希望有自動的視覺系統(tǒng)進行判讀解釋,在這樣的背景下,產生了許多航空照片和衛(wèi)星照片判讀系統(tǒng)與方法。自動判讀的進一步應用就是直接確定目標的性質,進行實時的自動分類,并與制導系統(tǒng)相結合。目前常用的制導方式包括激光制導、電視制導和圖像制導,在導彈系統(tǒng)中常常將慣性制導與圖像制導結合,利用圖像進行精確的末制導。

工業(yè)機器人的手眼系統(tǒng)是計算機視覺應用最為成功的領域之一,由于工業(yè)現(xiàn)場的諸多因素,如光照條件、成像方向均是可控的,因此使得問題大為簡化,有利于構成實際的系統(tǒng)。與工業(yè)機器人不同,對于移動機器人而言,由于它具有行為能力,于是就必須解決行為規(guī)劃問題,即是對環(huán)境的了解。隨著移動式機器人的發(fā)展,越來越多地要求提供視覺能力,包括道路跟蹤、回避障礙、特定目標識別等。目前移動機器人視覺系統(tǒng)研究仍處于實驗階段,大多采用遙控和遠視方法。

在醫(yī)學上采用的圖像處理技術大致包括壓縮、存儲、傳輸和自動/輔助分類判讀,此外還可用于醫(yī)生的輔助訓練手段。與計算機視覺相關的工作包括分類、判讀和快速三維結構的重建等方面。長期以來,地圖繪制是一件耗費人力、物力和時間的工作。以往的做法是人工測量,現(xiàn)在更多的是利用航測加上立體視覺中恢復三維形狀的方法繪制地圖,大大提高了地圖繪制的效率。同時,通用物體三維形狀分析與識別一直是計算機視覺的重要研究目標,并在景物的特征提取、表示、知識的存儲、檢索以及匹配識別等方面都取得了一定的進展,構成了一些用于三維景物分析的系統(tǒng)。

近年來,基于生物特征(biometrics)的鑒別技術得到了廣泛重視,主要集中在對人臉、虹膜、指紋、聲音等特征上,這其中大多都與視覺信息有關。與生物特征識別密切相關的另一個重要應用是用于構成智能人機接口?，F(xiàn)在計算機與人的交流還是機械式的,計算機無法識別用戶的真實身份,除鍵盤、鼠標外,其他輸入手段還不成熟。利用計算機視覺技術可以使計算機檢測到用戶是否存在、鑒別用戶身份、識別用戶的體勢(如點頭、搖頭)。此外,這種人機交互方式還可推廣到一切需要人機交互的場合,如入口安全控制、過境人員的驗放等。

責任編輯：lq