3D視覺(jué)系統(tǒng)的“最強(qiáng)大腦”

圖像信號(hào)處理器（Image Signal Processor，以下簡(jiǎn)稱(chēng)ISP），是一種專(zhuān)用數(shù)字集成電路，對(duì)從CMOS圖像傳感器中輸出的圖像數(shù)據(jù)進(jìn)行處理，得到經(jīng)過(guò)復(fù)原、增強(qiáng)后的數(shù)字圖像，使其更加接近現(xiàn)實(shí)中人眼所看到的圖像。

ISP是一款“軟硬皆施”的芯片，需要配合專(zhuān)業(yè)算法處理傳感器數(shù)據(jù)，如線性糾正、噪點(diǎn)去除、壞點(diǎn)修補(bǔ)、顏色插值、白平衡校正、曝光校正等。通常，圖像數(shù)據(jù)從前端感知后，均須經(jīng)過(guò)ASP（Analog Signal Processing）、ADC（Analog-Digital Converter）、前期影像處理（Pre-ISP）與后端影像處理（Post-ISP）四個(gè)階段后，“完美”的圖像才能最終呈現(xiàn)于終端設(shè)備上。

成像框圖

對(duì)于3D視覺(jué)系統(tǒng)來(lái)講，如果說(shuō)圖像傳感器好比“眼睛”，那么ISP則是它的“大腦”。ISP主要作用如下：

1．拜耳轉(zhuǎn)換

圖像傳感器中的光電二極管本質(zhì)上是“色盲”，它們只能記錄不同的灰度信息。之所以能呈現(xiàn)出彩色圖片，那是因?yàn)椴煌募t、綠、藍(lán)三種顏色濾鏡——拜耳濾鏡將灰度信息轉(zhuǎn)換成彩色信息。由于每個(gè)光電二極管只記錄圖像的一個(gè)像素的顏色信息，像素點(diǎn)只可能有三種顏色：紅、綠、藍(lán)，或者什么也沒(méi)有（黑）。不同顏色的濾光點(diǎn)的排列是有規(guī)律的：每個(gè)綠點(diǎn)的四周，分布著2個(gè)紅點(diǎn)、2個(gè)藍(lán)點(diǎn)、4個(gè)綠點(diǎn)。這意味著，整體上，綠點(diǎn)的數(shù)量是其他兩種顏色點(diǎn)的兩倍。這是因?yàn)檠芯匡@示人眼對(duì)綠色最敏感，所以濾光層的綠點(diǎn)最多。然而，拜耳轉(zhuǎn)換過(guò)程相當(dāng)復(fù)雜，涉及到許多不同的操作。成像質(zhì)量在很大程度上取決于對(duì)圖像傳感器輸出原始數(shù)據(jù)處理的算法優(yōu)劣。

拜耳陣列

2．去馬賽克

如上所述，圖像處理器對(duì)顏色和亮度的賦予像素?cái)?shù)據(jù)，比較它們與相鄰像素的數(shù)據(jù)，然后采用插值算法計(jì)算出這個(gè)像素的顏色和亮度值。ISP對(duì)整個(gè)圖片評(píng)估，猜測(cè)對(duì)比度的正確分布。通過(guò)調(diào)整伽瑪值（提高或降低圖像的中間色調(diào)的對(duì)比度范圍）進(jìn)行色彩微調(diào)，如人體的皮膚和藍(lán)色的天空，使整個(gè)畫(huà)面與現(xiàn)實(shí)更為接近。

3．降噪

噪聲在任何電子線路普遍存在。在數(shù)碼攝影中，一幅流暢的彩色畫(huà)面出現(xiàn)的明顯突兀的色彩隨機(jī)斑點(diǎn)被視為噪聲。噪聲隨著溫度和曝光時(shí)間的增加而增多。當(dāng)選擇較高的ISO設(shè)置時(shí)，圖像傳感器中的電子信號(hào)被放大，同時(shí)增加噪聲電平，從而導(dǎo)致較低的信噪比。ISP從圖像信息中分離噪聲并去除它。但面臨的相當(dāng)大的挑戰(zhàn)是圖像中正常區(qū)域可能會(huì)被誤認(rèn)為是噪聲，導(dǎo)致畫(huà)面受損。

4．圖像銳化

當(dāng)每個(gè)像素的顏色和亮度值被插值時(shí)，圖像平滑會(huì)使圖像的邊界、輪廓變得模糊。為了增強(qiáng)圖像的灰度跳變，保持清晰度和細(xì)節(jié)完整性，圖像處理器必須銳化邊緣和輪廓。因此，它必須正確檢測(cè)邊緣，并順利地復(fù)制它們，而不過(guò)分銳化。

難以跨越的技術(shù)鴻溝

ISP技術(shù)壁壘高，要求專(zhuān)業(yè)算法層面的深層配合，兩者相輔相成，互為補(bǔ)充。ISP雖然可以對(duì)樣張的質(zhì)量進(jìn)行后期處理，但不同的芯片或者使用同一款芯片的不同產(chǎn)品在拍攝性能方面也存在明顯的差異，這是因?yàn)镮SP不僅僅有處理能力，還具有可編程性，經(jīng)過(guò)不同方式調(diào)試后的新算法會(huì)和集成原廠算法拉開(kāi)差距。

市面上絕大多數(shù)手機(jī)都集成了ISP芯片，部分產(chǎn)品則采用了獨(dú)立的ISP芯片，除了富士通為不少知名機(jī)型提供了獨(dú)立ISP之外，像蘋(píng)果這樣的廠商都是自己定制專(zhuān)屬于iPhone的ISP。高通驍龍820集成了Spectra ISP、聯(lián)發(fā)科的Helio P25內(nèi)置12位雙ISP支持，都融合了自家最前沿的ISP。但研發(fā)難度相當(dāng)大，財(cái)力消耗大，只有智能手機(jī)巨頭才有能力建立自己的ISP和專(zhuān)業(yè)的算法團(tuán)隊(duì)。而國(guó)內(nèi)的華為也投入9800萬(wàn)美金組建頂尖的專(zhuān)業(yè)團(tuán)隊(duì)，自主開(kāi)發(fā)并由海思半導(dǎo)體制造Hi3516首次搭載在華為Mate 8，開(kāi)啟宣告國(guó)產(chǎn)手機(jī)突出重圍。

高通的Spectra ISP擁有雙ISP

iPhone專(zhuān)屬定制的ISP

就芯片集成方式而言，將圖像傳感器和ISP通過(guò)封裝集成于一顆模組可以有效降低成本，而業(yè)界領(lǐng)頭羊索尼已經(jīng)將圖像傳感器和ISP直接集成于一顆芯片。2017年，索尼推出的CMOS圖像傳感器IMX400采用三層堆疊式結(jié)構(gòu)：頂層為CIS，中間層為DRAM，底層則是ISP。全新的三層芯片能夠在1/120秒內(nèi)讀取1930萬(wàn)像素圖片，是IMX318芯片的4倍。這減少了讀取每個(gè)像素行的時(shí)間間隔。這對(duì)于缺乏機(jī)械快門(mén)來(lái)控制曝光的智能手機(jī)尤其重要。

索尼CMOS圖像傳感器芯片IMX400的三層堆疊結(jié)構(gòu)

目前全球范圍內(nèi)主要被歐洲和日本巨頭所壟斷，如意法半導(dǎo)體、德州儀器、英飛凌、恩智浦、安霸、索尼、東芝、富士通等。而在國(guó)內(nèi)，北京君正、全志科技和瑞芯微借助前幾年平板電腦的爆發(fā)期也獲得快速成長(zhǎng)，此外還有一些新興的創(chuàng)業(yè)型公司，如興芯微。

應(yīng)用：始于工業(yè)，盛于消費(fèi)電子，走向人工智能

ISP的應(yīng)用領(lǐng)域涉及消費(fèi)電子、工業(yè)、安防、汽車(chē)、無(wú)人機(jī)、機(jī)器人等。其中，智能手機(jī)是目前ISP的主要應(yīng)用領(lǐng)域。近幾年智能手機(jī)廠商都在打攝像頭的牌，通過(guò)不斷改善拍照質(zhì)量來(lái)吸引消費(fèi)者的眼球。但是，沒(méi)有ISP與圖像傳感器、鏡頭等硬件的高度協(xié)同，不論是前置還是后置的雙攝像頭都僅僅是攝像頭性能參數(shù)的堆砌和噱頭。

當(dāng)前，人工智能已經(jīng)延伸至ISP領(lǐng)域。這點(diǎn)蘋(píng)果應(yīng)當(dāng)是布局已久，陸續(xù)收購(gòu)了四家機(jī)器學(xué)習(xí)公司，而機(jī)器學(xué)習(xí)正是人工智能的核心所在。iPhone 7 使用的新款I(lǐng)SP處理能力比之前版本了提高一倍，它可以通過(guò)特定的算法獲取拍攝對(duì)象的更多信息，并據(jù)此對(duì)成像進(jìn)行深度處理。在人工智能的驅(qū)動(dòng)下，通過(guò)機(jī)器學(xué)習(xí)技術(shù)檢測(cè)到目標(biāo)、設(shè)置曝光、焦距和白平衡。蘋(píng)果營(yíng)銷(xiāo)總監(jiān)Phil Schiller表示，這種通過(guò)人工智能驅(qū)動(dòng)的ISP能夠在25毫秒中進(jìn)行最多1000億次的操作，比原先快了60%。谷歌和微軟也在不斷渲染自己在人工智能上的技術(shù)儲(chǔ)備，三大IT巨頭相繼發(fā)力，可以預(yù)見(jiàn)，人工智能扮演的角色將越來(lái)越重要，相信更加智能的ISP已經(jīng)在路上。
? ? ? ?責(zé)任編輯:pj