（文章來(lái)源：獵云網(wǎng)）

4月8日，阿里達(dá)摩院宣布推出自研ISP圖像處理器，并且在夜間等具有挑戰(zhàn)性的環(huán)境下圖像識(shí)別精準(zhǔn)率比業(yè)界主流產(chǎn)品有10%以上的提升。ISP處理器是攝像頭的關(guān)鍵組件，阿里達(dá)摩院進(jìn)入這個(gè)領(lǐng)域的邏輯是什么？

ISP是圖像信號(hào)處理器（Image Signal Processor）的簡(jiǎn)稱，目前已經(jīng)被廣泛應(yīng)用于我們每個(gè)人的智能手機(jī)當(dāng)中。大家都知道現(xiàn)在有海量的嵌入式設(shè)備都帶攝像頭，近至我們的智能手機(jī)、很多的大眾消費(fèi)級(jí)的顯示器，當(dāng)然也包含正在研發(fā)當(dāng)中的智能駕駛系統(tǒng)，以及各種公共場(chǎng)所上的監(jiān)控設(shè)備，遠(yuǎn)至在近地軌道上運(yùn)行的眾多微型衛(wèi)星，可以說(shuō)圖像信號(hào)的獲取和處理是一個(gè)極為廣泛存在的需求。圖像信號(hào)處理器能夠?qū)z像頭拍攝到的畫(huà)面做不同程度的分析，并對(duì)畫(huà)面做不同程序的增強(qiáng)和改善。

以現(xiàn)在的智能手機(jī)為例，大家?guī)缀趺刻於紩?huì)使用自己的智能手機(jī)來(lái)拍照，而現(xiàn)在的各家智能手機(jī)廠商，都并不直接研發(fā)攝像頭模組，都是采購(gòu)歐菲光，索尼等第三方廠商的攝像頭模組，有時(shí)候不同的智能手機(jī)用了同一個(gè)廠家、同一個(gè)型號(hào)的攝像頭，但是照片呈現(xiàn)出來(lái)的質(zhì)量仍然有非常明顯的不同，這很大程度上就是因?yàn)楦骷覐S商使用的ISP的好壞導(dǎo)致的。

對(duì)于大家比較熟悉的智能手機(jī)日常拍照的場(chǎng)景，手機(jī)芯片內(nèi)置的ISP會(huì)進(jìn)行自動(dòng)人臉對(duì)焦，自動(dòng)色調(diào)映射等一系列功能，這其中有很多講究，都會(huì)直接影響到最終照片質(zhì)量，例如ISP的自動(dòng)圖像銳化，如果銳化太多，則照片會(huì)有比較明顯的“扎眼”的感覺(jué)，如果銳化太少，則照片整體會(huì)有一種朦朧感，給人的感受是這個(gè)手機(jī)的拍照系統(tǒng)捕捉細(xì)節(jié)的能力不足。而眾多消費(fèi)者們每天拍照的場(chǎng)景條件千奇百怪五花八門(mén)，沒(méi)有一種自動(dòng)銳化技術(shù)是放之四海皆準(zhǔn)的，ISP必須能夠自動(dòng)地檢測(cè)識(shí)別場(chǎng)景中的一些特征來(lái)決定銳化進(jìn)行到何種程度。這類(lèi)ISP研發(fā)中的難點(diǎn)反應(yīng)到產(chǎn)品上，就是大家經(jīng)常會(huì)爭(zhēng)論的各家智能手機(jī)拍照系統(tǒng)的“出片風(fēng)格”、“出片質(zhì)量”了。

在當(dāng)前流行的在自動(dòng)駕駛系統(tǒng)構(gòu)架設(shè)計(jì)中，總的來(lái)說(shuō)一般都會(huì)有一個(gè)很強(qiáng)的人工智能系統(tǒng)，去判斷拍照系統(tǒng)傳回的當(dāng)前場(chǎng)景信息，例如當(dāng)前場(chǎng)景存在哪些車(chē)輛，行人，障礙物，估計(jì)速度，估計(jì)距離等等。讓這個(gè)人工智能系統(tǒng)要想實(shí)現(xiàn)高度準(zhǔn)確判斷的前提，是拍照系統(tǒng)傳回的當(dāng)前場(chǎng)景信息盡可能準(zhǔn)確無(wú)誤。

可以說(shuō)相比手機(jī)這樣的大眾消費(fèi)品，自動(dòng)駕駛更加需要ISP。因?yàn)閷?duì)于手機(jī)來(lái)說(shuō)，ISP只是決定照片質(zhì)量的好壞，無(wú)非是一個(gè)觀感問(wèn)題，而在高速運(yùn)動(dòng)的車(chē)輛上，如果ISP不能準(zhǔn)確地將場(chǎng)景特征暴露給后繼系統(tǒng)部件，導(dǎo)致的結(jié)果就可能會(huì)是災(zāi)難性的。

例如，由于車(chē)輛會(huì)處在高速運(yùn)動(dòng)當(dāng)中，所以攝像頭拍攝到的照片往往會(huì)帶有一定的“拖尾”或者“重影”，這對(duì)于圖像處理系統(tǒng)中的后繼算法去識(shí)別物體特征是不利的，因此ISP的重要職責(zé)之一就是減少這種“拖尾”和“重影”。這在ISP當(dāng)中是一個(gè)非常重要的子領(lǐng)域叫做“運(yùn)動(dòng)估計(jì)”。

再例如，如果是在夜間行車(chē)，那么由于當(dāng)前攝像頭傳感器技術(shù)的限制，夜間的成像往往會(huì)暴露比日間成像更多的問(wèn)題，攝像頭傳感器為了捕捉更多的場(chǎng)景細(xì)節(jié)，就不得不延長(zhǎng)曝光時(shí)間，提高進(jìn)光量，但這樣一來(lái)又會(huì)帶來(lái)明顯的噪點(diǎn)。例如在這組對(duì)比圖片中，左圖經(jīng)過(guò)處理后明顯暴露出了更多的場(chǎng)景信息，樹(shù)木，草地的細(xì)節(jié)和邊緣都更加清晰銳利，但與此同時(shí)在背景的夜空中，在遠(yuǎn)處的建筑上，都存在著更多的噪點(diǎn)。

再考慮到自動(dòng)駕駛系統(tǒng)中應(yīng)用的電子元器件還有經(jīng)過(guò)車(chē)規(guī)級(jí)驗(yàn)證，難度又更上一層樓。據(jù)筆者所知，一些車(chē)規(guī)級(jí)電子元器件需要耐受125度的工作溫度，而一般大眾消費(fèi)級(jí)市場(chǎng)上的芯片，例如Intel的CPU，只要求100度，接近這個(gè)溫度就會(huì)觸發(fā)過(guò)熱保護(hù)，電腦會(huì)自動(dòng)掉電重啟。與此同時(shí)車(chē)規(guī)級(jí)芯片對(duì)可靠性也有額外要求，因此可以毫不夸張地說(shuō)，ISP在整個(gè)自動(dòng)駕駛系統(tǒng)中的地位是至關(guān)重要的，ISP的研發(fā)也是非常具有技術(shù)含量和挑戰(zhàn)性的一個(gè)領(lǐng)域。

經(jīng)過(guò)20年的發(fā)展，阿里從一家電商公司發(fā)展成為一家科技巨頭公司，并且今天已經(jīng)開(kāi)始扮演全社會(huì)數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施。今天的阿里不僅在業(yè)務(wù)范圍上進(jìn)行橫向擴(kuò)張，同時(shí)在業(yè)務(wù)深度上也在進(jìn)行縱向擴(kuò)張。所以我們看到過(guò)去幾年里，阿里進(jìn)入了芯片等基礎(chǔ)研研究領(lǐng)域，成立了達(dá)摩院，設(shè)立了平頭哥半導(dǎo)體公司，并且在量子計(jì)算等很多前沿的領(lǐng)域展開(kāi)研究。

自動(dòng)駕駛毫無(wú)疑問(wèn)是未來(lái)十年中可能帶來(lái)顛覆性變化的賽道，阿里沒(méi)有理由缺席，更不要說(shuō)阿里的很多業(yè)務(wù)場(chǎng)景也需要自動(dòng)化升級(jí)。而頂級(jí)的自動(dòng)駕駛系統(tǒng)，必然是軟件-硬件的配合（人工智能算法 + 傳感器），同樣也有硬件-硬件間的配合（多傳感器融合）。

理想的自動(dòng)駕駛系統(tǒng)需要在復(fù)雜的道路光線環(huán)境/惡劣天氣環(huán)境下仍然可以得到滿足深度學(xué)習(xí)算法所需要的圖像數(shù)據(jù)，這需要算法設(shè)計(jì)和硬件設(shè)計(jì)之間的相互配合，與此同時(shí)，預(yù)知圖像傳感器的曝光時(shí)間極其重要，可以保證雷達(dá)掃描到某一位置時(shí)刻同時(shí)觸發(fā)圖像傳感器曝光，這需要硬件與硬件之間的相互配合。因此達(dá)摩院選擇了自研ISP去追求這一極致。

從目前接觸到的評(píng)測(cè)結(jié)果來(lái)看，達(dá)摩院的自研ISP已經(jīng)毫無(wú)疑問(wèn)地躋身業(yè)界一流水平，經(jīng)過(guò)自研ISP與深度學(xué)習(xí)算法的互相配合，夜間場(chǎng)景的識(shí)別準(zhǔn)確率提升了十個(gè)百分點(diǎn)。不要小瞧這十個(gè)百分點(diǎn)的提升，這背后有深層算法的創(chuàng)新，對(duì)于提升自動(dòng)駕駛設(shè)備的感知能力有著巨大的提升作用。
（責(zé)任編輯：fqj）