ISP(Image Signal Processing, 圖像信號處理器)是連接圖像傳感器與終端呈現(xiàn)的關鍵樞紐。車載攝像頭的傳統(tǒng) ISP 通過一系列數(shù)字圖像處理算法(運行在PipeLine)，對圖像傳感器輸出的原始信號進行優(yōu)化，處理圖像噪聲、亮度、色彩等要素，實現(xiàn)攝像頭畫面的校正、色彩還原、圖像增強、3A統(tǒng)計等基礎處理。但面對復雜場景下更完美畫質的追求，傳統(tǒng) ISP的技術瓶頸逐漸顯現(xiàn) — 例如傳統(tǒng)ISP無法抑制Sensor或者ISP高增益模式下的噪點，因此一般其增益會限制在36dB，最大不超過42dB，從而會影響攝像頭的可見性，在低照場景下能見度低，難以在極暗光環(huán)境下實現(xiàn)清晰成像。

為了解決行業(yè)痛點，眾多廠家開始探索AI在ISP的應用。例如安防行業(yè)先期推出的AI-ISP能夠在NPU上進行深度學習處理，NPU核上能夠完成降噪、超分辨率、去霧等深度學習算法，深度學習處理后接回ISP-PipeLine完成后續(xù)處理。使用這類AI-ISP后，能夠利用其超強的降噪能力，增加增益使用范圍，從而獲得更好的可見性，低照下也能取得極好的能見度，并且可以大幅增加產品的信噪比，對于非絕對低照環(huán)境也可以提升畫質：

但上述AI-ISP由于算法處理鏈路較長(涉及NPU-DDR-ISP)增加了延時，為了降低延時更適應車載應用，?？刀ㄖ频能囕dAI-ISP創(chuàng)新地把AI模塊串到ISP-Pipeline中，其深度學習算法直接在ISP-Pipeline中運行，大幅節(jié)省了處理時間，可做到時延小于5ms(約1/10FPS)。

?？刀ㄖ频能囕dAI-ISP可以應用到車載多類攝像頭產品當中，比如環(huán)視攝像頭、OMC攝像頭、流媒體攝像頭等，使得用戶獲得更好的觀感體驗。

AI-ISP在車載的應用場景

3M環(huán)視攝像頭(低照場景)

傳統(tǒng)ISP無法抑制Sensor高增益模式下的噪點;車載AI-ISP在顯著提升感光度的同時精準抑制噪聲，達成亮度與畫質的雙重躍升。

全彩OMC攝像頭(低照場景)

傳統(tǒng)OMC Sensor選用RGB-IR方案，由于低照度效果受限需要開啟紅外補光，在紅外模式下，使用IR來感光，不僅失去了色彩信息，且感光分辨率也只有全畫幅的1/4;全彩OMC使用AI-ISP取消了紅外模式，既保證了低照度效果，又保留了色彩信息，并且感光分辨率能夠保留全畫幅提升畫面清晰度。