從電子門(mén)鈴、網(wǎng)絡(luò)攝像頭，到手機(jī)、電腦、汽車(chē)，圖像傳感器已遍布我們生活中的各個(gè)角落，高清晰度、精細(xì)化的圖像已經(jīng)成為了消費(fèi)者的基本期望。

在這些邊緣設(shè)備中，攝像頭收集到的圖像需要先由圖像信號(hào)處理器 (ISP)實(shí)時(shí)處理后再呈現(xiàn)給用戶(hù)。然而，如何在高效處理海量數(shù)據(jù)的同時(shí)又確保圖像質(zhì)量，對(duì)芯片制造商來(lái)說(shuō)既是一個(gè)挑戰(zhàn)，也是一個(gè)機(jī)會(huì)。

一般來(lái)說(shuō)，ISP 通常作為硬件組件來(lái)實(shí)現(xiàn)，但最近，以色列的一家初創(chuàng)公司Visionary.ai開(kāi)發(fā)了一種基于AI技術(shù)的軟件ISP，據(jù)稱(chēng)可以有效地解決圖像中的噪聲和靈活性挑戰(zhàn)。

其實(shí)，軟件定義圖像質(zhì)量這一理念早在Google Pixel中就開(kāi)始盛行，從Pixel 2到Pixel 6，谷歌保留了相同的相機(jī)和鏡頭硬件，但將改進(jìn)重點(diǎn)放在圖像處理軟件上。那軟件ISP會(huì)成為圖像處理的新常態(tài)嗎？

了解圖像信號(hào)處理器（ISP）

首先讓我們來(lái)簡(jiǎn)單了解下圖像信號(hào)處理器的工作原理。

圖像傳感器由數(shù)百萬(wàn)像素組成的半導(dǎo)體矩形構(gòu)成。這些像素小至1微米（1 x 10^-6m），并配備微小的彩色濾光片。在常見(jiàn)的“拜耳”濾光片陣列中，這些濾光片的顏色為紅、綠或藍(lán)。當(dāng)光子落在半導(dǎo)體表面上時(shí)，其中一部分將與硅原子發(fā)生量子相互作用，產(chǎn)生電子空穴對(duì)，并因此產(chǎn)生雖然小但可測(cè)量的電荷，一般而言，電荷量與落在像素上的光強(qiáng)度成比例。

圖像信號(hào)處理器（ISP）從傳感器中獲取紅、綠、藍(lán)三色的原始數(shù)據(jù)，并對(duì)其進(jìn)行如消除馬賽克效應(yīng)、調(diào)整顏色、消除鏡頭失真等多項(xiàng)校正處理，并進(jìn)行有效的數(shù)據(jù)壓縮。原始傳感器數(shù)據(jù)可能具有 12 到 24 位范圍內(nèi)的位深度，而輸出通常是 8 位 RGB 信號(hào)。

目前，主流的ISP由幾家供應(yīng)商提供的IP模塊組成，通過(guò)高度并行的計(jì)算方式，將算法以硬編碼的方式加入到硬件中，因此成品的靈活性有限。

圖像處理面臨兩大挑戰(zhàn)：噪聲和靈活性

圖像傳感器和ISP中的一個(gè)特定問(wèn)題是噪聲，在許多情況下，這是系統(tǒng)設(shè)計(jì)的限制因素。

噪聲的根本原因在于圖像傳感器本身，當(dāng)幾乎沒(méi)有光子被捕獲的低光照條件下此問(wèn)題最為嚴(yán)重。當(dāng)落在傳感器上的光子減少，其與硅原子的相互作用也隨之變少，當(dāng)兩者不一致時(shí)，就會(huì)產(chǎn)生噪聲。為此，可以添加硅本身產(chǎn)生的熱噪聲——由此隨機(jī)產(chǎn)生電子空穴對(duì)，并可能被誤認(rèn)為是光子。噪聲來(lái)自對(duì)極低電荷水平進(jìn)行測(cè)量和數(shù)字化的過(guò)程。很明顯，噪聲會(huì)通過(guò)多種方式蔓延到系統(tǒng)中。

大家都不喜歡嘈雜的圖片，因?yàn)檫@扭曲了大腦對(duì)圖像的理解能力。同樣，在機(jī)器視覺(jué)系統(tǒng)中，噪聲會(huì)阻礙性能，使算法更難以可靠地檢測(cè)物體。因此，對(duì)于人類(lèi)和機(jī)器視覺(jué)，如果存在噪聲，它將限制設(shè)備在弱光下運(yùn)行的能力。此外，它還降低了系統(tǒng)處理高動(dòng)態(tài)范圍圖片的能力（同一圖像中的極度明亮和黑暗）。

當(dāng)然，在傳感器設(shè)計(jì)中有一些解決噪聲的方法，主要基于捕獲更多的光子來(lái)增加相對(duì)于噪聲的信號(hào)。例如，可以增大像素，但這要么需要更大、更昂貴的傳感器，要么需要降低圖像分辨率。當(dāng)硅的表面積增加時(shí)，透鏡的尺寸也會(huì)改變，因此我們最終會(huì)得到一種不太堅(jiān)固且更難封裝的器件。另一種方法是增加曝光時(shí)間，但這顯然會(huì)導(dǎo)致幀率降低并增加運(yùn)動(dòng)模糊的風(fēng)險(xiǎn)。此外，我們也可以選擇消除噪音，目前市場(chǎng)上的 ISP 采用幾種不同的信號(hào)處理算法，但性能均存在局限性，例如，一些電流降噪器使圖像平滑，因此丟失了圖像中特征的清晰度。

除了噪音性能不佳外，傳統(tǒng)ISP的另一個(gè)缺點(diǎn)是靈活性相對(duì)不足。將 ISP與傳感器相匹配的調(diào)優(yōu)過(guò)程，可能需要數(shù)周甚至數(shù)月。這項(xiàng)調(diào)優(yōu)任務(wù)會(huì)帶來(lái)巨大的成本壓力，并增加圖像系統(tǒng)工程項(xiàng)目的時(shí)間周期。

軟件ISP，提升圖像質(zhì)量的關(guān)鍵

以色列初創(chuàng)公司 Visionary.ai 開(kāi)發(fā)的這種基于A(yíng)I的軟件ISP，其圖像信號(hào)處理器是以軟件形式實(shí)現(xiàn)，而且能夠比傳統(tǒng)算法檢測(cè)并消除更多的圖像噪聲。雖然許多計(jì)算機(jī)視覺(jué)研究人員正在開(kāi)發(fā)更好的方法來(lái)檢測(cè)和識(shí)別圖像中的對(duì)象，但 Visionary.ai的創(chuàng)始人意識(shí)到，優(yōu)化ISP是提升圖像質(zhì)量的關(guān)鍵。一個(gè)高效的 ISP 能提供更高品質(zhì)的圖像數(shù)據(jù)，從而增強(qiáng)如物體識(shí)別和圖像分割等AI任務(wù)的效能。

解決“垃圾進(jìn)垃圾出”的問(wèn)題已證明可提供更高的精度和改善機(jī)器視覺(jué)效果。至于智能手機(jī)或筆記本電腦視頻質(zhì)量等“人類(lèi)視覺(jué)”應(yīng)用，Visionary.ai 的實(shí)時(shí)降噪器可以生成更清晰、更明亮的成像，并提供更準(zhǔn)確的著色。

與其他降噪器不同，由 Visionary.ai 開(kāi)發(fā)的 AI 降噪方法可實(shí)時(shí)消除噪聲，并能夠?qū)崿F(xiàn) 19dB 的信噪比增強(qiáng)。但是，為了消除最大噪聲量，AI 需要從圖像傳感器訪(fǎng)問(wèn)原始信號(hào)，然后才能被 ISP 修改和壓縮。Visionary.ai 通過(guò)創(chuàng)建軟件ISP完全取代傳統(tǒng)硬件 ISP 來(lái)應(yīng)對(duì)這一挑戰(zhàn)（圖 1）。

圖 1：軟件ISP實(shí)時(shí)消除最大噪聲量

由于ISP和降噪功能采用軟件實(shí)現(xiàn)，這表示在硬件設(shè)計(jì)中必須配備適當(dāng)?shù)挠?jì)算資源。

首先，降噪功能依賴(lài)于神經(jīng)網(wǎng)絡(luò)。其性能需求會(huì)隨工作負(fù)載、視頻幀速率以及圖像分辨率發(fā)生變化。在降噪器的早期研發(fā)階段，團(tuán)隊(duì)采用了Nvidia Jetson，這種計(jì)算平臺(tái)在性能方面有巨大優(yōu)勢(shì)，能夠不受限制地進(jìn)行實(shí)驗(yàn)和研究。但從長(zhǎng)遠(yuǎn)考慮，他們的目標(biāo)是開(kāi)發(fā)一種既滿(mǎn)足硅片面積要求又在功率預(yù)算內(nèi)的解決方案，以適合廣泛應(yīng)用的技術(shù)和商業(yè)需求。

當(dāng)談到AI，尤其是邊緣AI，人們常常會(huì)聯(lián)想到為多種推理任務(wù)設(shè)計(jì)的10、100甚至1000 TOPS的性能，但這顯然不適用于降噪應(yīng)用。新思科技的ARC EV7x系列是一系列的異構(gòu)嵌入式視覺(jué)處理器，它包括了可擴(kuò)展的矢量DSP核心和神經(jīng)網(wǎng)絡(luò)引擎。事實(shí)證明，Visionary.ai的降噪算法可以在新思科技 ARC EV72 處理器上非常有效地運(yùn)行，同時(shí)，他們還計(jì)劃在 ARC VPX矢量DSP和ARC NPX神經(jīng)處理單元的新版本上運(yùn)行。

除了ISP算法和降噪功能外，系統(tǒng)還需要一個(gè)應(yīng)用處理器來(lái)執(zhí)行控制代碼。對(duì)于這種要求不高的工作負(fù)載，一個(gè)單核的32位處理器即可滿(mǎn)足需求，如新思科技 ARC HS系列（參見(jiàn)圖2）。

圖 2：AI降噪器和軟件ISP可以

使用傳感器的原始數(shù)據(jù)來(lái)優(yōu)化性能

對(duì)于靈活性問(wèn)題，軟件定義的ISP可以通過(guò)其噪聲和AI功能更快地進(jìn)行調(diào)諧，并且還可以在其生命周期內(nèi)更新以增強(qiáng)性能。當(dāng)供應(yīng)鏈中出現(xiàn)問(wèn)題，或需使用不同的圖像傳感器模型時(shí)，基于新組件的系統(tǒng)重新設(shè)計(jì)變得更為簡(jiǎn)便。

隨著調(diào)諧執(zhí)行速度更快、成本更低，進(jìn)行應(yīng)用特定的調(diào)諧已變得可行。例如，針對(duì)特定農(nóng)業(yè)應(yīng)用中對(duì)綠色細(xì)節(jié)的精準(zhǔn)捕獲，或醫(yī)療場(chǎng)景中更準(zhǔn)確的紅色識(shí)別，都可以進(jìn)行精細(xì)化的優(yōu)化。

寫(xiě)在最后

搭乘新思科技的ARC EV72 處理器的快船，Visionary.ai帶降噪器的軟件ISP已經(jīng)正式面市，這為消費(fèi)類(lèi)電子產(chǎn)品和安全攝像頭的設(shè)計(jì)帶來(lái)了新的可能性。同時(shí)，他們也瞄準(zhǔn)了汽車(chē)、無(wú)人機(jī)以及醫(yī)療行業(yè)等多個(gè)領(lǐng)域。

軟件定義汽車(chē)、軟件定義手機(jī)……軟件定義的原則正在整個(gè)科技領(lǐng)域傳播。雖然軟件圖像處理可能仍處于起步階段，但憑借其優(yōu)勢(shì)和靈活性，并且隨著邊緣人工智能和人工智能成像的發(fā)展，軟件ISP正在獲得越來(lái)多廠(chǎng)商的關(guān)注。

編輯：黃飛

?