人工視覺芯片是一種感算一體化的圖像傳感器，能夠單芯片完成圖像獲取和原位實時智能圖像處理等任務，是一種典型的邊端型智能感知系統(tǒng)芯片。它可以被廣泛應用于自動駕駛、敏捷機器人、智能無人機、混合現(xiàn)實和工業(yè)機器視覺等前沿鄰域。目前的人工視覺芯片以多比特實數(shù)數(shù)據(jù)形式在片上進行圖像信息的獲取、表達、處理和傳輸，面臨處理數(shù)據(jù)量大、深度神經(jīng)網(wǎng)絡計算復雜度高、電路復雜、片上存儲開銷大、處理延遲和功耗大等諸多的設計和應用挑戰(zhàn)。

中國科學院半導體研究所劉力源研究員帶領團隊在脈沖型人工視覺芯片設計領域取得重要進展。團隊創(chuàng)新性地設計了一款脈沖型人工視覺芯片，它集成了單光子脈沖型圖像傳感器和可重構脈沖視覺處理器，可實現(xiàn)視覺信息的獲取、表達、處理和傳輸?shù)热溌返男畔⒚}沖化，更加接近了人類的視覺系統(tǒng)，為突破現(xiàn)有人工視覺芯片的瓶頸提供了一種新思路。



圖1 脈沖視覺信號流

芯片采用單光子雪崩二極管像素（SPAD）天然地生成高速脈沖型圖像信號，并采用神經(jīng)形態(tài)脈沖計算范式直接處理單光子脈沖視覺信號，構建了一個如圖1所示的低復雜度、低延遲的脈沖視覺信號流處理系統(tǒng)。脈沖型人工視覺芯片可實現(xiàn)二維灰度成像和三維深度成像，并靈活地重構為脈沖圖像信號理器（ISP）或脈沖神經(jīng)網(wǎng)絡處理器，實現(xiàn)二維三維視覺融合智能化處理；同時，通過實時智能圖像處理判斷不同成像場景，可以反饋控制圖像傳感器的配置參數(shù)，提升成像質量。

測試結果表明，最高成像速率為每秒10萬脈沖圖像幀，動態(tài)范圍高達100dB，具有二維三維融合的目標識別定位和光照自適應功能。圖2和圖3分別為芯片照片和測試結果。該項研究為體積和供電均受限的邊緣視覺設備提供了實現(xiàn)低延遲多模視覺感算一體化高集成度片上系統(tǒng)芯片的新方法。



圖2 芯片照片；圖3 芯片成像測試結果（a）成像場景（b）二維測試結果（c）三維深度成像結果（d）0.3lx照度下的弱光測試結果

此項研究成果由半導體所助理研究員楊旭和劉力源研究員等共同完成。此項工作得到了國家重點研發(fā)計劃和國家自然科學基金等項目的資助。

審核編輯：劉清