為了監(jiān)控環(huán)境并在現(xiàn)實世界中導航，機器人應該能夠在不同的背景光照條件下采集圖像和環(huán)境測量值。近年來，世界各地的科研人員及工程師們都在努力開發(fā)越來越先進的傳感器，以將其集成于機器人、監(jiān)控系統(tǒng)或其他可以感知周圍環(huán)境的設備。

據麥姆斯咨詢報道，香港理工大學、北京大學、延世大學和復旦大學的研究人員最近研發(fā)了一款新型的仿生視覺傳感器，其采用了一種人工模擬視網膜功能的機制，并且可在各種光照條件下采集數(shù)據。這款仿生視覺傳感器基于由二硫化鉬制成的光電晶體管，相關研究成果以“Bioinspired in-sensor visual adaptation for accurate perception”為題發(fā)表在Nature Electronics期刊上。

仿生視覺傳感器陣列照片（左）；視覺傳感器單元的示意圖結構和光學顯微鏡圖像（右）

“我們研究團隊五年前就開始了光電存儲器的研究工作?！遍_發(fā)該視覺傳感器的研究人員之一Yang Chai介紹說，“這種新興器件可以輸出光相關和歷史相關的信號，能夠實現(xiàn)圖像集成、微弱信號累積、光譜分析等復雜的圖像處理功能，將傳感、數(shù)據存儲和數(shù)據處理的多功能集成于一顆器件?！?br />
2018年，Yang Chai和他的同事發(fā)表了第一篇關于光電存儲器的論文，他們在其中介紹了一種電阻開關存儲器件，該器件可以執(zhí)行光傳感和邏輯操作。一年后，該團隊推出了一種具有三種不同功能的新型光電電阻隨機存取存儲器。具體來說，這種新器件可以感知環(huán)境，將信息存儲在內存中，并執(zhí)行神經形態(tài)的視覺預處理操作。

“我們在2020年研究了近傳感器（near-sensor）和傳感器內計算范式的概念，并發(fā)表了我們在該領域的觀點?！盰ang Chai繼續(xù)說道，“仿生視覺傳感器的這項新研究建立在我們之前的所有努力之上?！?br />
環(huán)境自然光的強度變化很大，總范圍為280 dB。人類視網膜在感知外界光信號時，會根據信號的強度調整其感光器（即視桿細胞和視錐細胞）的光敏性。這最終使人眼能夠逐漸適應不同程度的照明水平，在黑暗和明亮的環(huán)境中都能看清楚，這種能力被稱為“視覺適應”。

“例如，當你從一個明亮的大廳進入一個黑暗的電影院時，最初你幾乎看不到任何東西，但在電影院里呆了一會兒，就變得更容易看到東西了?！盰ang Chai解釋說，“這種現(xiàn)象被稱為暗適應（scotopic adaptation）。相反，如果你從黑暗的電影院走到陽光明媚的戶外，一開始你會覺得非常眼花繚亂，需要適應一段時間才能看到周圍的景色。這個過程與暗適應相反，被稱為光適應（photopic adaptation）。”

Yang Chai和他的同事最近研究工作的主要目標是構建一種受人類視網膜結構和功能啟發(fā)的視覺傳感器。為此，他們首先開始研究人類視網膜，然后嘗試設計感知策略，從而能夠人工模擬視覺適應能力。

基于CMOS技術的最先進圖像傳感器通常具有70 dB的有限動態(tài)范圍。但是，這個動態(tài)范圍比自然場景的光照范圍（280 dB）要窄得多。

“為了在較大的光照強度范圍內實現(xiàn)視覺感知，研究人員已經探索了在后處理中使用受控光學孔徑、液體透鏡、可調節(jié)曝光時間和去噪算法。”Yang Chai說道，“然而，這些方法通常需要復雜的硬件和軟件資源?！?br />

仿生視覺傳感器陣列的暗適應和光適應。（a）暗適應測試示意圖：暗環(huán)境下使用8 x 8像素陣列識別低照度圖像。（b）光適應測試示意圖：亮環(huán)境下使用8 x 8像素陣列識別高照度圖像。（c）識別“8”圖案的暗適應過程。（d）識別“8”圖案的光適應過程。

具有光照適應性的視覺并在感覺終端具有寬廣感知范圍的光電器件可能具有非常有價值的應用。例如，它們可以幫助提高計算機視覺工具的性能，降低構建機器人或其他傳感系統(tǒng)所需的硬件復雜性，并提高圖像識別系統(tǒng)的準確性。

雖然，其他研究團隊在過去一段時間已經研發(fā)了可以適應不同光照條件的光電器件。但是，大多數(shù)先前展示的器件只能模擬視網膜的光適應機制。暗適應過程迄今被證明更難模擬。

“要完全復制視網膜的視覺適應功能，還有很長的路要走?！盰ang Chai解釋說，“為了實現(xiàn)這一目標，我們設計了一種使用超薄半導體的光電晶體管型視覺傳感器，它可以通過施加不同的柵極電壓來控制同一器件中的暗適應和光適應程度。通過這種方式，我們模擬了視網膜中的光感受器和水平細胞（horizontal cell），并成功實現(xiàn)了具有199 dB感知范圍的仿生傳感器內視覺自適應器件?！?/p>

人工模擬視網膜中的光感受器和水平細胞，實現(xiàn)視覺自適應（暗適應和光適應）

Yang Chai及其同事開發(fā)的仿生視覺傳感器基于由超薄半導體材料（即二硫化鉬）制成的光電晶體管。他們使用的光電晶體管具有多種電荷陷阱狀態(tài)，這些狀態(tài)可以在不同的柵極電壓下捕獲或釋放溝道內的電子。

最終，這些狀態(tài)允許研究人員動態(tài)調節(jié)其器件的電導。這反過來又使他們能夠人工模擬人類視網膜的暗適應和光適應機制，從而擴大其傳感器對不同光照條件的感知范圍。

“我們的仿生視覺傳感器有幾個優(yōu)點和特點?！盰ang Chai表示，“首先，視覺適應功能在單顆器件中實現(xiàn)，大大減少了占位面積。其次，可以在單顆器件上實現(xiàn)多種功能，包括光傳感、記憶和處理。最后，可以通過控制其柵極電壓來實現(xiàn)在不同的光照強度下進行暗適應和光適應?！?br />
Yang Chai和他的同事在一系列測試中評估了這款仿生視覺傳感器，發(fā)現(xiàn)它可以有效地模擬人類視網膜的功能，在暗適應和光適應方面都取得了顯著的成果。此外，與之前提出的解決方案相比，它具有明顯更高的感知范圍（199 dB）。

“我們的視覺傳感器可以豐富機器視覺功能，降低硬件復雜度，實現(xiàn)高圖像識別效率?！盰ang Chai說道，“所有這些優(yōu)點在復雜照明環(huán)境下的自動駕駛、人臉識別和工業(yè)制造等領域都有很大的應用前景?！?br />
在接下來的研究中，研究人員計劃進一步提高視覺傳感器的性能，同時還使用其來制造由傳感器陣列組成的大規(guī)模系統(tǒng)。理想情況下，他們希望在柔性或半球形襯底上構建此傳感器陣列，以實現(xiàn)更寬的視野。

“需要改進的一個方面是我們視覺傳感器的適應時間，因為它仍然不足以支持機器視覺應用?！盰ang Chai補充道，“我們的目標是將適應時間降低到微秒級。此外，視覺傳感器陣列規(guī)模也需要進一步提升。我們近期的陣列規(guī)模目標是大于100 x 100像素。最后，視覺傳感器和后處理單元（包括基于硅的控制電路）的異構集成是邁向實際應用的非常重要的一步?！?br />
論文信息：
https://www.nature.com/articles/s41928-022-00713-1

審核編輯 ：李倩