為了監(jiān)控環(huán)境并在現(xiàn)實(shí)世界中導(dǎo)航，機(jī)器人應(yīng)該能夠在不同的背景光照條件下采集圖像和環(huán)境測(cè)量值。近年來(lái)，世界各地的科研人員及工程師們都在努力開發(fā)越來(lái)越先進(jìn)的傳感器，以將其集成于機(jī)器人、監(jiān)控系統(tǒng)或其他可以感知周圍環(huán)境的設(shè)備。

據(jù)麥姆斯咨詢報(bào)道，香港理工大學(xué)、北京大學(xué)、延世大學(xué)和復(fù)旦大學(xué)的研究人員最近研發(fā)了一款新型的仿生視覺(jué)傳感器，其采用了一種人工模擬視網(wǎng)膜功能的機(jī)制，并且可在各種光照條件下采集數(shù)據(jù)。這款仿生視覺(jué)傳感器基于由二硫化鉬制成的光電晶體管，相關(guān)研究成果以“Bioinspired in-sensor visual adaptation for accurate perception”為題發(fā)表在Nature Electronics期刊上。

仿生視覺(jué)傳感器陣列照片（左）；視覺(jué)傳感器單元的示意圖結(jié)構(gòu)和光學(xué)顯微鏡圖像（右）

“我們研究團(tuán)隊(duì)五年前就開始了光電存儲(chǔ)器的研究工作。”開發(fā)該視覺(jué)傳感器的研究人員之一Yang Chai介紹說(shuō)，“這種新興器件可以輸出光相關(guān)和歷史相關(guān)的信號(hào)，能夠?qū)崿F(xiàn)圖像集成、微弱信號(hào)累積、光譜分析等復(fù)雜的圖像處理功能，將傳感、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理的多功能集成于一顆器件?！?br />
2018年，Yang Chai和他的同事發(fā)表了第一篇關(guān)于光電存儲(chǔ)器的論文，他們?cè)谄渲薪榻B了一種電阻開關(guān)存儲(chǔ)器件，該器件可以執(zhí)行光傳感和邏輯操作。一年后，該團(tuán)隊(duì)推出了一種具有三種不同功能的新型光電電阻隨機(jī)存取存儲(chǔ)器。具體來(lái)說(shuō)，這種新器件可以感知環(huán)境，將信息存儲(chǔ)在內(nèi)存中，并執(zhí)行神經(jīng)形態(tài)的視覺(jué)預(yù)處理操作。

“我們?cè)?020年研究了近傳感器（near-sensor）和傳感器內(nèi)計(jì)算范式的概念，并發(fā)表了我們?cè)谠擃I(lǐng)域的觀點(diǎn)。”Yang Chai繼續(xù)說(shuō)道，“仿生視覺(jué)傳感器的這項(xiàng)新研究建立在我們之前的所有努力之上?！?br />
環(huán)境自然光的強(qiáng)度變化很大，總范圍為280 dB。人類視網(wǎng)膜在感知外界光信號(hào)時(shí)，會(huì)根據(jù)信號(hào)的強(qiáng)度調(diào)整其感光器（即視桿細(xì)胞和視錐細(xì)胞）的光敏性。這最終使人眼能夠逐漸適應(yīng)不同程度的照明水平，在黑暗和明亮的環(huán)境中都能看清楚，這種能力被稱為“視覺(jué)適應(yīng)”。

“例如，當(dāng)你從一個(gè)明亮的大廳進(jìn)入一個(gè)黑暗的電影院時(shí)，最初你幾乎看不到任何東西，但在電影院里呆了一會(huì)兒，就變得更容易看到東西了。”Yang Chai解釋說(shuō)，“這種現(xiàn)象被稱為暗適應(yīng)（scotopic adaptation）。相反，如果你從黑暗的電影院走到陽(yáng)光明媚的戶外，一開始你會(huì)覺(jué)得非常眼花繚亂，需要適應(yīng)一段時(shí)間才能看到周圍的景色。這個(gè)過(guò)程與暗適應(yīng)相反，被稱為光適應(yīng)（photopic adaptation）?！?br />
Yang Chai和他的同事最近研究工作的主要目標(biāo)是構(gòu)建一種受人類視網(wǎng)膜結(jié)構(gòu)和功能啟發(fā)的視覺(jué)傳感器。為此，他們首先開始研究人類視網(wǎng)膜，然后嘗試設(shè)計(jì)感知策略，從而能夠人工模擬視覺(jué)適應(yīng)能力。

基于CMOS技術(shù)的最先進(jìn)圖像傳感器通常具有70 dB的有限動(dòng)態(tài)范圍。但是，這個(gè)動(dòng)態(tài)范圍比自然場(chǎng)景的光照范圍（280 dB）要窄得多。

“為了在較大的光照強(qiáng)度范圍內(nèi)實(shí)現(xiàn)視覺(jué)感知，研究人員已經(jīng)探索了在后處理中使用受控光學(xué)孔徑、液體透鏡、可調(diào)節(jié)曝光時(shí)間和去噪算法?！盰ang Chai說(shuō)道，“然而，這些方法通常需要復(fù)雜的硬件和軟件資源?！?br />

仿生視覺(jué)傳感器陣列的暗適應(yīng)和光適應(yīng)。（a）暗適應(yīng)測(cè)試示意圖：暗環(huán)境下使用8 x 8像素陣列識(shí)別低照度圖像。（b）光適應(yīng)測(cè)試示意圖：亮環(huán)境下使用8 x 8像素陣列識(shí)別高照度圖像。（c）識(shí)別“8”圖案的暗適應(yīng)過(guò)程。（d）識(shí)別“8”圖案的光適應(yīng)過(guò)程。

具有光照適應(yīng)性的視覺(jué)并在感覺(jué)終端具有寬廣感知范圍的光電器件可能具有非常有價(jià)值的應(yīng)用。例如，它們可以幫助提高計(jì)算機(jī)視覺(jué)工具的性能，降低構(gòu)建機(jī)器人或其他傳感系統(tǒng)所需的硬件復(fù)雜性，并提高圖像識(shí)別系統(tǒng)的準(zhǔn)確性。

雖然，其他研究團(tuán)隊(duì)在過(guò)去一段時(shí)間已經(jīng)研發(fā)了可以適應(yīng)不同光照條件的光電器件。但是，大多數(shù)先前展示的器件只能模擬視網(wǎng)膜的光適應(yīng)機(jī)制。暗適應(yīng)過(guò)程迄今被證明更難模擬。

“要完全復(fù)制視網(wǎng)膜的視覺(jué)適應(yīng)功能，還有很長(zhǎng)的路要走。”Yang Chai解釋說(shuō)，“為了實(shí)現(xiàn)這一目標(biāo)，我們?cè)O(shè)計(jì)了一種使用超薄半導(dǎo)體的光電晶體管型視覺(jué)傳感器，它可以通過(guò)施加不同的柵極電壓來(lái)控制同一器件中的暗適應(yīng)和光適應(yīng)程度。通過(guò)這種方式，我們模擬了視網(wǎng)膜中的光感受器和水平細(xì)胞（horizontal cell），并成功實(shí)現(xiàn)了具有199 dB感知范圍的仿生傳感器內(nèi)視覺(jué)自適應(yīng)器件?！?/p>

人工模擬視網(wǎng)膜中的光感受器和水平細(xì)胞，實(shí)現(xiàn)視覺(jué)自適應(yīng)（暗適應(yīng)和光適應(yīng)）

Yang Chai及其同事開發(fā)的仿生視覺(jué)傳感器基于由超薄半導(dǎo)體材料（即二硫化鉬）制成的光電晶體管。他們使用的光電晶體管具有多種電荷陷阱狀態(tài)，這些狀態(tài)可以在不同的柵極電壓下捕獲或釋放溝道內(nèi)的電子。

最終，這些狀態(tài)允許研究人員動(dòng)態(tài)調(diào)節(jié)其器件的電導(dǎo)。這反過(guò)來(lái)又使他們能夠人工模擬人類視網(wǎng)膜的暗適應(yīng)和光適應(yīng)機(jī)制，從而擴(kuò)大其傳感器對(duì)不同光照條件的感知范圍。

“我們的仿生視覺(jué)傳感器有幾個(gè)優(yōu)點(diǎn)和特點(diǎn)?！盰ang Chai表示，“首先，視覺(jué)適應(yīng)功能在單顆器件中實(shí)現(xiàn)，大大減少了占位面積。其次，可以在單顆器件上實(shí)現(xiàn)多種功能，包括光傳感、記憶和處理。最后，可以通過(guò)控制其柵極電壓來(lái)實(shí)現(xiàn)在不同的光照強(qiáng)度下進(jìn)行暗適應(yīng)和光適應(yīng)。”

Yang Chai和他的同事在一系列測(cè)試中評(píng)估了這款仿生視覺(jué)傳感器，發(fā)現(xiàn)它可以有效地模擬人類視網(wǎng)膜的功能，在暗適應(yīng)和光適應(yīng)方面都取得了顯著的成果。此外，與之前提出的解決方案相比，它具有明顯更高的感知范圍（199 dB）。

“我們的視覺(jué)傳感器可以豐富機(jī)器視覺(jué)功能，降低硬件復(fù)雜度，實(shí)現(xiàn)高圖像識(shí)別效率?！盰ang Chai說(shuō)道，“所有這些優(yōu)點(diǎn)在復(fù)雜照明環(huán)境下的自動(dòng)駕駛、人臉識(shí)別和工業(yè)制造等領(lǐng)域都有很大的應(yīng)用前景?！?br />
在接下來(lái)的研究中，研究人員計(jì)劃進(jìn)一步提高視覺(jué)傳感器的性能，同時(shí)還使用其來(lái)制造由傳感器陣列組成的大規(guī)模系統(tǒng)。理想情況下，他們希望在柔性或半球形襯底上構(gòu)建此傳感器陣列，以實(shí)現(xiàn)更寬的視野。

“需要改進(jìn)的一個(gè)方面是我們視覺(jué)傳感器的適應(yīng)時(shí)間，因?yàn)樗匀徊蛔阋灾С?a href="http://www.brongaenegriffin.com/tags/機(jī)器視覺(jué)/" target="_blank">機(jī)器視覺(jué)應(yīng)用?！盰ang Chai補(bǔ)充道，“我們的目標(biāo)是將適應(yīng)時(shí)間降低到微秒級(jí)。此外，視覺(jué)傳感器陣列規(guī)模也需要進(jìn)一步提升。我們近期的陣列規(guī)模目標(biāo)是大于100 x 100像素。最后，視覺(jué)傳感器和后處理單元（包括基于硅的控制電路）的異構(gòu)集成是邁向?qū)嶋H應(yīng)用的非常重要的一步。”

論文信息：
https://www.nature.com/articles/s41928-022-00713-1

審核編輯 ：李倩