我們使用的傳感和計(jì)算設(shè)備無(wú)處不在，而且會(huì)不斷增多，設(shè)備始終處于工作狀態(tài)，因此功率變得越來(lái)越重要。最好的例子就是放在辦公桌上、口袋里以及散布家中各處的聲控設(shè)備。關(guān)鍵詞捕捉是目前各種神經(jīng)擬態(tài)技術(shù)的一個(gè)目標(biāo)。

硅耳蝸

2020年，神經(jīng)擬態(tài)工程學(xué)Misha Mahowald獎(jiǎng)的獲得者是Shih-Chii Liu教授及其團(tuán)隊(duì)，他們一直致力于研究低延遲、低功率傳感器，用于語(yǔ)音檢測(cè)。蘇黎世神經(jīng)科學(xué)研究所（INI）的Shi-Chii Liu及其團(tuán)隊(duì)開(kāi)發(fā)的動(dòng)態(tài)音頻傳感器拓展了這一市場(chǎng)（圖1）。傳感器的核心是一個(gè)生物仿真硅耳蝸。首先，它利用一組模擬帶通濾波器將輸入的聲音濾入到各個(gè)頻道，并在輸出側(cè)對(duì)其進(jìn)行半波整流。這組電路仿真耳朵中毛細(xì)胞的功能。

圖1：A.在常見(jiàn)的音頻系統(tǒng)中，聲音首先通過(guò)模數(shù)轉(zhuǎn)換器轉(zhuǎn)換成數(shù)字信號(hào)，然后使用數(shù)字快速傅立葉變換（FFT）和帶通濾波（BPF）提取信號(hào)特征。這些信號(hào)由數(shù)字信號(hào)處理器（DSP）運(yùn)行語(yǔ)音端點(diǎn)檢測(cè)（VAD）或自動(dòng)語(yǔ)音識(shí)別算法進(jìn)行處理。B.在蘇黎世INI的動(dòng)態(tài)音頻傳感器中，接收信號(hào)為模擬音頻頻帶，其特征和變化被并行編碼成一系列的異步尖峰信號(hào)（事件），隨后進(jìn)行處理。

這一過(guò)程類似于生物學(xué)中讓不同通道為大腦的處理做好準(zhǔn)備。在人耳中，神經(jīng)節(jié)細(xì)胞將信號(hào)快速編碼為一串化學(xué)離子；在硅耳蝸中，則被轉(zhuǎn)換成電尖峰信號(hào)。這一步可以通過(guò)使用常用的IF神經(jīng)元模型或異步增量調(diào)制器（ADM）來(lái)完成：ADM將信號(hào)與兩個(gè)閾值進(jìn)行比較，并在信號(hào)超過(guò)閾值時(shí)發(fā)送事件——相當(dāng)于信號(hào)特征提取器。因?yàn)楹雎粤瞬蛔兊男盘?hào)，從而減少了傳遞到下一級(jí)的冗余信息。

從功率的角度來(lái)看，在沒(méi)有任何活動(dòng)時(shí)，硅耳蝸幾乎不會(huì)消耗任何電量，隨著活動(dòng)的增加，尖峰信號(hào)的數(shù)量也隨之增加。對(duì)于一直在聽(tīng)卻很少進(jìn)行處理的應(yīng)用而言，這是一個(gè)巨大的優(yōu)勢(shì)；而當(dāng)應(yīng)用一直需要對(duì)相關(guān)內(nèi)容進(jìn)行解碼時(shí)，則沒(méi)有明顯的功耗優(yōu)勢(shì)。

由于這種音頻傳感器的功耗只有幾微瓦，系統(tǒng)設(shè)計(jì)人員在設(shè)計(jì)中可以將其作為一個(gè)很有用的選擇，以便提高電源效率。此外，該音頻傳感器是在連續(xù)時(shí)間內(nèi)工作，尖峰之間的距離可近可遠(yuǎn)，因此它也支持非常高的動(dòng)態(tài)范圍。

語(yǔ)音識(shí)別

這項(xiàng)工作的關(guān)鍵是證明硅耳蝸的有用性，具體而言，就是由硅耳蝸產(chǎn)生的事件串流可以用于語(yǔ)音端點(diǎn)檢測(cè)（關(guān)鍵詞識(shí)別的第一階段）等實(shí)際應(yīng)用中。Liu和她的團(tuán)隊(duì)成功地做到了，他們使用事件輸出來(lái)創(chuàng)建2D數(shù)據(jù)幀，尖峰信號(hào)到達(dá)的直方圖在5ms的幀上按頻率排列。這即是類耳蝸圖，可以由神經(jīng)網(wǎng)絡(luò)讀入并解碼其含義。

“IEEE ISSCC社群對(duì)在傳感器上使用深度網(wǎng)絡(luò)非常感興趣，音頻邊緣計(jì)算正在興起，深度網(wǎng)絡(luò)出現(xiàn)得非常及時(shí)。”Liu說(shuō)，“現(xiàn)在已經(jīng)有很多利用低功耗專用集成電路（ASIC）進(jìn)行關(guān)鍵詞識(shí)別的論文，但這些論文都采用類似頻譜圖的常規(guī)功能。我們的一個(gè)目標(biāo)是要證明混合方案（混合模擬信號(hào)設(shè)計(jì)）可以提供更低的功率，減少響應(yīng)延遲。”

去年INI發(fā)布了一段視頻，展示了數(shù)字識(shí)別系統(tǒng)。該系統(tǒng)現(xiàn)在仍處于開(kāi)發(fā)初期，還不是絕對(duì)可靠。Liu的團(tuán)隊(duì)成員還有Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev和Daniel Neil，多年來(lái)他們還研究了傳感器融合，將音頻和視頻信息結(jié)合起來(lái)，以進(jìn)行更可靠的分類。他們一直遵循初期的設(shè)計(jì)準(zhǔn)則來(lái)決定什么時(shí)候應(yīng)該選擇模擬傳感器，什么時(shí)候應(yīng)使用數(shù)字傳感器。

?

他們的另一個(gè)目標(biāo)是提高數(shù)據(jù)采集系統(tǒng)（DAS）的電源效率和性能，包括利用源極跟隨器實(shí)現(xiàn)帶通濾波器，以及設(shè)計(jì)模擬特征提取器。

減少模擬電子器件易變性的影響是另一個(gè)重要的研究領(lǐng)域。為了解決這個(gè)問(wèn)題，Liu及其團(tuán)隊(duì)設(shè)計(jì)了一個(gè)硬件仿真器。他們表示，與Cadence Virtuoso這樣的商用軟件相比，該仿真器可以更快地測(cè)試這些問(wèn)題。使用軟件而非硬件來(lái)訓(xùn)練二進(jìn)制神經(jīng)網(wǎng)絡(luò)進(jìn)行分類，能夠準(zhǔn)確預(yù)測(cè)多種測(cè)試芯片的分類性能。Liu及其團(tuán)隊(duì)正在考慮在系統(tǒng)中增加噪音來(lái)測(cè)試其易變性，使設(shè)計(jì)過(guò)程更加穩(wěn)健。

Mahowald獎(jiǎng)

Liu是神經(jīng)擬態(tài)工程學(xué)的早期研究者之一，她在加州理工Carver Mead的實(shí)驗(yàn)室工作過(guò)，是蘇黎世神經(jīng)信息學(xué)研究所的創(chuàng)始人之一，當(dāng)時(shí)研究組許多人員離開(kāi)加州前往蘇黎世。Mahowald（圖2）也曾在該實(shí)驗(yàn)室工作。

在獲得該獎(jiǎng)項(xiàng)時(shí)，Liu說(shuō)：“我們很榮幸能夠獲得這個(gè)獎(jiǎng)項(xiàng)，特別是與這么多神經(jīng)擬態(tài)工程學(xué)的優(yōu)秀研究人員一起。這項(xiàng)工作建立在數(shù)十年早期硅耳蝸設(shè)計(jì)的基礎(chǔ)上，是Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz和Andre van Schaik的工作的延續(xù)。

談到神經(jīng)擬態(tài)工程學(xué)的重要性，她說(shuō)：“即便摩爾定律走到盡頭，數(shù)字計(jì)算的能效仍比生物學(xué)的落后，只有其千分之一。因此，DAS這類混合模擬電子系統(tǒng)能達(dá)到什么樣的效率比以往任何時(shí)候都更加重要。”
? ? ? ?責(zé)任編輯:pj