在本文中，來自加州大學(xué)河濱分校機械工程系的研究者通過應(yīng)用光學(xué)漩渦證明了混合計算機視覺系統(tǒng)的可行性。該研究為光子學(xué)在構(gòu)建通用的小腦混合神經(jīng)網(wǎng)絡(luò)和開發(fā)用于大數(shù)據(jù)分析的實時硬件方面的作用提供了新見解。

從醫(yī)學(xué)診斷到自動駕駛再到人臉識別，圖像分析在現(xiàn)代技術(shù)中無處不在。使用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的計算機徹底改變了計算機視覺。但卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）通過從預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)來對圖像進行分類，然而這些數(shù)據(jù)通常會記住或發(fā)展某些偏見。此外，數(shù)據(jù)還易于受到對抗性攻擊（以極細微且?guī)缀醪煊X不到的圖像扭曲出現(xiàn)）的干擾，從而導(dǎo)致做出錯誤的決策。這些缺點限制了卷積神經(jīng)網(wǎng)絡(luò)的用途。 提升圖像處理算法能效和可靠性的一種方法是將常規(guī)計算機視覺與光學(xué)預(yù)處理器結(jié)合起來。這種混合系統(tǒng)可以用最少的電子硬件工作。由于光在預(yù)處理階段即可完成數(shù)學(xué)函數(shù)而不會耗散能量，因此使用混合計算機視覺系統(tǒng)可以節(jié)省大量時間和能源。這種新方法能夠克服深度學(xué)習(xí)的缺點，并充分利用光學(xué)和電子學(xué)的優(yōu)勢。

今年 8 月份，在一篇發(fā)表于 Optica 的論文中，加州大學(xué)河濱分校機械工程系助理教授 Luat Vuong 和博士生 Baurzhan Muminov 通過應(yīng)用光學(xué)漩渦（具有深色中心點的旋繞光波），證明了混合計算機視覺系統(tǒng)的可行性。光學(xué)漩渦可以比喻為光繞著邊緣和角落傳播時產(chǎn)生的流體動力漩渦。

論文鏈接：https://www.osapublishing.org/optica/fulltext.cfm？uri=optica-7-9-1079&id=437484 研究表明，光學(xué)預(yù)處理可以降低圖像計算的功耗，而電子設(shè)備中的數(shù)字信號識別相關(guān)性，提供優(yōu)化并快速計算可靠的決策閾值。借助混合計算機視覺，光學(xué)器件具有速度和低功耗計算的優(yōu)勢，并且比 CNN 的時間成本降低了 2 個數(shù)量級。通過圖像壓縮，則有可能從存儲和計算復(fù)雜性兩方面大幅減少電子后端硬件。 Luat Vuong 表示：「本研究中的漩渦編碼器表明，光學(xué)預(yù)處理可以消除對 CNN 的需求，比 CNN 更具魯棒性，并且能夠泛化逆問題的解決方法。

例如當(dāng)混合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)手寫數(shù)字的形狀時，它可以重建以前從未見過的阿拉伯或日語字符?！?該論文還表明，將圖像縮小為更少的高強度像素能夠?qū)崿F(xiàn)極弱光線條件下的圖像處理。該研究為光子學(xué)在構(gòu)建通用的小腦混合神經(jīng)網(wǎng)絡(luò)和開發(fā)用于大數(shù)據(jù)分析的實時硬件方面的作用提供了新見解。 論文內(nèi)容簡述 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)通常涉及具有較高計算成本的多層、前向 - 后向傳播機器學(xué)習(xí)算法。所以，在本文中，研究者展示了卷積神經(jīng)網(wǎng)絡(luò)的替代方案，該方案從其光學(xué)預(yù)處理、傅里葉編碼模式中重建原始圖像。該方案對計算的需求少得多，并且具有更高的噪聲魯棒性，因此適用于高速和弱光照條件下的成像。 具體而言，該研究引入帶有微透鏡陣列的漩渦相位變換，以及淺層密集的「小腦」神經(jīng)網(wǎng)絡(luò)結(jié)合。單次編碼孔徑方法利用了傅里葉變換螺旋相位梯度的相干衍射、緊湊表征和邊緣增強。使用漩渦編碼可以訓(xùn)練小腦對圖像進行去卷積操作，其速度比使用隨機編碼方案快 5 至 20 倍，且在存在噪聲的情況下獲得了更大的優(yōu)勢。

一旦訓(xùn)練完成，小腦就可以從 intensity-only 的數(shù)據(jù)中重建對象，從而解決了逆映射問題，而無需在每個圖像上執(zhí)行迭代，也無需深度學(xué)習(xí)方案。通過漩渦傅立葉編碼，研究者在 15W CPU 上以每秒幾千幀的速度重建以低光通量（5nJ / cm^2）照明的 MNIST Fashion 對象。最終，研究者證明了使用漩渦編碼器進行傅立葉光學(xué)預(yù)處理在達到相似準確率的情況下，速度比卷積神經(jīng)網(wǎng)絡(luò)快 2 個數(shù)量級。 漩渦的知識可以擴展為理解任意波型。當(dāng)帶有漩渦時，光學(xué)圖像數(shù)據(jù)會以突出顯示并混合光學(xué)圖像不同部分的方式實現(xiàn)傳播。研究者指出，使用淺層「小腦」神經(jīng)網(wǎng)絡(luò)進行的漩渦圖像預(yù)處理（僅需運行幾層算法）就可以代替 CNN 發(fā)揮作用。 Vuong 還表示：「光學(xué)漩渦的獨特優(yōu)勢在于其數(shù)學(xué)和邊緣增強功能。在本文中，我們證明了，光學(xué)漩渦編碼器能夠以類似于一種小腦神經(jīng)網(wǎng)絡(luò)從其光學(xué)預(yù)處理模式快速重建原始圖像的方式生成目標(biāo)強度數(shù)據(jù)。」 方法

圖 1 描述了該研究的成像方案，其中對象 F（r，Φ） 的多個圖像被收集到傅立葉域中：透過每個微透鏡的光由不同的漩渦和透鏡 mask 模式 M_m（r，Φ） 調(diào)制；攝像機檢測到菲涅耳（Fresnel）傳播、漩渦傅里葉變換（vortex-Fourier-transformed）強度模式的縮放模平方圖像

。 其中，m 是漩渦拓撲電荷，r 和Φ是實域柱面坐標(biāo)，而 u 和 v 是傅里葉平面笛卡爾坐標(biāo)。漩渦傅里葉強度模式 F^~ 集中在相對較小的區(qū)域中，但隨著 m 的增加，通常會呈越來越寬的甜甜圈形（圖 1（b））。對象「實域」中的漩渦相位在空間上編碼并破壞了傅立葉變換強度模式的平移不變性，如圖 1（c） 所示。 此外，該研究將一些小圖像數(shù)據(jù)集視為對象輸入，并比較 F（r，Φ） 中的不同表征。對于每個正實值數(shù)據(jù)集圖像 X，相位變化的映射如下公式所示：

其中，α_0 是對象相位移動的動態(tài)范圍。這種映射很方便，因為信號功率不隨選擇的 X 改變。研究者還考慮了 X 閉塞或吸收信號時不透明對象，即，這會產(chǎn)生相似的趨勢。 歸根結(jié)底，該研究有三項主要創(chuàng)新：（1）用漩渦透鏡進行光譜特征的邊緣增強；（2）在沒有相似學(xué)得數(shù)據(jù)集的情況下對圖像進行快速逆重建；（3）取決于層激活的抗噪聲能力。

原文標(biāo)題：光學(xué)預(yù)處理與計算機視覺結(jié)合，UCR學(xué)者用漩渦實現(xiàn)混合計算機視覺系統(tǒng)

文章出處：【微信公眾號：新機器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq