當(dāng)人們討論深度神經(jīng)網(wǎng)絡(luò)(DNN)、深度學(xué)習(xí)和嵌入式視覺時(shí)，通常會(huì)先討論如何定義網(wǎng)絡(luò)架構(gòu)或結(jié)構(gòu)。不久之前，我們還只能支持線性網(wǎng)絡(luò)，在輸入和輸出級(jí)之間的層數(shù)非常有限。相比之下，今天的網(wǎng)絡(luò)技術(shù)，如谷歌的TensorFlow，支持多個(gè)輸入、多個(gè)輸出以及每級(jí)多個(gè)層。

圖1：線性網(wǎng)絡(luò)、多輸入&多輸出以及每級(jí)多個(gè)層

TensorFlow的強(qiáng)大令人難以置信，但人工定義TensorFlow架構(gòu)類似于用匯編語(yǔ)言編寫一個(gè)復(fù)雜的軟件。因此Bonsai等公司開始研究提升抽象等級(jí)，幫助更多的開發(fā)人員在他們的工作中融合更加豐富的智能模型。一旦定義好網(wǎng)絡(luò)結(jié)構(gòu)，下一步就是訓(xùn)練這種結(jié)構(gòu)，并用32位浮點(diǎn)系數(shù)(“加權(quán)”)產(chǎn)生一個(gè)新的版本。假設(shè)我們?cè)趧?chuàng)建某類嵌入式視覺圖像處理應(yīng)用，這個(gè)過(guò)程——可能會(huì)用到數(shù)十萬(wàn)甚至數(shù)百萬(wàn)幅分類照片——可以在高層進(jìn)行描述，如圖2所示。

圖2：創(chuàng)建嵌入式視覺圖像處理應(yīng)用

網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練之后，下一步就是準(zhǔn)備部署網(wǎng)絡(luò)了，這與目標(biāo)平臺(tái)有關(guān)。假設(shè)這是一個(gè)性能受限的、具有功耗意識(shí)的部署平臺(tái)，那么浮點(diǎn)網(wǎng)絡(luò)需要被轉(zhuǎn)換為定點(diǎn)網(wǎng)絡(luò)，如圖3所示(雖然16位定點(diǎn)實(shí)現(xiàn)很常見，但低至8位定點(diǎn)的實(shí)現(xiàn)也有大量成功的案例)。

圖3：浮點(diǎn)網(wǎng)絡(luò)轉(zhuǎn)換為定點(diǎn)網(wǎng)絡(luò)

CEVA正在做一些非常有意思的研發(fā)工作，包括一種網(wǎng)絡(luò)產(chǎn)生器。這種網(wǎng)絡(luò)產(chǎn)生器采用基于Caffe或TenserFlow(任何形式)的網(wǎng)絡(luò)浮點(diǎn)表示法，并將其轉(zhuǎn)換為小型快速高能效的定點(diǎn)網(wǎng)絡(luò)，目標(biāo)應(yīng)用是CEVA-XM4智能視覺處理器。

投入實(shí)際使用之前的最后一步是將網(wǎng)絡(luò)部署進(jìn)目標(biāo)系統(tǒng)，目標(biāo)系統(tǒng)可以是MCU、FPGA或基于SoC的系統(tǒng)，且可作為目標(biāo)檢測(cè)和識(shí)別系統(tǒng)的一部分。

圖4：將網(wǎng)絡(luò)部署進(jìn)目標(biāo)系統(tǒng)

目前為止情況一切都很好，但是……

還有巨大的改進(jìn)空間

與大多數(shù)事情一樣，如果只是隨便說(shuō)說(shuō)，那么上面的描述聽起來(lái)也不錯(cuò)。然而，在一線搭建實(shí)際系統(tǒng)的開發(fā)人員知道，還有許多事情要考慮。

就拿第一步訓(xùn)練網(wǎng)絡(luò)所用到的圖像來(lái)說(shuō)，用什么設(shè)備來(lái)捕獲這些圖像？在物理范疇，我們可能會(huì)討論鏡頭、圖像傳感器和模擬前端(AFE)等東西。在此之上，我們必須考慮圖像處理管線(可以用軟件函數(shù)實(shí)現(xiàn)，或使用硬件加速器)中采用的所有算法，比如增益控制、白平衡、噪聲抑制和銳化、顏色空間轉(zhuǎn)換、插值、壓縮……等等。

當(dāng)然，所有這一切也適合用于捕獲和處理圖像的任何后端攝像系統(tǒng)，這些圖像最后饋入人工神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)檢測(cè)、識(shí)別、分類和其它用途。

越來(lái)越多的公司將攝像機(jī)和智能視覺技術(shù)集成進(jìn)產(chǎn)品中，系統(tǒng)的圖像質(zhì)量和精度是體現(xiàn)其價(jià)值的核心。除了鏡頭和傳感器等物理組件，一個(gè)典型的圖像處理管線可能會(huì)達(dá)到10級(jí)，每級(jí)可能有大約25個(gè)調(diào)整參數(shù)。在光學(xué)、傳感器、處理器和算法組合之間優(yōu)化這些系統(tǒng)需要付出很大的努力，而且每個(gè)產(chǎn)品和衍生品都要完成這一辛苦的工作，因此可能會(huì)限制待評(píng)估的替代配置的數(shù)量。

為了解決這一問題，Algolux公司以其機(jī)器學(xué)習(xí)解算器為基礎(chǔ)設(shè)計(jì)了一種最優(yōu)化的平臺(tái)架構(gòu)，名為CRISP-ML(運(yùn)算型可重配置圖像信號(hào)平臺(tái))。這種架構(gòu)可以根據(jù)標(biāo)準(zhǔn)圖像測(cè)試卡、加有標(biāo)簽的訓(xùn)練圖像和關(guān)鍵性能指示器(KPI)目標(biāo)調(diào)整成像和計(jì)算機(jī)視覺算法，在規(guī)定的成像條件下取得理想的圖像質(zhì)量、視覺精度、功耗和性能目標(biāo)。這種方案可以極大地減少優(yōu)化一個(gè)新視覺系統(tǒng)所需的時(shí)間和成本，將專家資源留給價(jià)值更高的任務(wù)。

當(dāng)我第一次聽到這一切時(shí)，第一反應(yīng)就是Algolux的員工正在使用基因算法玩“魔術(shù)”。不過(guò)，Algolux公司首席技術(shù)官Paul Green表示，他們其實(shí)并沒有使用基因算法，而是使用“有指導(dǎo)性的隨機(jī)搜索與基于微積分的搜索的一種組合”。哇，這才真正激起了我的興趣——“真是個(gè)壞小子！”。我期望在不遠(yuǎn)的將來(lái)能夠?qū)W習(xí)到更多的內(nèi)容，并寫出更多的報(bào)道來(lái)。
編輯：hfy