推動(dòng)傳感器融合需求的主要趨勢(shì)

傳感器融合智能移動(dòng)設(shè)備、自動(dòng)駕駛、智能家居設(shè)備、工業(yè)控制和機(jī)器人等應(yīng)用中具有很多優(yōu)勢(shì)。

傳感器融合是指組合來(lái)自多個(gè)傳感器的數(shù)據(jù)，以獲得更為完整和準(zhǔn)確的結(jié)果。通過(guò)使用由多個(gè)感測(cè)裝置提供的信息，可以實(shí)現(xiàn)更好的環(huán)境感知。人體是傳感器融合的一個(gè)最好例證，人通過(guò)組合從各種“傳感器”（眼睛、耳朵、鼻子、舌頭、皮膚）中收集的信息，來(lái)了解我們周圍的環(huán)境，從而決定如何應(yīng)對(duì)各種情況。因此，傳感器融合和人工智能 (AI) 很自然地同時(shí)成為了關(guān)鍵趨勢(shì)。

傳感器融合成功有三個(gè)要求：傳感器的小型化、從傳感器產(chǎn)生的數(shù)據(jù)流中提取相關(guān)信息的復(fù)雜算法，以及在可用功耗和成本預(yù)算內(nèi)提供執(zhí)行算法所需性能的 SoC。

為了讓尺寸更小，同時(shí)成本更低，以適用于大規(guī)模應(yīng)用，傳感器通常通過(guò)微機(jī)電系統(tǒng) (MEMS) 來(lái)實(shí)現(xiàn)。因此，在許多消費(fèi)設(shè)備中，都可以看到加速度計(jì)、陀螺儀、磁力計(jì)等MEMS傳感器，以及攝像頭和麥克風(fēng)的身影。雷達(dá)傳感器很快就會(huì)亮相于眾多的消費(fèi)類設(shè)備，從而以超低功耗預(yù)算實(shí)現(xiàn)手勢(shì)控制。雷達(dá)，當(dāng)然還有攝像頭，是當(dāng)今汽車應(yīng)用中頗為成熟的傳感器，其數(shù)量逐代增加，而 LiDAR 有望在下一代先進(jìn)駕駛輔助系統(tǒng) (ADAS) 中實(shí)現(xiàn)應(yīng)用。需要多個(gè)不同的傳感器才能獲得完整準(zhǔn)確的結(jié)果。

人體中的每個(gè)“傳感器”具有互補(bǔ)優(yōu)勢(shì)并提供獨(dú)特的信息，而嵌入式系統(tǒng)中的傳感器也必須如此。以 ADAS 為例，雷達(dá)在不同光線和天氣條件下性能穩(wěn)健，LiDAR 可提供具有良好視角分辨率的廣闊視野，而基于攝像頭的視覺(jué)功能則可對(duì)物體實(shí)現(xiàn)快速準(zhǔn)確的分類（圖 1）。

圖 1：ADAS 系統(tǒng)中的多個(gè)不同傳感器

復(fù)雜的算法主要有兩個(gè)功能， (1) 從傳感器信號(hào)中提取信息，(2) 組合來(lái)自不同傳感器流的信息。根據(jù)應(yīng)用的不同，性能要求會(huì)大不相同，算法的復(fù)雜程度可能也會(huì)有很大差異。只有當(dāng)檢測(cè)到某個(gè)語(yǔ)音命令時(shí)，始終在線的智能家居設(shè)備才會(huì)醒來(lái)，但 ADAS 系統(tǒng)必須持續(xù)監(jiān)控其環(huán)境。

復(fù)雜的算法需要能夠提供執(zhí)行算法所需性能的 SoC。與任何設(shè)計(jì)一樣，它需要滿足可用功耗和面積的限制，因?yàn)檫@將在很大程度上影響總體盈利能力。散熱和有限的電池容量是兩個(gè)主要驅(qū)動(dòng)因素，具體情況視應(yīng)用而定。理想情況下，這類 SoC 完全可編程，以實(shí)現(xiàn)最大的靈活性。算法在產(chǎn)品的生命周期內(nèi)可能發(fā)生演進(jìn)，傳感器在其生命周期內(nèi)可能需要不同的校準(zhǔn)，而且非常希望在可通過(guò)軟件進(jìn)行區(qū)分的情況下，對(duì)產(chǎn)品的多個(gè)版本使用相同的 Soc。

讓我們看看幾個(gè)應(yīng)用示例。目前，任何一款手機(jī)中可能都安裝有計(jì)步器。它包含多個(gè)傳感器，例如加速度計(jì)、陀螺儀、磁力計(jì)，有時(shí)還有壓力和溫度傳感器（用于海拔跟蹤）。這些傳感器的生產(chǎn)成本相對(duì)低廉，而且生成的信息流是恒定的。需要 10-50 MIPS 來(lái)處理數(shù)據(jù)，并將其合并為有意義的輸出，此類融合信息通過(guò)小型 MCU 處理即可。

對(duì)于始終在線的智能家居設(shè)備，用戶可能還會(huì)看到麥克風(fēng)、攝像頭和雷達(dá)的組合。這些設(shè)備可以在檢測(cè)到用戶存在時(shí)與用戶進(jìn)行智能交互，然后響應(yīng)命令。“智能”傳感器將用于限制功耗，例如僅在檢測(cè)到某個(gè)面部（簡(jiǎn)單算法、低性能要求）之后，才進(jìn)行啟動(dòng)面部識(shí)別（復(fù)雜算法、高性能要求）。計(jì)算要求會(huì)隨著時(shí)間的推移而出現(xiàn)巨大的差異。該系統(tǒng)必須在有需要時(shí)提供峰值性能，但需要?jiǎng)討B(tài)地管理計(jì)算資源及其消耗的功率。隨著來(lái)自視覺(jué)、語(yǔ)音和雷達(dá)傳感器的數(shù)據(jù)量增加，處理數(shù)據(jù)需要數(shù)十億次操作/秒 (GOPS)。

高效實(shí)現(xiàn)傳感器融合所需的關(guān)鍵特性

如前所述，傳感器融合包含兩個(gè)主要階段：(1) 提取信息，(2) 結(jié)合信息以得出結(jié)果。這在圖 2 中加以說(shuō)明。

圖 2：傳感器融合處理鏈

第 1 階段也可以稱為傳感器融合的前端。根據(jù)傳感器和相關(guān)的信息，應(yīng)用不同的數(shù)字信號(hào)處理算法。對(duì)于語(yǔ)音，這可能是計(jì)算梅爾頻率倒譜系數(shù) (MFCC)，其應(yīng)用傅里葉變換和其它各種 DSP 操作從語(yǔ)音信號(hào)提取頻譜特征。數(shù)據(jù)將以整數(shù)格式，很可能以 16 比特表示。

對(duì)于攝像頭，它是具有圖像縮放、色彩空間轉(zhuǎn)換、過(guò)濾或特征檢測(cè)等功能的圖像信號(hào)處理。此處數(shù)據(jù)表示為像素，數(shù)據(jù)格式為 8 比特，最多 16 比特。 最后，對(duì)于雷達(dá)，此類前端處理包括范圍和速度 FFT 以及用于閾值的恒定虛警率 (CFAR)。由于動(dòng)態(tài)范圍和精度要求，數(shù)據(jù)類型為半精度或全精度浮點(diǎn)。 第二階段是信息結(jié)合（后端處理）。要使用的算法與應(yīng)用息息相關(guān)。任務(wù)可以包括對(duì)象檢測(cè)、識(shí)別、跟蹤以及預(yù)測(cè)，例如，使用卡爾曼濾波的遞歸估計(jì)器。可以應(yīng)用基于 AI 的機(jī)器學(xué)習(xí)算法以及線性代數(shù)操作。當(dāng)然，數(shù)據(jù)類型將非常依賴于算法。

由于這些特定但不同的要求，傳感器融合需要一款滿足下列關(guān)鍵要求的數(shù)字信號(hào)處理器 (DSP)。

多功能性

算法和數(shù)據(jù)類型在很大程度上取決于應(yīng)用。因此，DSP 架構(gòu)必須支持豐富的指令集，以便高效實(shí)現(xiàn)不同的算法，并特別關(guān)注 FFT 或線性代數(shù)等性能關(guān)鍵型操作。DSP 必須支持不同精度的整數(shù)和浮點(diǎn)數(shù)據(jù)類型。

這種 DSP 需要成為合格的靈活計(jì)算資源，這意味著它需要能夠執(zhí)行通常與 DSP 相關(guān)聯(lián)的“經(jīng)典”過(guò)濾操作，以及機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)算法。

可擴(kuò)展性

為了避免一次性投資，可擴(kuò)展性是關(guān)鍵。雖然對(duì)不同傳感器的要求不同，但對(duì)于不同設(shè)計(jì)的所有信號(hào)處理要求，非常希望使用相同的基準(zhǔn)架構(gòu)，以限制系統(tǒng)集成工作，并最大限度地提高整體軟件開發(fā)效率?？蓴U(kuò)展性讓設(shè)計(jì)師能夠選擇配置，從而為目標(biāo)應(yīng)用提供最佳 PPA。

可擴(kuò)展性不僅僅關(guān)乎硬件。針對(duì)特定架構(gòu)進(jìn)行內(nèi)核優(yōu)化，是軟件方面的一項(xiàng)重大投入。重要的是，此類軟件可以在這些 SoC 上重復(fù)使用，從而能夠重復(fù)使用不同版本的 SoC（例如低端/中端/高端版本）。

PPA 優(yōu)化

就性能/功耗/面積而言，有諸多方面可進(jìn)行優(yōu)化。從性能開始，它關(guān)乎核心本身的循環(huán)效率（即執(zhí)行特定功能所需的循環(huán)次數(shù)），以及可用的處理引擎和能夠利用這些引擎的 ISA。這直接關(guān)系到對(duì)數(shù)據(jù)移動(dòng)的有效支持，與數(shù)據(jù)處理并行，然后連接到一組豐富（最好是可配置的）接口，例如，將加速器和外圍設(shè)備直接連接到核心，而不通過(guò)系統(tǒng)存儲(chǔ)器。

DSP 的最大時(shí)鐘頻率體現(xiàn)出另一方面的性能。它決定 DSP 可以提供多少馬力（以每秒周期為單位），但也影響物理 SoC 設(shè)計(jì)中時(shí)序收斂所需的工作量。 低功耗與性能效率以及僅在需要時(shí)喚醒某些內(nèi)核的選項(xiàng)直接相關(guān)（如智能家居應(yīng)用中所述：等待喚醒信息）。 最后，小面積對(duì)成本以及漏電有直接影響。

高效的軟件開發(fā)

軟件開發(fā)必須高效，因?yàn)閷?duì)于幾乎所有項(xiàng)目來(lái)說(shuō)，大筆的投資（以及相關(guān)人員）都耗費(fèi)在了軟件開發(fā)和測(cè)試上。這需要一個(gè)具有優(yōu)化編譯器的高級(jí)編程模型，以及一組豐富的庫(kù)，其中包含用于濾波、轉(zhuǎn)換（例如 FFT）、矢量數(shù)學(xué)、線性代數(shù)和機(jī)器學(xué)習(xí)的現(xiàn)成優(yōu)化內(nèi)核。當(dāng)然，還需要驅(qū)動(dòng)程序、DMA 處理程序、中斷處理程序等低級(jí)模塊。隨著對(duì)軟件的大量投資，務(wù)必要讓此類軟件可移植到廣泛的體系架構(gòu)選項(xiàng)中，例如，支持不同的向量長(zhǎng)度，無(wú)需重新編碼。

DesignWare? ARC? VPX DSP IP助力傳感器融合

VPX DSP IP 是 在VLIW/SIMD 處理器系列中，適用于從永遠(yuǎn)在線設(shè)備到汽車 ADAS ，再到視覺(jué)、機(jī)器學(xué)習(xí)和高性能計(jì)算等廣泛的信號(hào)處理應(yīng)用。圖 3 提供了概述。

圖 3：DesignWare ARC VPX DSP IP 塊狀圖

VPX 系列非常適合傳感器融合要求，因?yàn)樗商峁┛蓴U(kuò)展性和多功能性，以實(shí)現(xiàn)最佳的 PPA 和軟件開發(fā)效率，從而提高整體生產(chǎn)效率。

所有 VPX 系列產(chǎn)品均基于相同的 VLIW/SIMD 架構(gòu)。現(xiàn)實(shí)中，設(shè)計(jì)人員常會(huì)遇到，在選擇了某個(gè)向量長(zhǎng)度后，卻發(fā)現(xiàn) PPA 的要求需要不同配置的情況。而在VPX系列產(chǎn)品中，客戶可以根據(jù)自己的需求擴(kuò)展解決方案，從 128 位到 512 位的不同矢量長(zhǎng)度中進(jìn)行自由選擇，非常方便。得益于可變矢量長(zhǎng)度 (VLA) 編程模型，代碼可以在VPX系列之間遷移，因此執(zhí)行起來(lái)非常容易。VLA 編程可確保軟件投資的安全性，既可為當(dāng)前項(xiàng)目提供靈活性，又可為未來(lái)項(xiàng)目提供可重用性。除矢量長(zhǎng)度外，客戶可以從單核、雙核或四核配置中進(jìn)行選擇，多核配置已預(yù)先集成并準(zhǔn)備好用于緩存一致性和共享的多通道 DMA。

除了不同的矢量長(zhǎng)度外，每個(gè) VPX 內(nèi)核都高度可配置，從而可定制架構(gòu)以獲得最佳性能，同時(shí)擁有最小的面積。以不需要浮點(diǎn)、但極其受限于面積和功率的應(yīng)用為例：使用 ARChitect 配置工具，用戶可以選擇不包括（標(biāo)量和最多兩個(gè)矢量）浮點(diǎn)單元。此可選單元的另一實(shí)例是專用矢量數(shù)學(xué)單元，用于非常高效地執(zhí)行例如 sin(x)、cos(x)、2^x、div、sqrt、1/sqrt、log_2(x) 等操作。 如上文所解釋，依傳感器和應(yīng)用于傳感器數(shù)據(jù)的算法而定，需要不同的數(shù)據(jù)類型。VPX 支持的數(shù)據(jù)類型范圍廣泛，從浮點(diǎn)到覆蓋應(yīng)用（如高分辨率雷達(dá)）所需的動(dòng)態(tài)范圍，再到用于 AI 應(yīng)用的小規(guī)模整數(shù)類型。

VPX 指令集架構(gòu) (ISA) 已調(diào)整為高效執(zhí)行關(guān)鍵信號(hào)處理內(nèi)核，例如 FFT 或矩陣操作。以 FFT 操作為例，通過(guò)矢量負(fù)載/雙倍存儲(chǔ)（指從內(nèi)存?zhèn)鬏敂?shù)據(jù)達(dá)矢量長(zhǎng)度的兩倍）和專用 FFT 指令相結(jié)合，可以在軟件中執(zhí)行所有 FFT 操作，甚至對(duì)于多傳感器雷達(dá)場(chǎng)景也不例外。這避免了采用專用硬件加速器而帶來(lái)的成本開支，也因而實(shí)現(xiàn)了功率和面積的節(jié)省。

ISA 和微架構(gòu)（即實(shí)施不同功能單元的方式）是實(shí)現(xiàn)最佳 PPA 的關(guān)鍵要素。但是，需要一個(gè)軟件開發(fā)環(huán)境來(lái)釋放硬件的功能。VPX 配有 MetaWare 工具套件，其包括優(yōu)化 C/C++ 編譯器、模擬工具和復(fù)雜的調(diào)試環(huán)境。它包括一組豐富的庫(kù)，可為信號(hào)處理、線性代數(shù)和機(jī)器學(xué)習(xí)提供優(yōu)化的內(nèi)核。這些內(nèi)核是以與矢量長(zhǎng)度無(wú)關(guān)的方式編寫的，因此代碼在 VPX 系列產(chǎn)品中都保持便攜。為了支持對(duì) AI 日益增長(zhǎng)的需求，MetaWare 還提供 NN SDK 和先進(jìn)的圖形映射工具（支持 TensorFlow、Caffe、ONNX）。

圖 4：隨 MetaWare 一起提供的庫(kù)，針對(duì) VPX 進(jìn)行了優(yōu)化

VPX 系列包括為功能安全 (FuSa) 認(rèn)證量身定制的 VPXxFS 變體（VPX2FS、VPX3FS 和 VPX5FS）。這些核心滿足隨機(jī)故障檢測(cè)和系統(tǒng)功能安全開發(fā)流程要求，完全符合 ASIL D ISO 26262 合規(guī)性。VPXxFS DSP 集成了硬件安全功能，例如存儲(chǔ)器和接口的 ECC 保護(hù)、安全監(jiān)測(cè)器和鎖步機(jī)制。一套全面的安全文檔可幫助汽車設(shè)計(jì)師獲得 ISO 26262 功能安全認(rèn)證。此外，VPXxFS DSP 還提供“混合”選項(xiàng)，使用戶可以在硅后軟件中選擇高達(dá) ASIL D 的安全級(jí)別。

總結(jié)

傳感器融合是一個(gè)快速增長(zhǎng)的市場(chǎng)，已進(jìn)入幾乎任何應(yīng)用領(lǐng)域。得益于低成本傳感器的可用性，以及先進(jìn)的算法，它可以在不同市場(chǎng)實(shí)現(xiàn)新的用戶體驗(yàn)，包括智能移動(dòng)設(shè)備、汽車、健康或工業(yè)控制。傳感器融合導(dǎo)致不同的信號(hào)處理工作負(fù)載，因?yàn)椴煌膫鞲衅餍枰煌臄?shù)據(jù)類型來(lái)表示數(shù)據(jù)，并且需要不同的 DSP 算法來(lái)提取與實(shí)際融合過(guò)程相關(guān)的信息。融合過(guò)程（即組合各種傳感器信息流并從中產(chǎn)生有意義的決策）在很大程度上是特定于應(yīng)用程序的。要處理這些不同的工作負(fù)載，需要一個(gè)可擴(kuò)展的處理器來(lái)處理不同的數(shù)據(jù)格式和性能要求，并且需要通用和可配置的架構(gòu)，包括儲(chǔ)存器和接口，以滿足 PPA 要求。DesignWare ARC VPX IP 系列是傳感器融合應(yīng)用的理想解決方案：其矢量長(zhǎng)度為 128 位、256 位或 512 位，可滿足各種信號(hào)處理工作負(fù)載的需求。憑借定制的指令集和專用的數(shù)學(xué)硬件引擎，它可通過(guò)無(wú)與倫比的 PPA 提供卓越的循環(huán)效率。其可變矢量長(zhǎng)度編程模型可確保軟件可在 VPX 系列的所有產(chǎn)品之間重復(fù)使用，從而保護(hù)這一重大投資。