特征檢測(cè)是SLAM系統(tǒng)中常見(jiàn)但耗時(shí)的模塊，隨著SLAM技術(shù)日益廣泛應(yīng)用于無(wú)人機(jī)等功耗受限平臺(tái)，其效率優(yōu)化尤為重要。本文首次針對(duì)視覺(jué)SLAM流程開(kāi)展硬件加速特征檢測(cè)器的對(duì)比研究，通過(guò)對(duì)比現(xiàn)代SoC平臺(tái)（NvidiaJetson Orin與AMD Versal）上最佳GPU加速方案（FAST、Harris、SuperPoint）與對(duì)應(yīng)FPGA加速方案的性能，得出全新結(jié)論。

? 文章：

Accelerated Feature Detectors for Visual SLAM: A Comparative Study of FPGA vs GPU

? 作者：

Ruiqi Ye, Mikel Luján

? 論文鏈接：

https://arxiv.org/abs/2510.13546

? 編譯：

INDEMIND

01 本文核心內(nèi)容

圖像特征檢測(cè)一直是計(jì)算機(jī)視覺(jué)和機(jī)器人領(lǐng)域的重要研究方向，并且在圖像分類(lèi)、目標(biāo)檢測(cè)、視覺(jué)里程計(jì)（VO）和SLAM等更復(fù)雜的算法中發(fā)揮著基礎(chǔ)性作用。這些任務(wù)有時(shí)需要部署在邊緣平臺(tái)上，例如自主無(wú)人機(jī)和機(jī)器人。邊緣平臺(tái)通常使用電池供電，因此受到能源效率的限制。然而，僅使用帶有嵌入式微控制器（例如Arm、RISC-V）的系統(tǒng)級(jí)芯片（SoC）的邊緣平臺(tái)往往無(wú)法滿足這些復(fù)雜任務(wù)的嚴(yán)格要求。

另一方面，高端圖形處理單元（GPU）是計(jì)算機(jī)視覺(jué)和機(jī)器人研究人員廣泛使用的加速器，以實(shí)現(xiàn)實(shí)時(shí)性能。集成到現(xiàn)代SoC中的嵌入式GPU，例如Nvidia Jetson系列產(chǎn)品，使機(jī)器人系統(tǒng)更加節(jié)能。

帶有嵌入式GPU的節(jié)能SoC并非唯一能夠加速特征檢測(cè)的邊緣平臺(tái)。集成現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）的SoC也廣泛可用。集成FPGA的SoC能夠?yàn)樘囟ㄋ惴ㄌ峁┒ㄖ朴布铀?，而無(wú)需通過(guò)PCIe/CXL傳輸數(shù)據(jù)。這種平臺(tái)在用于視覺(jué)SLAM硬件加速方面的研究程度不如GPU。

盡管文獻(xiàn)中有許多進(jìn)展，但特征檢測(cè)仍然計(jì)算密集，因?yàn)檫@些算法往往要對(duì)圖像中的每個(gè)像素進(jìn)行迭代，提取特征點(diǎn)。例如，流行的ICE-BA在其視覺(jué)SLAM流水線的前端使用FAST特征檢測(cè)器。圖1展示了在Nvidia Jetson Orin、AMD VCK190和配備Intel Xeon芯片的工作站上，使用EuRoC數(shù)據(jù)集的MachineHall序列對(duì)ICE-BA定位線程進(jìn)行性能分析的結(jié)果。運(yùn)行時(shí)間分為三個(gè)模塊：預(yù)處理、FAST特征檢測(cè)器和稀疏光流。在兩個(gè)平臺(tái)上，F(xiàn)AST檢測(cè)器的運(yùn)行時(shí)間都占主導(dǎo)地位，至少占執(zhí)行時(shí)間的66%。對(duì)于其他EuRoCMH序列，運(yùn)行時(shí)間分解情況類(lèi)似，因此省略了進(jìn)一步的分解。例如，在Jetson Orin上，F(xiàn)AST檢測(cè)器特征檢測(cè)始終占據(jù)運(yùn)行時(shí)間的80%-85%左右。

因此，利用FPGA設(shè)計(jì)特征檢測(cè)器的硬件加速器已成為計(jì)算機(jī)系統(tǒng)和機(jī)器人領(lǐng)域的一個(gè)熱門(mén)研究方向。近年來(lái)，計(jì)算機(jī)系統(tǒng)和機(jī)器人研究人員開(kāi)始考慮在視覺(jué)SLAM管道中對(duì)特征檢測(cè)進(jìn)行硬件加速。然而，這些研究均還沒(méi)有對(duì)集成在視覺(jué)SLAM管道中的硬件加速特征檢測(cè)器進(jìn)行過(guò)系統(tǒng)化比較。

本文首次對(duì)FPGA和GPU加速的特征檢測(cè)器進(jìn)行了比較研究，考慮了視覺(jué)SLAM管道。由于ICE-BA在精度、效率、一致性和軟件模塊化方面處于領(lǐng)先地位，因此被選為視覺(jué)SLAM管道。本文比較了FAST、Harris和SuperPoint的GPU和FPGA實(shí)現(xiàn)。FAST和SuperPoint分別被選中，因?yàn)樗鼈兎謩e代表了最先進(jìn)的算法和基于神經(jīng)網(wǎng)絡(luò)的特征檢測(cè)器。此外，F(xiàn)AST和SuperPoint提供了其他非基于學(xué)習(xí)的檢測(cè)器（如Harris、SIFT、SUSAN和Shi-Tomasi）所不具備的重復(fù)性。SuperPoint被選中而非SiLK，因?yàn)镾uperPoint是一個(gè)輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)，因此更適合邊緣部署。選擇Harris是為了研究的完整性。

評(píng)估使用了EuRoC數(shù)據(jù)集中的機(jī)器大廳（MH）序列，并表明當(dāng)使用FAST和Harris時(shí)，依賴(lài)GPU的實(shí)現(xiàn)能夠獲得比FPGA實(shí)現(xiàn)更好的運(yùn)行時(shí)性能和能效。然而，當(dāng)考慮SuperPoint時(shí)，其FPGA實(shí)現(xiàn)能夠獲得比GPU實(shí)現(xiàn)更好的運(yùn)行時(shí)性能和能效（分別提高3.1倍和1.4倍）。與GPU加速的ICE-BA相比，F(xiàn)PGA加速的ICE-BA在運(yùn)行時(shí)間性能方面也能達(dá)到相當(dāng)?shù)乃?，?個(gè)數(shù)據(jù)集序列中有2個(gè)序列的幀率更高。然而，從精度來(lái)看，結(jié)果表明，總體而言，GPU加速的ICE-BA比FPGA加速的ICE-BA更準(zhǔn)確。此外，通過(guò)使用硬件加速器進(jìn)行特征檢測(cè)，可以進(jìn)一步提高視覺(jué)SLAM管道的性能，減少全局光束法平差模塊的調(diào)用頻率，同時(shí)不犧牲精度。

02 實(shí)驗(yàn)設(shè)置

A.硬件和軟件設(shè)置

為完整性起見(jiàn)，還包含了一臺(tái)基于英特爾的工作站。

B.數(shù)據(jù)集

評(píng)估使用了來(lái)自EuRoC數(shù)據(jù)集的機(jī)器大廳（MH）序列，其分辨率為752×480。每個(gè)序列被分為“簡(jiǎn)單”、“中等”或“困難”三類(lèi)?！昂?jiǎn)單”序列的環(huán)境具有良好的紋理和照明，“中等”序列包含快速運(yùn)動(dòng)和明亮場(chǎng)景，“困難”序列則有快速運(yùn)動(dòng)和照明不良的場(chǎng)景。MH序列的圖像由立體相機(jī)以20Hz的頻率捕獲，而慣性測(cè)量單元（IMU）數(shù)據(jù)則以200Hz的頻率同步。實(shí)驗(yàn)中僅使用了左相機(jī)的圖像和IMU數(shù)據(jù)。

C.評(píng)估

圖2展示了加速I(mǎi)CE-BA管道的高層概述。綠色模塊在所考慮的SoC的Arm處理器上執(zhí)行。模塊以紅色標(biāo)注（特征檢測(cè)器）在嵌入式GPU或FPGA上進(jìn)行加速。表IV總結(jié)了FAST和Harris特征檢測(cè)器的算法參數(shù)。硬件加速器與軟件基線使用相同的算法參數(shù)。

表V總結(jié)了Nvidia Jetson Orin的配置。

表VI展示了在2個(gè)Arm A72/A78內(nèi)核下不同時(shí)鐘頻率下ICE-BA定位線程所達(dá)到的不同運(yùn)行時(shí)間。

03 實(shí)驗(yàn)對(duì)比

A.特征檢測(cè)器硬件加速器的結(jié)果

圖3總結(jié)了GPU和FPGA加速的FAST和Harris相對(duì)于Xeon上的FAST軟件基線的速度提升和能效改進(jìn)結(jié)果。

對(duì)于FAST加速器，F(xiàn)TFast+Orin max在5個(gè)序列中的4個(gè)（除了MH01）實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能，并且在所有MH序列中實(shí)現(xiàn)了最佳的能效（僅為2.2-2.3毫焦/幀），其次是VCK190上的Vitis FAST加速器，其速度慢12.8%-15.2%。然而，請(qǐng)注意，在Orin max配置下，GPU的時(shí)鐘頻率為1.3GHz，而FAST FPGA加速器的時(shí)鐘頻率為150MHz。與GPU時(shí)鐘頻率與FPGA加速器相同的FTFast+Orin VS相比，Vitis FAST加速器可實(shí)現(xiàn)5.9×-7.7×的速度提升。并且在能源效率方面提升3.3-4.3倍。

與英特爾至強(qiáng)處理器上的OpenCV軟件基線相比，F(xiàn)TFast+Orin max實(shí)現(xiàn)了3.7-7.6倍的速度提升和52-104倍的能效提升，而Vitis FAST加速器實(shí)現(xiàn)了5.1-8.5倍的速度提升和38.3-95.6倍的能效提升。

在Harris加速器方面，Vitis Harris加速器在所有MH序列中均實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能，與英特爾至強(qiáng)處理器上的OpenCV基線相比，速度提升10.6-11倍，與VPI Harris+Orin max相比，速度提升1.01-1.1倍。由于采用了精度較低的數(shù)值計(jì)算方案，Vitis Harris加速器的運(yùn)行速度略勝于VPI Harris+Orin最高配置版本。另一方面，VPI Harris+Orin max在所有MH序列中實(shí)現(xiàn)了最佳的能效，在英特爾至強(qiáng)處理器上比軟件基線提高了136-146倍，在Vitis Harris加速器上提高了1.02-1.1倍。圖4總結(jié)了不同SuperPoint GPU和FPGA加速器的運(yùn)行時(shí)間和能效。

采用VCK190的Vitis SuperPoint加速器在所有MH序列中實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能（28幀/秒）和能效（除MH04外，為745-758毫焦/幀），與SuperPoint+Orin max相比，速度提升2-3.1倍，能效提升1.2-1.4倍。值得注意的是，Vitis SuperPoint加速器是唯一能夠?qū)崿F(xiàn)實(shí)時(shí)性能的加速器，而SuperPoint+Orin max的幀率最高只能達(dá)到14幀/秒。

與FAST加速器相比，兩個(gè)硬件平臺(tái)上的Harris加速器在運(yùn)行時(shí)和能效方面表現(xiàn)更差，尤其是在GPU實(shí)現(xiàn)中。

根據(jù)表VII，SuperPoint加速器的功耗高于FAST和Harris加速器，尤其是在FPGA上（21.1瓦對(duì)10.8瓦對(duì)10.3瓦）。這是因?yàn)镕PGA加速器的功耗與其時(shí)鐘頻率和所占面積成正比。AMD深度學(xué)習(xí)處理器單元（DPU）上運(yùn)行的Vitis SuperPoint的執(zhí)行頻率更高（1.3GHz對(duì)比150MHz），占用面積更大（FF：28%對(duì)比0.82%對(duì)比0.97%，LUT：45%對(duì)比2.91%對(duì)比2.01%，DSP：42%對(duì)比0%對(duì)比0%，BRAM：73%對(duì)比1.24%對(duì)比3.62%，AIE：48%對(duì)比0%對(duì)比0%），與Vitis FAST和Harris加速器相比。

B.硬件加速I(mǎi)CE-BA的結(jié)果

圖5總結(jié)了將ICE-BA管道與GPU和FPGA加速的FAST和Harris集成后，相對(duì)于軟件基線（ICE-BA+OpenCV FAST+Xeon）的速度提升和能效改進(jìn)情況。

圖7總結(jié)了ICE-BA管道與不同F(xiàn)AST、Harris和SuperPoint加速器集成后的精度（以RMSEATE衡量）。

關(guān)于與FAST加速器集成的ICE-BA，ICE-BA+FTFast+Orin max在所有MH序列中均實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能和能效。該管道的運(yùn)行時(shí)性能和能效可低至9毫秒（111幀/秒）和183毫焦/幀。

與Orin相比，ICE-BA與Vitis FAST加速器集成后性能和能效均較差，這是由于處理器微架構(gòu)（Arm A72對(duì)比Arm A78）、處理器核心數(shù)量（2對(duì)比12）以及時(shí)鐘頻率（1.2GHz對(duì)比2.2GHz）的差異所致。然而，與ICE-BA+FTFast+Orin VS相比，ICE-BA與Vitis FAST加速器集成后可實(shí)現(xiàn)相當(dāng)?shù)倪\(yùn)行時(shí)性能，在MH03、MH04和MH05序列中性能略優(yōu)。不過(guò)，與ICE-BA+FTFast+Orin VS相比，ICE-BA與FAST FPGA加速器集成后能效更低，這是由于功耗更高（12.6瓦對(duì)比16.7瓦，見(jiàn)表VII）。

與Xeon上的軟件基線相比，ICE-BA+FTFast+Orin max管道實(shí)現(xiàn)速度提升2.1-10.5倍，能效提升11.9-57.3倍。與軟件基線相比，ICE-BA管道與Vitis FAST加速器集成后能效提升了3-25.1倍。關(guān)于精度，總體而言，ICE-BA+FTFast的精度略高于軟件基線，而ICE-BA與Vitis FAST加速器集成后的精度低于ICE-BA+FTFast，但MH05除外。這主要是由于使用了近似值和低精度數(shù)字，其中移位操作用于近似乘法和除法操作，并且使用了定點(diǎn)數(shù)而非浮點(diǎn)數(shù)。

在ICE-BA與Harris加速器集成方面，ICE-BA+VPI Harris+Orin max在MH01和MH02序列中實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能，而ICE-BA管道與Vitis Harris加速器集成在MH03、MH04和MH05序列中實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能。

令人驚訝的是，在“中等”和“困難”情況下，ICE-BA+Vitis Harris的運(yùn)行時(shí)性能優(yōu)于ICE-BA+VPI Harris+Orin max。在具有快速運(yùn)動(dòng)和光照不良的序列數(shù)據(jù)集上，盡管在Arm處理器微架構(gòu)方面存在劣勢(shì)，但就能效而言，在MH01和MH02序列中，ICE-BA+VPI Harris+Orin VS是最節(jié)能的實(shí)現(xiàn)方式，而在MH03、MH04和MH05序列中，ICE-BA+Vitis Harris則是最節(jié)能的實(shí)現(xiàn)方式。在精度方面，ICE-BA與Harris FPGA加速器集成在“簡(jiǎn)單”序列（MH01和MH02）中比GPU對(duì)應(yīng)實(shí)現(xiàn)更準(zhǔn)確，而ICE-BA與Harris GPU加速器集成在“中等”和“困難”序列（MH03、MH04和MH05）中更準(zhǔn)確。

與Xeon上的軟件基線相比，ICE-BA+VPI Harris+Orin最大流水線實(shí)現(xiàn)了2.2-3.6倍的速度提升和12.2-20倍的能效提升。與軟件基線相比，ICE-BA流水線與Vitis Harris加速器集成實(shí)現(xiàn)了1.7-4.4倍的速度提升和12.6-33.4倍的能效提升。

圖5總結(jié)了ICE-BA流水線與GPU和FPGA加速的SuperPoint集成的運(yùn)行時(shí)性能和能效。有趣的是，盡管VCK190上的Arm內(nèi)核數(shù)量有限且頻率較低，但I(xiàn)CE-BA+Vitis SuperPoint在MH01和MH02序列上仍能實(shí)現(xiàn)最佳的運(yùn)行時(shí)性能和能效。我們認(rèn)為這是由于MH01和MH02是“簡(jiǎn)單”的序列，代表了具有良好紋理的場(chǎng)景。

與ICE-BA+SuperPoint+Orin max相比，ICE-BA+Vitis SuperPoint在MH01和MH02序列上實(shí)現(xiàn)了高達(dá)1.5倍的速度提升和1.1倍的能效提升。在其余序列中，ICE-BA+Vitis SuperPoint也能實(shí)現(xiàn)與ICE-BA+SuperPoint+Orin max相當(dāng)?shù)倪\(yùn)行時(shí)性能。

ICE-BA+SuperPoint+Orin max在MH03、MH04和MH05序列上實(shí)現(xiàn)了最佳的運(yùn)行時(shí)性能（高達(dá)7FPS）和能效。在精度方面，ICE-BA與SuperPoint GPU加速器集成通常比ICE-BA+Vitis SuperPoint更準(zhǔn)確，除了MH04序列。ICE-BA+Vitis SuperPoint的精度較低，因?yàn)閂itis SuperPoint使用INT8精度進(jìn)行量化，而SuperPoint GPU加速器使用FP16精度。

總體而言，與采用Harris GPU加速器的ICE-BA相比，采用FAST GPU加速器的ICE-BA性能更高、能耗更低且更精準(zhǔn)。然而，ICE-BA+Vitis FAST的性能和能耗效率略遜于ICE-BA+Vitis Harris，在諸如MH01、MH02和MH03這類(lèi)“簡(jiǎn)單”和“中等”難度的序列中，其精度也更低。此外，盡管ICE-BA+SuperPoint是運(yùn)行時(shí)性能和能耗效率最差的配置，但它在精度方面并不總是優(yōu)于ICE-BA+FAST或ICE-BA+Harris。

例如，在兩個(gè)硬件平臺(tái)上，ICE-BA+SuperPoint僅在紋理和光照良好的MH01“簡(jiǎn)單”序列上比ICE-BA+FAST和ICE-BA+Harris更準(zhǔn)確。我們還發(fā)現(xiàn)，使用硬件加速器進(jìn)行特征檢測(cè)，可能會(huì)對(duì)ICE-BA管道中映射線程的下游模塊的運(yùn)行時(shí)性能產(chǎn)生積極影響，尤其是全局光束法平差模塊。

表VIII總結(jié)了特征檢測(cè)模塊和定位線程的運(yùn)行時(shí)間，以及與不同F(xiàn)AST實(shí)現(xiàn)集成的ICE-BA管道的運(yùn)行時(shí)間和精度。根據(jù)表VIII，在將OpenCV中的FAST實(shí)現(xiàn)替換為FTFast和Vitis FAST后，特征檢測(cè)模塊的運(yùn)行時(shí)間分別減少了1.01毫秒-2.15毫秒（GPU）和4.72毫秒-7.12毫秒（FPGA），而定位線程的運(yùn)行時(shí)間分別減少了0.61毫秒-1.19毫秒（GPU）和3.4毫秒-4.93毫秒（FPGA）。然而，管道的運(yùn)行時(shí)間減少幅度要大得多，即15.29毫秒-63.34毫秒（GPU）和63.91毫秒-274.46毫秒（FPGA）。

考慮到定位線程與映射線程中的局部和全局光束法平差模塊并行運(yùn)行，而全局光束法平差模塊在視覺(jué)SLAM管道中通常是耗時(shí)最長(zhǎng)的模塊，我們認(rèn)為使用硬件加速器進(jìn)行特征檢測(cè)會(huì)影響全局光束法平差模塊的性能。進(jìn)一步的研究表明，與使用OpenCV FAST相比，使用FTFast或Vitis FAST時(shí)，全局光束法平差的調(diào)用頻率更低，從而減少了運(yùn)行時(shí)間。全局光束法平差是一個(gè)非線性最小二乘系統(tǒng)求解器，它聯(lián)合優(yōu)化全局地圖中的所有地標(biāo)以及從每個(gè)地標(biāo)可觀測(cè)到的特征點(diǎn)，以進(jìn)一步減少累積的平移和旋轉(zhuǎn)誤差，從而提高精度。令人驚訝的是，盡管全局光束法平差的調(diào)用頻率更低，但在所有MH序列中，ICE-BA+FTFast的精度都高于ICE-BA+OpenCV FAST。

04 總結(jié)

本文是首次針對(duì)先進(jìn)系統(tǒng)級(jí)芯片（SoC）結(jié)合現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）/圖形處理器（GPU）的視覺(jué)SLAM系統(tǒng)中特征檢測(cè)器的研究。

評(píng)估結(jié)果表明，使用非基于學(xué)習(xí)的特征檢測(cè)器（如FAST和Harris）時(shí)，來(lái)自Nvidia VPI庫(kù)的FTFast和Harris，以及ICE-BA+FTFast和ICE-BA+VPI Harris，其運(yùn)行時(shí)性能和能效優(yōu)于Vitis FAST和Harris加速器以及FPGA加速的ICE-BA。然而，當(dāng)考慮基于學(xué)習(xí)的檢測(cè)器（如SuperPoint）時(shí)，Vitis SuperPoint加速器在運(yùn)行時(shí)性能和能效方面（分別提高了3.1倍和1.4倍）優(yōu)于其GPU對(duì)應(yīng)版本。ICE-BA+Vitis SuperPoint在運(yùn)行時(shí)性能方面也與集成SuperPoint GPU加速器的ICE-BA相當(dāng)，在5個(gè)數(shù)據(jù)集序列中有2個(gè)序列的幀率更高。不過(guò)，從精度方面來(lái)看，結(jié)果表明，總體而言，GPU加速的ICE-BA比FPGA加速的ICE-BA更準(zhǔn)確。我們還發(fā)現(xiàn)，使用硬件加速進(jìn)行特征檢測(cè)能夠進(jìn)一步提升運(yùn)行時(shí)性能。通過(guò)減少全局光束法平差（通常是計(jì)算量最大的模塊）的調(diào)用頻率來(lái)優(yōu)化視覺(jué)SLAM管道，同時(shí)不犧牲精度。