在計算機視覺領域，目標檢測是一項關鍵技術，旨在識別圖像或視頻中感興趣物體的位置與類別。傳統(tǒng)的閉集檢測長期占據(jù)主導地位，但近年來，開放詞匯檢測（Open-Vocabulary Object Detection-OVOD 或者 Open-Set Object Detection-OSOD）嶄露頭角，為目標檢測帶來了新的活力與可能性。與閉集檢測相比，開放詞匯檢測打破了檢測類別固定的“枷鎖”，它在訓練時利用豐富多樣的文本 - 區(qū)域?qū)Γ╰ext-region pairs）數(shù)據(jù)，將文本作為類別標簽，大大拓寬了可檢測的范圍。尤其是在機器人感受周圍環(huán)境的任務中，能夠起到極大的幫助。

目前主流的開放詞匯檢測算法有Grounding-DINO系列和YOLO-World。在海量的私有數(shù)據(jù)集的加持下，前者具有非常強大的檢測能力，精度遙遙領先，其模型依賴參數(shù)量較大的Transformer結(jié)構，實時性較弱。后者依賴輕量級的Convolution結(jié)構，能夠達到實時推理的效率，精度上依然不錯。

DOSOD（Decoupled Open-Set Object Detection）是地瓜機器人最新發(fā)布的開放詞匯目標檢測算法，力求在低算力邊緣端實現(xiàn)更高的推理效率，同時帶來比YOLO-World更具競爭力的精度表現(xiàn)。在算法上，DOSOD采用了獨特的解耦特征對齊策略，摒棄了傳統(tǒng)的圖像-文本交互方式，通過基于MLPs的特征適配模塊對圖像與文本的特征進行優(yōu)化與對齊，進一步提升了模型的推理效率和精度。

實驗結(jié)果顯示，DOSOD在多個公開數(shù)據(jù)集（如LVIS）上的表現(xiàn)超越了YOLO-World-v2，并在邊緣AI計算平臺上展現(xiàn)了壓倒性的效率優(yōu)勢。

文章開源地址：https://arxiv.org/abs/2412.14680

代碼開源地址：https://github.com/D-Robotics-AI-Lab/DOSOD

文章由地瓜機器人應用算法部，中科院自動化所多模態(tài)人工智能系統(tǒng)全國重點實驗室，蘇州大學未來學院，上?？萍即髮W信息科學技術學院聯(lián)合出品。

DOSOD的基本原理

目前主流的開放詞匯檢測對齊策略主要分為以下三種：

(a) 教師 - 學生蒸餾方法

• 描述：利用 VLM（視覺語言模型）的文本編碼器生成的文本嵌入來監(jiān)督圖像特征和檢測器特征的對齊。也可以通過裁剪圖像區(qū)域來對齊特征。
• 總結(jié)：通過 VLM 的文本編碼器來指導圖像和檢測器特征的對齊。

(b) 基于交互的對齊策略

• 描述：文本嵌入與檢測器骨干網(wǎng)絡提取的圖像特征進行交互，以實現(xiàn)對齊。
• 總結(jié)：通過文本嵌入與圖像特征的交互來實現(xiàn)特征對齊。

(c) 提出的解耦對齊策略

• 描述：在不進行交互的情況下對齊特征，通過視覺 - 語言特征適配來實現(xiàn)。
• 總結(jié)：采用解耦方式，不依賴交互來進行特征對齊。

DOSOD（Decoupled Open-Set Object Detection） 屬于第三種開放詞匯檢測對齊策略——解耦對齊策略。該方法的核心思想是通過將文本和圖像模態(tài)的特征解耦，以實現(xiàn)更高效的對齊過程，從而在保證檢測精度的同時大幅提升推理速度。

在此基礎上，DOSOD洞察到了閉集檢測與開放詞匯檢測之間的本質(zhì)聯(lián)系，提出了全新的結(jié)構框架（如上圖所示）。具體來說，DOSOD將傳統(tǒng)分類分支最后的卷積操作等價地解構為兩個模態(tài)的特征對齊操作，從而激發(fā)出解耦的特征學習和共同空間對齊的結(jié)構。

在該框架中，類別標簽文本首先通過一個文本編碼器（來自VLM）生成初步的Text Embedding，然后經(jīng)過一個基于MLPs的特征適應模塊，對Text Embedding進行特征優(yōu)化，為Joint Space中的對齊操作做準備。

在圖像側(cè)，DOSOD使用經(jīng)典的單階段目標檢測器（文中使用了YOLOv8）來提取圖像的多尺度特征圖。每個特征點表示圖像中的一個區(qū)域特征。最后，在Joint Space中，通過計算Text Embedding與Region Feature之間的相似度，從而完成特征對齊。

DOSOD的實驗結(jié)果

在實驗部分，DOSOD在公開數(shù)據(jù)集上進行了預訓練，并在LVIS和COCO數(shù)據(jù)集上進行了Zero-shot驗證。DOSOD均擁有優(yōu)秀的精度表現(xiàn)：

• 在LVIS數(shù)據(jù)集上，相較于YOLO-World-v2，DOSOD精度全面領先，并與YOLO-World-v1不分伯仲。

• 在COCO數(shù)據(jù)集上，DOSOD整體精度要略低于YOLO-World，但YOLO-World-v2的精度微高于YOLO-World-v1，也一定程度上說明，COCO由于詞匯豐富程度較低，不太適用于開放詞匯檢測任務評測。

在推理速度上，通過將DOSOD與YOLO-World在NVIDIA RTX 4090和D-Robotics RDK X5上進行全面對比，我們可以看到：

• DOSOD在主流的服務器級別的芯片上，推理效率是顯著高于YOLO-World。

• 在邊緣側(cè)的AI計算平臺上，DOSOD以碾壓式的效率提升，遠遠超越Y(jié)OLO-World。

DOSOD的應用效果

DOSOD開放詞匯檢測算法有著廣泛的應用場景，既能用于常規(guī)檢測任務里的目標檢測，也可以應用在特殊場景下長尾目標類型的檢測任務當中。針對某些極端長尾的目標類型，只需收集少量相關數(shù)據(jù)進行微調(diào)，就能顯著提高模型的穩(wěn)定性和檢測效果。

• DOSOD 在常規(guī)目標檢測上的檢測效果

在閉集目標檢測任務中，COCO數(shù)據(jù)集預先定義了80個固定類別。我們可以看到，在經(jīng)過大數(shù)據(jù)量的開放詞匯數(shù)據(jù)集預訓練后，DOSOD能夠檢測出諸多長尾類別，如圖2左下角的“heater”，圖4中的“shoe”和“wheel”，而這些詞匯并未包含在COCO數(shù)據(jù)集的80個類別之內(nèi)。

• DOSOD 在特殊場景的長尾類別上的檢測效果

以下展示的是掃地機視角下的圖像，任務要求是檢測出地面上的各類污漬或障礙物，這些類別并不是常規(guī)目標檢測任務中的標準類別。通過少量數(shù)據(jù)的微調(diào)，DOSOD成功識別了這些特殊類別，為在該場景中準確檢測出多樣化的長尾類別發(fā)揮了關鍵作用。

DOSOD作為一款新興的開放詞匯檢測算法，憑借創(chuàng)新的解耦特征對齊策略，在提升推理效率的同時，成功地保證了精度，展示出了極強的應用潛力。未來，隨著計算資源的提升與算法的不斷優(yōu)化，DOSOD有望在機器人、自動駕駛、智能家居等領域提供更加高效精準的目標檢測解決方案。

作為地瓜機器人前沿算法研究的最新成果，DOSOD不僅在精度上超越了對標方法，更成功解決了推理效率與低算力設備適應性之間的挑戰(zhàn)，為智能機器人技術的普及與發(fā)展提供了有力支持。

未來，地瓜機器人將秉承“成為機器人時代的Wintel”的品牌初心，持續(xù)與客戶一同深入應用場景，在提供擁有極致性能表現(xiàn)的硬件的同時，為行業(yè)客戶和開發(fā)者提供豐富的具有實用價值的算法，加速機器人技術的落地和廣泛應用。