YOLOv7在 5 FPS 到 160 FPS 范圍內(nèi)的速度和準(zhǔn)確度都超過了所有已知的目標(biāo)檢測(cè)器，并且在 GPU V100 上 30 FPS 或更高的所有已知實(shí)時(shí)目標(biāo)檢測(cè)器中具有最高的準(zhǔn)確度 56.8% AP。

YOLOv7-E6目標(biāo)檢測(cè)器（56 FPS V100，55.9% AP）比基于Transformer的檢測(cè)器SWIN-L Cascade-Mask R-CNN（9.2 FPS A100，53.9% AP）的速度和準(zhǔn)確度分別高出 509% 和 2%，并且比基于卷積的檢測(cè)器ConvNeXt-XL Cascade-Mask R-CNN(8.6 FPS A100, 55.2% AP) 速度提高 551%，準(zhǔn)確率提高 0.7%，以及YOLOv7的表現(xiàn)還優(yōu)于：YOLOR、YOLOX、Scaled-YOLOv4、YOLOv5、DETR、Deformable DETR、DINO-5scale-R50、ViT-Adapter-B和許多其他速度和準(zhǔn)確度的目標(biāo)檢測(cè)器。此外，只在MS COCO數(shù)據(jù)集上從零開始訓(xùn)練YOLOv7，而不使用任何其他數(shù)據(jù)集或預(yù)訓(xùn)練的權(quán)重。

1模型設(shè)計(jì)

1.1、擴(kuò)展的高效層聚合網(wǎng)絡(luò)

在大多數(shù)關(guān)于設(shè)計(jì)高效架構(gòu)的文獻(xiàn)中，主要考慮因素不超過參數(shù)的數(shù)量、計(jì)算量和計(jì)算密度。Ma 等人還從內(nèi)存訪問成本的特點(diǎn)出發(fā)，分析了輸入/輸出通道比、架構(gòu)的分支數(shù)量以及element-wise 操作對(duì)網(wǎng)絡(luò)推理速度的影響。多爾阿爾等人在執(zhí)行模型縮放時(shí)還考慮了激活，即更多地考慮卷積層輸出張量中的元素?cái)?shù)量。

• 圖 2（b）中CSPVoVNet的設(shè)計(jì)是VoVNet的一種變體。CSPVoVNet的架構(gòu)除了考慮上述基本設(shè)計(jì)問題外，還分析了梯度路徑，以使不同層的權(quán)重能夠?qū)W習(xí)到更多樣化的特征。上述梯度分析方法使推理更快、更準(zhǔn)確。

• 圖 2 (c) 中的ELAN考慮了以下設(shè)計(jì)策略——“如何設(shè)計(jì)一個(gè)高效的網(wǎng)絡(luò)？”。他們得出了一個(gè)結(jié)論：通過控制最短最長的梯度路徑，更深的網(wǎng)絡(luò)可以有效地學(xué)習(xí)和收斂。

在本文中，作者提出了基于ELAN的Extended-ELAN (E-ELAN)，其主要架構(gòu)如圖 2（d）所示。

無論梯度路徑長度和大規(guī)模ELAN中計(jì)算塊的堆疊數(shù)量如何，它都達(dá)到了穩(wěn)定狀態(tài)。如果無限堆疊更多的計(jì)算塊，可能會(huì)破壞這種穩(wěn)定狀態(tài)，參數(shù)利用率會(huì)降低。作者提出的E-ELAN使用expand、shuffle、merge cardinality來實(shí)現(xiàn)在不破壞原有梯度路徑的情況下不斷增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力的能力。

在架構(gòu)方面，E-ELAN只改變了計(jì)算塊的架構(gòu)，而過渡層的架構(gòu)完全沒有改變。策略是使用組卷積來擴(kuò)展計(jì)算塊的通道和基數(shù)。將對(duì)計(jì)算層的所有計(jì)算塊應(yīng)用相同的組參數(shù)和通道乘數(shù)。然后，每個(gè)計(jì)算塊計(jì)算出的特征圖會(huì)根據(jù)設(shè)置的組參數(shù)g被打亂成g個(gè)組，然后將它們連接在一起。此時(shí)，每組特征圖的通道數(shù)將與原始架構(gòu)中的通道數(shù)相同。最后，添加 g 組特征圖來執(zhí)行合并基數(shù)。E-ELAN除了保持原有的ELAN設(shè)計(jì)架構(gòu)外，還可以引導(dǎo)不同組的計(jì)算塊學(xué)習(xí)更多樣化的特征。

1.2、基于concatenate模型的模型縮放

模型縮放的主要目的是調(diào)整模型的一些屬性，生成不同尺度的模型，以滿足不同推理速度的需求。例如，EfficientNet的縮放模型考慮了寬度、深度和分辨率。對(duì)于Scale-yolov4，其縮放模型是調(diào)整階段數(shù)。Doll‘a(chǎn)r等人分析了卷積和群卷積對(duì)參數(shù)量和計(jì)算量的影響，并據(jù)此設(shè)計(jì)了相應(yīng)的模型縮放方法。

上述方法主要用于諸如PlainNet或ResNet等架構(gòu)中。當(dāng)這些架構(gòu)在執(zhí)行放大或縮小過程時(shí)，每一層的in-degree和out-degree都不會(huì)發(fā)生變化，因此可以獨(dú)立分析每個(gè)縮放因子對(duì)參數(shù)量和計(jì)算量的影響。然而，如果這些方法應(yīng)用于基于concatenate的架構(gòu)時(shí)會(huì)發(fā)現(xiàn)當(dāng)擴(kuò)大或縮小執(zhí)行深度，基于concatenate的轉(zhuǎn)換層計(jì)算塊將減少或增加，如圖3(a)和(b).所示

從上述現(xiàn)象可以推斷，對(duì)于基于concatenate的模型不能單獨(dú)分析不同的縮放因子，而必須一起考慮。以scaling-up depth為例，這樣的動(dòng)作會(huì)導(dǎo)致transition layer的輸入通道和輸出通道的比例發(fā)生變化，這可能會(huì)導(dǎo)致模型的硬件使用率下降。

因此，必須為基于concatenate的模型提出相應(yīng)的復(fù)合模型縮放方法。當(dāng)縮放一個(gè)計(jì)算塊的深度因子時(shí)，還必須計(jì)算該塊的輸出通道的變化。然后，將對(duì)過渡層進(jìn)行等量變化的寬度因子縮放，結(jié)果如圖3（c）所示。本文提出的復(fù)合縮放方法可以保持模型在初始設(shè)計(jì)時(shí)的特性并保持最佳結(jié)構(gòu)。

2訓(xùn)練方法

2.1 Planned re-parameterized convolution

盡管RepConv在VGG基礎(chǔ)上取得了優(yōu)異的性能，但當(dāng)將它直接應(yīng)用于ResNet、DenseNet和其他架構(gòu)時(shí)，它的精度將顯著降低。作者使用梯度流傳播路徑來分析重參數(shù)化的卷積應(yīng)該如何與不同的網(wǎng)絡(luò)相結(jié)合。作者還相應(yīng)地設(shè)計(jì)了計(jì)劃中的重參數(shù)化的卷積。

RepConv實(shí)際上結(jié)合了3×3卷積，1×1卷積，和在一個(gè)卷積層中的id連接。通過分析RepConv與不同架構(gòu)的組合及其性能，作者發(fā)現(xiàn)RepConv中的id連接破壞了ResNet中的殘差和DenseNet中的連接，為不同的特征圖提供了更多的梯度多樣性。

基于上述原因，作者使用沒有id連接的RepConv(RepConvN)來設(shè)計(jì)計(jì)劃中的重參數(shù)化卷積的體系結(jié)構(gòu)。在作者的思維中，當(dāng)具有殘差或連接的卷積層被重新參數(shù)化的卷積所取代時(shí)，不應(yīng)該存在id連接。圖4顯示了在PlainNet和ResNet中使用的“Planned re-parameterized convolution”的一個(gè)示例。對(duì)于基于殘差的模型和基于concatenate的模型中Planned re-parameterized convolution實(shí)驗(yàn)，它將在消融研究環(huán)節(jié)中提出。

2.2 標(biāo)簽匹配

深度監(jiān)督是一種常用于訓(xùn)練深度網(wǎng)絡(luò)的技術(shù)。其主要概念是在網(wǎng)絡(luò)的中間層增加額外的auxiliary Head，以及以auxiliary損失為導(dǎo)向的淺層網(wǎng)絡(luò)權(quán)值。即使對(duì)于像ResNet和DenseNet這樣通常收斂得很好的體系結(jié)構(gòu)，深度監(jiān)督仍然可以顯著提高模型在許多任務(wù)上的性能。圖5(a)和(b)分別顯示了“沒有”和“有”深度監(jiān)督的目標(biāo)檢測(cè)器架構(gòu)。在本文中，將負(fù)責(zé)最終輸出的Head為lead Head，將用于輔助訓(xùn)練的Head稱為auxiliary Head。

過去，在深度網(wǎng)絡(luò)的訓(xùn)練中，標(biāo)簽分配通常直接指GT，并根據(jù)給定的規(guī)則生成硬標(biāo)簽。然而，近年來，如果以目標(biāo)檢測(cè)為例，研究者經(jīng)常利用網(wǎng)絡(luò)預(yù)測(cè)輸出的質(zhì)量和分布，然后結(jié)合GT考慮，使用一些計(jì)算和優(yōu)化方法來生成可靠的軟標(biāo)簽。例如，YOLO使用邊界框回歸預(yù)測(cè)和GT的IoU作為客觀性的軟標(biāo)簽。在本文中，將網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與GT一起考慮，然后將軟標(biāo)簽分配為“l(fā)abel assigner”的機(jī)制。

無論auxiliary Head或lead Head的情況如何，都需要對(duì)目標(biāo)目標(biāo)進(jìn)行深度監(jiān)督培訓(xùn)。在軟標(biāo)簽分配人相關(guān)技術(shù)的開發(fā)過程中，偶然發(fā)現(xiàn)了一個(gè)新的衍生問題，即“如何將軟標(biāo)簽分配給auxiliary head和lead head？”據(jù)我們所知，相關(guān)文獻(xiàn)迄今尚未對(duì)這一問題進(jìn)行探討。目前最常用的方法的結(jié)果如圖5(c)所示，即將auxiliary head和lead head分開，然后使用它們自己的預(yù)測(cè)結(jié)果和GT來執(zhí)行標(biāo)簽分配。本文提出的方法是一種新的標(biāo)簽分配方法，通過lead head預(yù)測(cè)來引導(dǎo)auxiliary head和lead head。換句話說，使用lead head預(yù)測(cè)作為指導(dǎo)，生成從粗到細(xì)的層次標(biāo)簽，分別用于auxiliary head和lead head的學(xué)習(xí)。所提出的2種深度監(jiān)督標(biāo)簽分配策略分別如圖5(d)和(e)所示。

1、Lead head guided label assigner

lead head引導(dǎo)標(biāo)簽分配器主要根據(jù)lead head的預(yù)測(cè)結(jié)果和GT進(jìn)行計(jì)算，并通過優(yōu)化過程生成軟標(biāo)簽。這組軟標(biāo)簽將作為auxiliary head和lead head的目標(biāo)訓(xùn)練模型。這樣做的原因是lead head具有相對(duì)較強(qiáng)的學(xué)習(xí)能力，因此由此產(chǎn)生的軟標(biāo)簽應(yīng)該更能代表源數(shù)據(jù)與目標(biāo)之間的分布和相關(guān)性。此外，還可以將這種學(xué)習(xí)看作是一種generalized residual learning。通過讓較淺的auxiliary head直接學(xué)習(xí)lead head已經(jīng)學(xué)習(xí)到的信息，lead head將更能專注于學(xué)習(xí)尚未學(xué)習(xí)到的殘余信息。

2、Coarse-to-fine lead head guided label assigner

從粗到細(xì)的lead head引導(dǎo)標(biāo)簽分配器也使用lead head的預(yù)測(cè)結(jié)果和GT來生成軟標(biāo)簽。然而，在這個(gè)過程中，生成了兩組不同的軟標(biāo)簽，即粗標(biāo)簽和細(xì)標(biāo)簽，其中細(xì)標(biāo)簽與lead head引導(dǎo)標(biāo)簽分配器生成的軟標(biāo)簽相同，而粗標(biāo)簽是通過允許更多的網(wǎng)格來生成的。通過放寬正樣本分配過程的約束，將其視為正目標(biāo)。原因是auxiliary head的學(xué)習(xí)能力不如前lead head強(qiáng)，為了避免丟失需要學(xué)習(xí)的信息，將重點(diǎn)優(yōu)化auxiliary head的召回率。

至于lead head的輸出，可以從高recall結(jié)果中過濾出高精度結(jié)果作為最終輸出。但是，必須注意，如果粗標(biāo)簽的附加權(quán)重接近細(xì)標(biāo)簽的附加權(quán)重，則可能會(huì)在最終預(yù)測(cè)時(shí)產(chǎn)生不良先驗(yàn)。因此，為了使那些超粗的正網(wǎng)格影響更小，在解碼器中設(shè)置了限制，使超粗的正網(wǎng)格不能完美地產(chǎn)生軟標(biāo)簽。上述機(jī)制允許在學(xué)習(xí)過程中動(dòng)態(tài)調(diào)整細(xì)標(biāo)簽和粗標(biāo)簽的重要性，使細(xì)標(biāo)簽的可優(yōu)化上界始終高于粗標(biāo)簽。

2.3 其他Tricks

這些免費(fèi)的訓(xùn)練細(xì)節(jié)將在附錄中詳細(xì)說明，包括：(1)conv-bn-activation topology中的Batch normalization：這部分主要將batch normalization layer直接連接到卷積層。這樣做的目的是在推理階段將批歸一化的均值和方差整合到卷積層的偏差和權(quán)重中。

(2) 隱性知識(shí)在YOLOR中結(jié)合卷積特征圖的加法和乘法方式：YOLOR中的隱式知識(shí)可以在推理階段通過預(yù)計(jì)算簡化為向量。該向量可以與前一個(gè)或后一個(gè)卷積層的偏差和權(quán)重相結(jié)合。

(3)EMA模型：EMA是一種在mean teacher中使用的技術(shù)，在系統(tǒng)中使用EMA模型純粹作為最終的推理模型。

3實(shí)驗(yàn)

3.1 精度對(duì)比

3.2 速度精度對(duì)比

審核編輯 ：李倩