作者：ronghuaiyang

來源：AI公園

導(dǎo)讀

實(shí)驗(yàn)表明，對大型物體賦予更大的權(quán)重可以提高所有尺寸物體的檢測分?jǐn)?shù)，從而整體提升目標(biāo)檢測器的性能（在COCO val 2017數(shù)據(jù)集上使用InternImage-T模型，小物體檢測精度提高2個百分點(diǎn)，中等物體提高2個百分點(diǎn)，大物體提高4個百分點(diǎn)）。

摘要

目標(biāo)檢測模型是一類重要的機(jī)器學(xué)習(xí)算法，旨在識別并精確定位圖像或視頻中的物體。然而，由于物體的大小差異以及用于訓(xùn)練的圖像和標(biāo)簽的質(zhì)量，這項(xiàng)任務(wù)有時會產(chǎn)生不一致的表現(xiàn)。在本文中，我們強(qiáng)調(diào)了大型物體在學(xué)習(xí)適用于所有尺寸特征的重要性。基于這一發(fā)現(xiàn)，我們建議在訓(xùn)練損失函數(shù)中引入一個權(quán)重項(xiàng)，該權(quán)重項(xiàng)與物體面積大小有關(guān)。實(shí)驗(yàn)表明，對大型物體賦予更大的權(quán)重可以提高所有尺寸物體的檢測分?jǐn)?shù)，從而整體提升目標(biāo)檢測器的性能（在COCO val 2017數(shù)據(jù)集上使用InternImage-T模型，小物體檢測精度提高2個百分點(diǎn)，中等物體提高2個百分點(diǎn)，大物體提高4個百分點(diǎn)）。此外，使用不同模型和數(shù)據(jù)集進(jìn)行的額外實(shí)驗(yàn)和消融研究進(jìn)一步證實(shí)了我們的發(fā)現(xiàn)的穩(wěn)健性。

介紹

目標(biāo)檢測是計(jì)算機(jī)視覺中的基本任務(wù)，在自動駕駛汽車、監(jiān)控、機(jī)器人等領(lǐng)域有著廣泛的應(yīng)用。自自動圖像處理技術(shù)誕生以來，它一直是計(jì)算機(jī)視覺研究的重點(diǎn)領(lǐng)域之一。卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的興起徹底改變了這一領(lǐng)域，催生了大量的方法，并在檢測精度方面取得了顯著的進(jìn)步。研究人員提出了多種目標(biāo)檢測模型的變體，包括單階段檢測器和雙階段檢測器，以提高目標(biāo)檢測的速度和準(zhǔn)確性。此外，諸如注意力機(jī)制和無錨點(diǎn)目標(biāo)檢測等新技術(shù)也不斷涌現(xiàn)，進(jìn)一步提升了現(xiàn)有模型的性能。在本文中，我們將重點(diǎn)放在目標(biāo)檢測模型及其在圖像中定位物體的基本機(jī)制分析上。檢測數(shù)據(jù)集中通常包含大量的簡單樣本和少量的困難樣本。自動選擇這些困難樣本可以使訓(xùn)練更加有效和高效。根據(jù)選擇困難樣本的標(biāo)準(zhǔn)，不同的數(shù)據(jù)采樣技術(shù)被提出。這些標(biāo)準(zhǔn)包括當(dāng)前較高的訓(xùn)練損失、前景/背景比例不平衡、向困難樣本傾斜的IoU不平衡以及類別不平衡。訓(xùn)練數(shù)據(jù)集中物體大小分布對檢測性能的影響是文獻(xiàn)中較少探討的主題。常識認(rèn)為，如果最終目標(biāo)是在特定大小的物體（如小型物體）上實(shí)現(xiàn)最大性能，則在訓(xùn)練過程中應(yīng)該更關(guān)注這些目標(biāo)物體。然而，我們的研究表明現(xiàn)實(shí)可能與直覺相反，即更多地關(guān)注大型物體可以改善所有尺寸物體的檢測性能，包括小型物體。事實(shí)上，我們發(fā)現(xiàn)對訓(xùn)練損失的一個簡單調(diào)整可以提高各種目標(biāo)檢測器的性能。目標(biāo)檢測的損失函數(shù)可以分為兩類：分類損失和定位損失。前者用于訓(xùn)練一個分類頭，用于檢測目標(biāo)物體，并在多類目標(biāo)檢測的情況下對其進(jìn)行分類；后者用于訓(xùn)練一個回歸頭，以找到目標(biāo)物體的矩形框。我們建議在總損失計(jì)算中包含樣本權(quán)重函數(shù)，包括分類項(xiàng)（見圖1）。通過對較小物體分配較少的權(quán)重而對較大物體分配較多的權(quán)重，模型能夠有效地從大小不同的物體中學(xué)習(xí)。通過實(shí)證評估和消融研究，我們驗(yàn)證了所提出的權(quán)重函數(shù)的有效性，并展示了其在目標(biāo)檢測領(lǐng)域推動技術(shù)前沿的潛力。我們的貢獻(xiàn)如下：

我們驗(yàn)證了在大型物體上的學(xué)習(xí)比在小型物體上的學(xué)習(xí)能帶來更好的檢測性能。

我們提出了一種簡單的損失重加權(quán)方案，更多地關(guān)注大型物體，從而在所有物體尺寸上整體提升目標(biāo)檢測器的性能。

我們分析了哪些目標(biāo)檢測子任務(wù)最能看到性能提升，從而更好地理解損失重加權(quán)的影響。

2、相關(guān)工作

除了幾何數(shù)據(jù)增強(qiáng)技術(shù)的應(yīng)用外，多年來，目標(biāo)檢測器架構(gòu)中還加入了越來越多的元素來改進(jìn)不同尺度物體的檢測性能。在本節(jié)中，我們將回顧一些我們認(rèn)為對其影響力或性能重要的模型，主要突出它們處理不同大小物體的方法。接著，我們將重點(diǎn)討論數(shù)據(jù)增強(qiáng)技術(shù)如何用于相同的目標(biāo)及其局限性。

特征金字塔網(wǎng)絡(luò)（FPN）

特征金字塔網(wǎng)絡(luò)（FPN）是由Lin等人提出的一種廣泛應(yīng)用的模塊，旨在解決單一預(yù)測輸出對于所有物體尺度的限制問題。具體來說，它提出從骨干卷積網(wǎng)絡(luò)的不同層次提取特征，并將其合并回倒置的特征金字塔中。然后，倒置特征金字塔的每一層都有一個專門針對某一特定大小范圍物體的檢測分支。性能的提升可以歸因于在較高分辨率下捕捉語義信息的同時保持較低分辨率下的空間信息。

YOLO

YOLO（You Only Look Once），由Redmon等人提出，是一種基于錨點(diǎn)的實(shí)時單階段目標(biāo)檢測系統(tǒng)，使用單一神經(jīng)網(wǎng)絡(luò)實(shí)時直接從輸入圖像預(yù)測物體邊界框和類別概率。實(shí)現(xiàn)了業(yè)界領(lǐng)先的檢測速度和準(zhǔn)確度。自問世以來，YOLO經(jīng)歷了幾次迭代改進(jìn)。YOLOv2通過引入錨點(diǎn)框增強(qiáng)了原始架構(gòu)，使模型能夠高效檢測不同長寬比和大小的物體。YOLOv3集成了特征金字塔網(wǎng)絡(luò)，使模型能夠有效捕捉多個尺度的物體。YOLOv4采用了CSPDarknet53骨干網(wǎng)絡(luò)，提高了模型提取復(fù)雜特征的能力。它還集成了PANet模塊，該模塊在網(wǎng)絡(luò)的不同層次上執(zhí)行特征聚合，進(jìn)一步改進(jìn)了多尺度物體檢測。YOLOv5是YOLO的PyTorch實(shí)現(xiàn)版本，具有實(shí)用的質(zhì)量改進(jìn)功能，適用于訓(xùn)練和推理。就性能而言，它與YOLOv4相當(dāng)。TTFNet

TTFNet源自CenterNet，將物體定義為其邊界框的中心點(diǎn)。它使用關(guān)鍵點(diǎn)估計(jì)來查找中心點(diǎn)，并回歸到其他所有物體屬性。TTFNet通過在中心像素周圍預(yù)測邊界框并使用高斯懲罰加快了CenterNet的訓(xùn)練速度?？紤]了幾種加權(quán)方案后，作者發(fā)現(xiàn)最佳性能是通過標(biāo)準(zhǔn)化權(quán)重然后乘以框面積的對數(shù)來實(shí)現(xiàn)的。然后，定位損失由批次中存在的所有權(quán)重之和進(jìn)行標(biāo)準(zhǔn)化。受此方法啟發(fā)，我們建議也將對數(shù)加權(quán)應(yīng)用于其他術(shù)語，即定位和分類。其他工作如FCOS研究了邊界框面積對訓(xùn)練的影響，但據(jù)我們所知，還沒有人提出一種針對大物體的加權(quán)方案。在FCOS中，所有邊界框內(nèi)的像素都參與預(yù)測，但隨后的損失在整個像素中平均。其后來擴(kuò)展為FCOS Plus，將學(xué)習(xí)區(qū)域縮小到框內(nèi)的中心區(qū)域。

DETR

DETR（Detection Transformer）引入了一種基于Transformer的目標(biāo)檢測架構(gòu)，能夠在一次傳遞中同時預(yù)測物體類別及其邊界框坐標(biāo)。值得注意的是，DETR利用基于集合的全局損失函數(shù)，通過集成自注意力機(jī)制和位置編碼有效處理可變數(shù)量的物體。這使得模型在處理不同數(shù)量的物體時表現(xiàn)優(yōu)異。

InternImage

InternImage由Wang等人提出，是一種大規(guī)模基于CNN的基礎(chǔ)模型，通過增加參數(shù)數(shù)量和訓(xùn)練數(shù)據(jù)量來提高性能，類似于視覺變換器（Vision Transformers）。InternImage的核心操作是可變形卷積，這使其能夠捕獲更豐富的上下文信息。此外，InternImage結(jié)合了適應(yīng)性空間聚合，這種聚合由輸入和任務(wù)信息條件決定，減少了傳統(tǒng)CNN中常見的嚴(yán)格歸納偏置。InternImage在不同數(shù)據(jù)集上的目標(biāo)檢測結(jié)果得到了改進(jìn)，并且目前在多項(xiàng)評估指標(biāo)中排名靠前。正如我們將看到的那樣，通過引入大小依賴的加權(quán)項(xiàng)，我們可以進(jìn)一步提升InternImage的性能。
數(shù)據(jù)增強(qiáng)數(shù)據(jù)增強(qiáng)是一種強(qiáng)大的解決方案，可以提升所有尺度物體檢測模型的性能。通過對訓(xùn)練數(shù)據(jù)集應(yīng)用變換，數(shù)據(jù)增強(qiáng)技術(shù)引入了多樣性并擴(kuò)展了不同尺度物體的表示。諸如隨機(jī)縮放、翻轉(zhuǎn)、旋轉(zhuǎn)和平移等增強(qiáng)方法使模型能夠?qū)W習(xí)到穩(wěn)健的特征，從而準(zhǔn)確檢測小物體和大物體。特別是針對小物體設(shè)計(jì)的數(shù)據(jù)增強(qiáng)方法，例如隨機(jī)補(bǔ)丁復(fù)制粘貼和像素級增強(qiáng)，有助于緩解低分辨率細(xì)節(jié)和有限上下文信息的問題。類似地，那些保留空間上下文并在調(diào)整大小或裁剪過程中防止信息丟失的增強(qiáng)方法也有助于處理大物體。然而，需要注意的是，數(shù)據(jù)增強(qiáng)技術(shù)在應(yīng)對物體大小方面存在局限性。盡管增強(qiáng)可以引入多樣性并擴(kuò)展物體的表示，但放大物體本身并不會帶來額外的信息。通過增強(qiáng)增大小物體的尺寸可能會提高其可見性，但不會提供原本圖像中不存在的額外上下文細(xì)節(jié)或特征。另一方面，縮小或調(diào)整大物體的大小可能會導(dǎo)致重要信息和細(xì)粒度細(xì)節(jié)的丟失，這可能妨礙準(zhǔn)確檢測。對于數(shù)據(jù)集本身的內(nèi)容（除了標(biāo)注錯誤之外），人們關(guān)注較少，尤其是物體大小分布對所有尺度檢測性能的影響。在下一節(jié)中，我們將強(qiáng)調(diào)從大物體中學(xué)到的特征對整體物體檢測器性能的重要性。

3、目標(biāo)尺寸的重要性

諸如COCO這樣的數(shù)據(jù)集包含各種尺寸的多樣化物體。然而，檢測大物體與小物體相比面臨著不同的挑戰(zhàn)。大物體具有豐富的細(xì)節(jié)和紋理，這些細(xì)節(jié)可能需要被解釋或忽略，但通常這些豐富的信息足以識別它們而無需依賴周圍環(huán)境。小物體則不同，周圍環(huán)境對其解釋具有重要意義。圖2展示了一組沒有或帶有上下文的小物體裁剪圖，以此來說明這一事實(shí)。我們傾向于認(rèn)為小物體檢測主要依賴于骨干網(wǎng)絡(luò)的早期階段。然而，這一觀察表明，骨干網(wǎng)絡(luò)的后期階段不僅包含了捕捉大物體的特征，還包含用于檢測小物體所需的上下文信息。因此，所有尺寸的物體都需要在網(wǎng)絡(luò)骨干的所有層級上具備高質(zhì)量的特征。我們研究背后的直覺是，擁有各種尺寸的物體有助于在所有尺寸上學(xué)習(xí)高質(zhì)量的特征，并且在損失函數(shù)中強(qiáng)調(diào)大物體的重要性會更好。這一直覺可以通過以下實(shí)驗(yàn)來驗(yàn)證：給定一個物體檢測器（本例中為YOLO v5 ）和一個訓(xùn)練數(shù)據(jù)集（COCO），我們首先使用隨機(jī)權(quán)重初始化模型，并僅使用大物體對其進(jìn)行預(yù)訓(xùn)練。我們使用了YOLO v5作者在其GitHub倉庫中定義的尺寸范圍，并如表1所示。然后凍結(jié)編碼層，并在所有訓(xùn)練數(shù)據(jù)上微調(diào)模型。我們也重復(fù)同樣的過程，但在預(yù)訓(xùn)練時使用小物體和中等物體的數(shù)據(jù)。訓(xùn)練和測試的mAP與mAR結(jié)果如表2所示。這些實(shí)驗(yàn)的目標(biāo)是在僅使用大物體或小+中等物體訓(xùn)練的情況下，觀察所學(xué)到的骨干網(wǎng)絡(luò)特征對于不同尺寸物體的質(zhì)量。

我們可以看到，盡管相比數(shù)據(jù)集中其他物體而言，大物體的數(shù)量相對較少，但僅在大物體上預(yù)訓(xùn)練并在整個數(shù)據(jù)集上微調(diào)的模型在所有尺寸上的表現(xiàn)都更優(yōu)。這意味著較大物體的特征更具通用性，可以用于檢測所有尺寸的物體，包括較小的物體。而在小物體上學(xué)到的特征則不那么通用。

另一個有趣的發(fā)現(xiàn)是，僅在小物體和中等物體上訓(xùn)練的網(wǎng)絡(luò)在這類物體上的表現(xiàn)不如在整個數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)。事實(shí)上，即使是使用僅在大物體上預(yù)訓(xùn)練的骨干網(wǎng)絡(luò)并在整個數(shù)據(jù)集上微調(diào)的網(wǎng)絡(luò)，其在小物體上的檢測性能也更好。這一點(diǎn)突顯了大物體有助于學(xué)習(xí)適用于所有尺度的更有意義的特征的觀點(diǎn)。

4、方法

4.1 權(quán)重項(xiàng)

為了有效利用大尺寸物體來提升模型性能，我們提出在專為物體檢測任務(wù)設(shè)計(jì)的損失函數(shù)中加入一個權(quán)重項(xiàng)。

例如，我們考慮 YOLO v5 的損失函數(shù)。

在每個訓(xùn)練步驟中，損失是通過對所有批次樣本取平均值得到的。

其中，是批次中的邊界框數(shù)量，是批次中邊界框的集合，i 是對單個邊界框的預(yù)測，是對應(yīng)的地面實(shí)況。我們修改以加入權(quán)重：其中?。這一項(xiàng)旨在在訓(xùn)練過程中給較大的物體分配更高的權(quán)重，從而鼓勵模型更多地從較大物體中學(xué)習(xí)。另一方面，由于批次中權(quán)重的總和是歸一化的，較小的物體對學(xué)習(xí)的影響會減少。然而，由于對數(shù)的緩慢增長意味著任何尺寸的物體在損失函數(shù)中都不是可以忽略的。

如第2節(jié)所述，加權(quán)項(xiàng)（式4）已經(jīng)在 TTFNet 中使用過。然而，與 TTFNet 將此權(quán)重納入其尺寸回歸損失（GIoU）不同，我們在定位損失和分類損失項(xiàng)中都使用了它。我們在第6.1節(jié)中通過消融研究對此選擇進(jìn)行了論證。

在損失函數(shù)中包含權(quán)重項(xiàng)鼓勵模型優(yōu)先準(zhǔn)確檢測和定位較大物體。這導(dǎo)致更具辨別力的特征和更好的上下文理解，特別是對于較大物體而言。因此，模型也更好地處理較小物體。

此外，權(quán)重項(xiàng)有助于解決數(shù)據(jù)集固有的對較小物體的偏差，通過在訓(xùn)練過程中顯式地賦予較大物體更多的顯著性來糾正這種偏差。這種偏差校正使模型能夠更有效地從數(shù)據(jù)集中有限數(shù)量的較大物體中學(xué)習(xí)，縮小小物體和大物體識別之間的性能差距。例如，在表3中，每種物體尺寸的比例表明：

這一比例被用來與這些物體的加權(quán)和進(jìn)行比較

在 COCO 和 NuScenes 數(shù)據(jù)集上，我們發(fā)現(xiàn) r' 偏向于較大的物體，盡管這些物體的實(shí)際比例相對較小。這迫使訓(xùn)練更加關(guān)注大物體，從而在所有尺寸上提升了性能。這就提出了一個問題，即在構(gòu)建數(shù)據(jù)集時物體尺寸分布的理想比例是什么，而這可能取決于目標(biāo)物體及其在不同尺寸下的復(fù)雜性。因此，每個數(shù)據(jù)集可能都有一個不同的最優(yōu)加權(quán)函數(shù)。

4.2 權(quán)重項(xiàng)對訓(xùn)練的影響

為了更深入地了解權(quán)重項(xiàng)對訓(xùn)練的影響，我們需要量化每次樣本在訓(xùn)練中的重要性，損失梯度的大小之和可以很好地衡量這一點(diǎn)。實(shí)際上，模型參數(shù)在訓(xùn)練過程中的變化與損失相對于模型參數(shù)的梯度大小成正比，即。由于這些梯度存在于高維空間中，任意兩個輸入對應(yīng)的梯度向量很可能是正交的。因此，三角不等式適用于這種情況。可以作為權(quán)重更新的緊密估計(jì)。因此，我們可以將?視為每個目標(biāo)對學(xué)習(xí)特征影響的度量，并可以通過按目標(biāo)大小重新分組這些量來觀察不同大小的目標(biāo)對學(xué)習(xí)過程的影響。我們計(jì)算了大目標(biāo)的梯度大小之和與小目標(biāo)的梯度大小之和的比例。其中，?是大目標(biāo)的集合，?是小目標(biāo)的集合，而?是在輸入 ?i ?上評估的訓(xùn)練損失項(xiàng)（在對整個圖像和批次進(jìn)行縮減之前）。圖 3 展示了在 COCO 數(shù)據(jù)集上使用 YOLO v5 訓(xùn)練 100 個周期時，該比例的變化情況，包括使用和未使用所提出的加權(quán)項(xiàng)的情況。我們可以看到，在沒有加權(quán)項(xiàng)的情況下，小目標(biāo)和大目標(biāo)對模型參數(shù)的貢獻(xiàn)相當(dāng)。這表現(xiàn)為?圍繞 1 波動。相反，使用加權(quán)項(xiàng)會增加較大目標(biāo)的影響。這一點(diǎn)通過??在訓(xùn)練開始時較高（約為 1.8）并在訓(xùn)練過程中保持大于 1 的值得以體現(xiàn)。

為了進(jìn)一步研究這種效應(yīng)，我們在網(wǎng)絡(luò)的不同層次上研究了這一行為。YOLO v5 架構(gòu)基于 7 個 BottleNeckCSP 塊：其中兩個塊構(gòu)成了骨干網(wǎng)，其余塊則是模型頸部（即 PANet 部分）的主要組件。我們將分析限制在第一個或最后一個 BottleNeckCSP 塊的參數(shù)上，并定義如下：其中，是模型中特定 BottleNeckCSP 塊的參數(shù)集。圖 4 展示了第一個或最后一個 BottleNeckCSP 塊參數(shù)的?變化情況。這為我們提供了關(guān)于低級特征和高級特征影響的見解。我們發(fā)現(xiàn)，當(dāng)使用加權(quán)函數(shù)時，第一個塊受到特別顯著的影響，比例在訓(xùn)練初期上升至原來的 16 倍，并最終穩(wěn)定在 4 倍的增長水平。對于最后一層，我們?nèi)匀挥^察到 ( r_{\text{grad}} ) 的增長，但幅度較小。這表明將訓(xùn)練重點(diǎn)放在大目標(biāo)上主要影響的是低級特征，并且在整個訓(xùn)練過程中都是如此。可以認(rèn)為這些通用的低級特征在大目標(biāo)上比在小目標(biāo)上更具區(qū)分性。這些發(fā)現(xiàn)揭示了重新加權(quán)如何影響訓(xùn)練，表明低級特征從大目標(biāo)中受益最多。此外，可以認(rèn)為將注意力轉(zhuǎn)向大目標(biāo)與整體性能提升有關(guān)，因?yàn)檫@一現(xiàn)象自最初的訓(xùn)練周期就開始顯現(xiàn)（這一點(diǎn)將在下一節(jié)中討論）。

5、實(shí)驗(yàn)

為了驗(yàn)證所提出的加權(quán)方案的影響，我們在 COCO 和 nuScenes 數(shù)據(jù)集上對幾種目標(biāo)檢測器（YOLO V5、InternImage、DETR 和 Mask R-CNN）進(jìn)行了對比實(shí)驗(yàn)，分別測試啟用和禁用權(quán)重項(xiàng)的情況。我們在兩塊 NVIDIA RTX 2080 Ti 上對這些模型進(jìn)行了訓(xùn)練，每個數(shù)據(jù)集訓(xùn)練 35 個周期，批量大小為 16。對于 InternImage-T 使用了 5 個周期的預(yù)熱階段。我們使用了 Adam 優(yōu)化器并采用余弦退火學(xué)習(xí)率，YOLO v5 和 Mask R-CNN 的初始最大值為 0.01，而 InternImage-T 和 DETR 的初始最大值為 0.1。驗(yàn)證檢測的有效 IoU 閾值固定為 0.5，COCO 數(shù)據(jù)集的置信度閾值為 0.001，nuScenes 數(shù)據(jù)集的置信度閾值為 0.05。至于數(shù)據(jù)增強(qiáng)，我們保留了每種方法在其原始論文中定義的數(shù)據(jù)增強(qiáng)流程。

表 4 展示了這些實(shí)驗(yàn)的平均精度均值（mAP）和平均召回率（mAR）得分?？梢钥闯觯心Ｐ驮谑褂盟岢龅募訖?quán)方案后，在各個尺度的目標(biāo)上都表現(xiàn)出顯著的性能提升。例如，經(jīng)過修改后的 InternImage-T 達(dá)到了 51.2% 的 mAP，而原版為 47.2%，提升了 4 個百分點(diǎn)。我們的基準(zhǔn)結(jié)果重現(xiàn)了 InternImage 作者的實(shí)驗(yàn)結(jié)果，其論文顯示參數(shù)數(shù)量超過 InternImage-T 一倍的 InternImage-B 在類似訓(xùn)練條件下僅能達(dá)到 48.8% 的 mAP。由于訓(xùn)練 InternImage-XL 需要昂貴的計(jì)算資源，因此我們無法對該模型應(yīng)用修改，但該模型目前是最先進(jìn)的。如果能夠訓(xùn)練這樣的模型，很可能會定義新的技術(shù)前沿。盡管這里展示的結(jié)果涉及四種不同的卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測器，但所提出的加權(quán)方案較為簡單，可以輕松應(yīng)用于其他目標(biāo)檢測模型。

所選示例表明，所提出的修改使得模型能夠檢測出一些原本未被檢測到的目標(biāo)。例如，在第一行和第三行中，領(lǐng)帶和飛機(jī)僅在應(yīng)用了我們修改的模型中被檢測到。如第一行和第二行所示，邊界框預(yù)測也有所改進(jìn)，兩個模型檢測到的目標(biāo)在第二列中的邊界框更加精確。

我們還在另一個數(shù)據(jù)集 NuScenes 上驗(yàn)證了改進(jìn)效果。我們使用 InternImage 模型并對比了使用和不使用權(quán)重項(xiàng)的性能。表 5 展示了實(shí)驗(yàn)結(jié)果。我們觀察到，在加權(quán)損失下，分?jǐn)?shù)有輕微提升。圖 6 顯示了隨著訓(xùn)練周期增加的整體 mAP 變化情況，證明了模型從一開始就受益于對大目標(biāo)的關(guān)注，因?yàn)檎麄€訓(xùn)練過程中的性能始終更優(yōu)。我們可以看到，從最初幾個周期開始，我們的加權(quán)策略平均帶來了近 3 個百分點(diǎn)的提升。這進(jìn)一步證明了增加大目標(biāo)的存在有助于引導(dǎo)訓(xùn)練朝更好的方向發(fā)展，并避免陷入更差的局部極小點(diǎn)。這也表明未來對目標(biāo)加權(quán)改進(jìn)的效果可能在訓(xùn)練早期就能顯現(xiàn)出來。

6、消融實(shí)驗(yàn)和討論

6.1 損失項(xiàng)的影響

為了進(jìn)一步研究加權(quán)策略對 YOLO v5 損失函數(shù)的影響，我們在 COCO 數(shù)據(jù)集上進(jìn)行了消融研究。給定模型的總損失函數(shù)（公式 2），我們分別對分類損失和檢測損失應(yīng)用了不同的加權(quán)函數(shù)。具體來說，我們探索了四種場景：無權(quán)重項(xiàng)、僅對分類項(xiàng)應(yīng)用權(quán)重項(xiàng)、僅對檢測項(xiàng)應(yīng)用權(quán)重項(xiàng)以及對所有損失項(xiàng)應(yīng)用權(quán)重項(xiàng)。我們的分析重點(diǎn)在于評估平均精度均值（MAP@50:95）作為一般度量指標(biāo)以及邊界框中心誤差作為定位度量指標(biāo)。表 6 展示了各種組合對不同尺度物體 mAP 的影響。由于 mAP 受定位誤差和網(wǎng)絡(luò)檢測與正確分類物體能力的影響，我們補(bǔ)充了平均絕對誤差（MAE：預(yù)測邊界框中心與真實(shí)中心之間的平均 L1 距離）。MAE 僅在水平分量上進(jìn)行估計(jì)。這是因?yàn)樵诖怪焙退?MAE 之間存在高度相關(guān)性（見圖 7）。為了減少網(wǎng)絡(luò)檢測物體能力的影響，這些結(jié)果是在正確檢測的物體集合上計(jì)算得出（正確的類別且 IoU > 0.5）。最后，由于 AP@50 對定位誤差不太敏感，我們展示了所有物體的相應(yīng)結(jié)果。結(jié)果表明，當(dāng)僅對分類項(xiàng)添加加權(quán)方案時，mAP 略有下降，特別是在小型物體上，盡管 AP50 和 MAE 有所改善。這種現(xiàn)象的確切解釋尚不清楚。然而，當(dāng)改變的項(xiàng)是檢測項(xiàng)時，mAP、MAE 和 AP50 均有所提高。對于大型物體，MAE 的相對增益更大（30%），表明定位更好。最后，同時對兩個損失項(xiàng)應(yīng)用加權(quán)方案在所有度量指標(biāo)上表現(xiàn)最佳。與初始結(jié)果相比，最大的增益出現(xiàn)在小型目標(biāo)上，mAP 提升了 12 個百分點(diǎn)（而中等物體提升 3 個百分點(diǎn)，大型物體提升 6 個百分點(diǎn)），MAE 減少了 43%（而中等物體減少了 23%，大型物體減少了 36%）。這表明，考慮到分類和檢測的綜合性方法，并適當(dāng)分配權(quán)重項(xiàng)，對于實(shí)現(xiàn) mAP 分?jǐn)?shù)和邊界框中心誤差的最佳結(jié)果至關(guān)重要。

6.2 關(guān)于選擇 log(w × h)

如前所述，選擇 log(w × h) 的主要目的是增加大尺寸物體在網(wǎng)絡(luò)特征學(xué)習(xí)中的貢獻(xiàn)。我們測試了其他 w × h 的函數(shù)，并將其與所提出的函數(shù)進(jìn)行了比較。表 7 在 COCO 數(shù)據(jù)集上評估了 YOLO v5 的一些樣本加權(quán)函數(shù)。我們堅(jiān)持認(rèn)為該函數(shù)應(yīng)該依賴于物體的面積，并只改變了函數(shù)類型（線性、對數(shù)、平方根）。雖然 log(w×h) 在此表中表現(xiàn)出最佳結(jié)果，但我們認(rèn)為還需要在這個方向上進(jìn)行更多的研究和實(shí)驗(yàn)，以識別更好的函數(shù)或證明所選的加權(quán)函數(shù)是否是最佳選擇以獲得更好的性能。6.3 數(shù)據(jù)集的影響在 COCO 和 NuScenes 這兩個數(shù)據(jù)集上驗(yàn)證了性能提升的效果。盡管在這兩個數(shù)據(jù)集上的性能提升不容忽視，但并不能保證在其他數(shù)據(jù)集上也能獲得類似的收益。事實(shí)上，加權(quán)方案相當(dāng)于人為增加數(shù)據(jù)集中大尺寸物體的比例，因此如果數(shù)據(jù)集本身已經(jīng)具有最優(yōu)比例，那么加權(quán)不會提高性能。然而，本研究的結(jié)論是，在構(gòu)建數(shù)據(jù)集時，擁有一定比例的大尺寸物體是很重要的，如果沒有，則需要通過加權(quán)因子來彌補(bǔ)。影響加權(quán)需求的一個方面是每個物體尺寸檢測的難度。對于 COCO 和 NuScenes 數(shù)據(jù)集，小尺寸物體的檢測得分低于大尺寸物體。由于小尺寸物體更難檢測，因此它們在損失中往往產(chǎn)生更大的誤差，從而導(dǎo)致更高的梯度。加權(quán)方案可以看作是對這種行為的一種修正因子。

7、結(jié)論

在本文中，我們展示了訓(xùn)練數(shù)據(jù)集中包含大尺寸物體有助于學(xué)習(xí)到在小尺寸和中等尺寸物體上也能取得更好性能的特征。隨后，我們提出了一種簡單的損失重新加權(quán)方案，該方案提高了目標(biāo)檢測器的性能。我們的發(fā)現(xiàn)強(qiáng)調(diào)了考慮大尺寸物體的重要性，并展示了在增強(qiáng)整體目標(biāo)檢測性能方面加入加權(quán)損失項(xiàng)的潛力。通過實(shí)驗(yàn)和消融研究，我們驗(yàn)證了所提方法的有效性。我們評估了不同模型和數(shù)據(jù)集，一致觀察到在所有尺寸上的檢測得分都有所提高。未來的研究可以探討新的策略，明確考慮大尺寸物體對不同尺度檢測準(zhǔn)確性的影響。