0. 這篇文章干了啥？

擴(kuò)大模型規(guī)模一直是近年來(lái)在人工智能各個(gè)領(lǐng)域取得進(jìn)展的關(guān)鍵驅(qū)動(dòng)因素之一，包括語(yǔ)言建模，圖像和視頻生成等。同樣地，對(duì)于視覺(jué)理解來(lái)說(shuō)，較大的模型在足夠的預(yù)訓(xùn)練數(shù)據(jù)的情況下一直顯示出改進(jìn)。這一趨勢(shì)導(dǎo)致追求具有數(shù)十億參數(shù)的巨型模型成為實(shí)現(xiàn)更強(qiáng)大的視覺(jué)表示和在下游任務(wù)上提升性能的默認(rèn)策略。

在這項(xiàng)工作中，作者重新考慮了一個(gè)問(wèn)題：獲得更好的視覺(jué)理解是否一定需要較大的模型？ 與其擴(kuò)大模型規(guī)模，作者考慮在圖像規(guī)模維度上進(jìn)行縮放，稱(chēng)之為"尺度縮放"（S2）。通過(guò)S2，可以對(duì)多個(gè)圖像尺度上運(yùn)行預(yù)訓(xùn)練的并凍結(jié)的較小視覺(jué)模型（例如，ViT-B 或 ViT-L）以生成多尺度表示。采用一個(gè)在單個(gè)圖像尺度上進(jìn)行預(yù)訓(xùn)練的模型，將圖像插值到多個(gè)尺度，通過(guò)將較大的圖像分割成正常大?。?24^2）的子圖像并在每個(gè)尺度上分別處理然后匯總和與原始表示中的特征進(jìn)行連接來(lái)提取每個(gè)尺度上的特征。

令人驚訝的是，通過(guò)對(duì)各種預(yù)訓(xùn)練模型的視覺(jué)表示（例如，ViT，DINOv2，OpenCLIP，MVP）進(jìn)行評(píng)估，作者發(fā)現(xiàn)具有S2縮放的較小模型在分類(lèi)、語(yǔ)義分割、深度估計(jì)、MLLM基準(zhǔn)測(cè)試和機(jī)器人操作方面始終優(yōu)于較大模型，而且參數(shù)數(shù)量明顯較少（0.28×至0.07×）并且具有可比較的GFLOPS。值得注意的是，通過(guò)將圖像尺度擴(kuò)大到1008^2，在V?基準(zhǔn)測(cè)試上實(shí)現(xiàn)了MLLM視覺(jué)細(xì)節(jié)理解的最新性能，超過(guò)了開(kāi)源甚至商業(yè)的MLLMs如 Gemini Pro和 GPT-4V。

作者進(jìn)一步研究了S2相對(duì)于模型大小縮放的首選縮放方法的條件。發(fā)現(xiàn)：雖然在許多情況下具有S2的較小模型比較大模型實(shí)現(xiàn)了更好的下游性能，但是在難例上，較大模型仍然可以展現(xiàn)出更好的泛化能力。這引發(fā)了對(duì)較小模型是否能夠達(dá)到與較大模型相同的泛化能力的調(diào)查。令人驚訝的是，作者發(fā)現(xiàn)較大模型的特征可以通過(guò)單一線性變換很好地近似于多尺度較小模型，這意味著較小模型至少應(yīng)具有與其較大對(duì)應(yīng)物類(lèi)似的學(xué)習(xí)能力。作者假設(shè)它們較弱的泛化能力源自于僅使用單一圖像尺度進(jìn)行預(yù)訓(xùn)練。通過(guò)在ViT上進(jìn)行ImageNet-21k預(yù)訓(xùn)練的實(shí)驗(yàn)，作者展示了使用S2縮放進(jìn)行預(yù)訓(xùn)練可以提高較小模型的泛化能力，使它們能夠達(dá)到甚至超越較大模型的優(yōu)勢(shì)。

下面一起來(lái)閱讀一下這項(xiàng)工作~

1. 論文信息

2. 摘要

將視覺(jué)模型的規(guī)模擴(kuò)大已成為獲取更強(qiáng)大視覺(jué)表征的事實(shí)標(biāo)準(zhǔn)。在這項(xiàng)工作中，我們討論了更大的視覺(jué)模型不再必要的點(diǎn)。首先，我們展示了尺度上的擴(kuò)展（S2）的力量，在這種情況下，一個(gè)預(yù)先訓(xùn)練并凍結(jié)的較小的視覺(jué)模型（例如ViT-B或ViT-L），在多個(gè)圖像尺度上運(yùn)行，可以在分類(lèi)、分割、深度估計(jì)、多模態(tài)LLM（MLLM）基準(zhǔn)和機(jī)器人操縱方面勝過(guò)較大的模型（例如ViT-H或ViT-G）。值得注意的是，S2在對(duì)V*基準(zhǔn)的MLLM進(jìn)行詳細(xì)理解方面達(dá)到了最先進(jìn)的性能，超過(guò)了諸如GPT-4V之類(lèi)的模型。我們研究了與模型規(guī)模比較的情況下S2作為首選尺度方法的條件。盡管較大的模型在困難示例上具有更好的泛化能力，但我們表明較大視覺(jué)模型的特征可以很好地由多尺度較小模型的特征近似。這表明，目前大型預(yù)訓(xùn)練模型學(xué)到的大部分，如果不是全部，表示也可以從多尺度較小模型中獲得。我們的結(jié)果表明，多尺度較小模型具有與較大模型相當(dāng)?shù)膶W(xué)習(xí)能力，并且用S2預(yù)訓(xùn)練較小模型可以達(dá)到或甚至超過(guò)較大模型的優(yōu)勢(shì)。我們發(fā)布了一個(gè)Python包，可以用一行代碼將S2應(yīng)用于任何視覺(jué)模型。

3. S2-Wrapper

S2-Wrapper是一種簡(jiǎn)單的機(jī)制，可以以無(wú)參數(shù)的方式將任何預(yù)訓(xùn)練的視覺(jué)模型擴(kuò)展到多個(gè)圖像尺度。以ViT-B為例，S2-Wrapper首先將輸入圖像插值到不同的尺度（例如，224^2和448^2），并將每個(gè)尺度劃分為幾個(gè)與默認(rèn)輸入尺寸相同的子圖像（448^2→4×224^2）。對(duì)于每個(gè)尺度，所有子圖像都被饋送到同一模型中，并且輸出（例如，4×16^2）被合并成整個(gè)圖像的特征圖（32^2）。不同尺度的特征圖被平均池化到原始空間大?。?6^2），然后拼接在一起。最終的多尺度特征具有與單尺度特征相同的空間形狀，但具有更高的通道維度（例如，1536 vs. 768）。

4. 實(shí)驗(yàn)

對(duì)三個(gè)模型（ViT、DINOv2 和 OpenCLIP）和三個(gè)任務(wù)（ImageNet 分類(lèi)、語(yǔ)義分割和深度估計(jì)）進(jìn)行 S2 縮放和模型大小縮放的比較。

對(duì)于每個(gè)模型和每個(gè)任務(wù)，測(cè)試基本、大型和巨型/巨大模型的模型大小縮放（以灰色曲線繪制）。對(duì)于 S2 縮放（以綠色曲線繪制），測(cè)試三組從單一尺度（1x）到多尺度（最多 3x）的比例，并調(diào)整每組比例，使其與相應(yīng)模型大小的 GFLOPs 匹配。請(qǐng)注意，對(duì)于特定的模型和任務(wù)，分別在基本模型和大型模型上測(cè)試 S2 縮放（以淺綠色和深綠色曲線分別繪制）?？梢钥吹剑冢╝）、（d）、（e）、（f）、（g）和（i）中，具有 S2 縮放的基本模型已經(jīng)實(shí)現(xiàn)了與具有相似 GFLOPs 但模型尺寸更小的大型模型相媲美或更好的性能。在（b）和（h）中，來(lái)自大型模型的 S2 縮放與巨型模型相當(dāng)，同樣具有相似的 GFLOPs 和更少的參數(shù)。唯一的失敗案例是（c），在該案例中，基本模型或大型模型上的 S2 縮放與模型大小縮放無(wú)法競(jìng)爭(zhēng)。

在MLLM上進(jìn)行S2縮放和模型尺寸縮放的比較。 S2縮放比模型尺寸縮放在所有三類(lèi)基準(zhǔn)上都具有相當(dāng)或更好的縮放曲線。使用大的圖像尺度通常會(huì)提供更好的性能，而使用較大的模型在某些情況下會(huì)降低模型的性能。

6. 實(shí)驗(yàn)結(jié)果

評(píng)估三類(lèi)模型：(i) 在ImageNet-21k上預(yù)訓(xùn)練的ViT，(ii) 在LAION-2B上預(yù)訓(xùn)練的OpenCLIP，以及(iii) 在ImageNet-1k上預(yù)訓(xùn)練的MAE。重建損失是所有輸出標(biāo)記的平均值，并在ImageNet-1k上進(jìn)行評(píng)估。結(jié)果顯示在表2中。與基本模型相比，觀察到多尺度基本模型始終具有更低的損失，并且重建了更多大模型表示的信息（例如，對(duì)于ViT，0.521 vs. 0.440）。更有趣的是，作者發(fā)現(xiàn)來(lái)自多尺度基本模型的重建信息量通常接近于巨型模型，盡管有時(shí)略低但從未明顯超過(guò)。例如，雖然OpenCLIP-Base可以重建92.7%的信息，但多尺度基本模型可以重建99.9%。對(duì)于其他模型，Base-S2模型的重建比例通常接近100%，但從未超過(guò)0.5%。這意味著(i) 巨型/巨大模型確實(shí)是特征重建的有效上界，以及(ii) 更大模型的大部分特征也被多尺度較小模型所學(xué)習(xí)。唯一的例外是當(dāng)重建OpenCLIP-Huge特征時(shí)，重建比例為88.9%。盡管不接近100%，但仍顯著優(yōu)于基本大小模型，這意味著至少巨型模型特征的一大部分仍是多尺度特征。這些結(jié)果暗示具有S2縮放的較小模型應(yīng)至少具有學(xué)習(xí)較大模型學(xué)習(xí)的相似能力水平。另一方面，還注意到訓(xùn)練集和測(cè)試集之間存在差距，即測(cè)試集上的重建比例可能低于訓(xùn)練集（例如，在OpenCLIP-L上為96.3% vs. 99.9%）。作者假設(shè)這是因?yàn)閮H在預(yù)訓(xùn)練后應(yīng)用多尺度，而僅在單個(gè)圖像尺度上預(yù)訓(xùn)練的基本模型特征具有較弱的泛化能力。

對(duì)于記憶能力，給定一個(gè)數(shù)據(jù)集（例如ImageNet），將每個(gè)圖像視為一個(gè)單獨(dú)的類(lèi)別，并訓(xùn)練模型來(lái)對(duì)單個(gè)圖像進(jìn)行分類(lèi)，這要求模型記憶每個(gè)圖像。分類(lèi)損失反映了每個(gè)實(shí)例被記憶的程度，因此反映了模型的容量。對(duì)于訓(xùn)練損失，作者報(bào)告了在ImageNet-1k的訓(xùn)練集上的分類(lèi)損失，對(duì)于DINOv2和OpenCLIP。較低的損失意味著模型更好地適應(yīng)訓(xùn)練數(shù)據(jù)，這暗示了更大的模型容量。結(jié)果如表3所示。對(duì)于實(shí)例記憶，可以看到具有S2縮放（224^2和448^2）的ViT-B與ViT-L具有相似的損失。對(duì)于ImageNet分類(lèi)，對(duì)于OpenCLIP，ViT-B-S2的訓(xùn)練損失與ViT-L相似，而對(duì)于DINOv2，其損失甚至更低。這些結(jié)果表明，多尺度較小的模型至少具有與較大模型相當(dāng)?shù)哪Ｐ腿萘?。使用S2進(jìn)行預(yù)訓(xùn)練可以使較小的模型更好。作者評(píng)估了基于S2縮放的基礎(chǔ)模型在預(yù)訓(xùn)練期間或預(yù)訓(xùn)練后的ImageNet分類(lèi)。在ImageNet-21k上對(duì)模型進(jìn)行預(yù)訓(xùn)練，使用ViT圖像分類(lèi)或DINOv2作為預(yù)訓(xùn)練目標(biāo)。作者比較了在預(yù)訓(xùn)練期間使用或不使用S2的模型，以及在單尺度基礎(chǔ)模型和大型模型之間的差異。結(jié)果如表4所示?？梢钥吹剑?dāng)基礎(chǔ)模型使用單一圖像尺度進(jìn)行訓(xùn)練，并且僅在預(yù)訓(xùn)練后才擴(kuò)展到多個(gè)圖像尺度時(shí)，它們的性能與大型模型相比是次優(yōu)的。然而，當(dāng)將S2縮放加入到預(yù)訓(xùn)練中時(shí)，多尺度基礎(chǔ)模型能夠在ViT上勝過(guò)大型模型。對(duì)于DINOv2，預(yù)先使用S2進(jìn)行訓(xùn)練的基礎(chǔ)模型的性能明顯優(yōu)于沒(méi)有S2進(jìn)行預(yù)訓(xùn)練的基礎(chǔ)模型，并且與大型模型更具可比性。盡管仍然略遜于大型模型，但使用S2預(yù)訓(xùn)練大型模型可能會(huì)產(chǎn)生更好的縮放曲線。證明了使用S2預(yù)先訓(xùn)練的較小模型可以匹敵較大模型的優(yōu)勢(shì)。

7. 討論 & 未來(lái)工作

在這項(xiàng)工作中，作者提出了一個(gè)問(wèn)題：對(duì)于更好的視覺(jué)理解，總是需要一個(gè)更大的模型嗎？ 作者發(fā)現(xiàn)，在圖像規(guī)模的維度上進(jìn)行縮放（稱(chēng)之為尺度縮放，S2），而不是模型大小通?？梢栽趶V泛的下游任務(wù)中獲得更好的性能。作者進(jìn)一步展示，具有S2的較小模型可以學(xué)習(xí)到較大模型學(xué)到的大部分內(nèi)容，并且對(duì)于較小模型進(jìn)行S2預(yù)訓(xùn)練可以匹配較大模型的優(yōu)勢(shì)，甚至表現(xiàn)更好。

S2對(duì)未來(lái)工作有一些影響，包括（i）尺度選擇性處理，即，并不是圖像中每個(gè)位置的每個(gè)尺度都包含同樣有用的特征，根據(jù)圖像內(nèi)容和高級(jí)任務(wù)，為每個(gè)區(qū)域選擇處理某些尺度會(huì)更加高效，這類(lèi)似于人類(lèi)視覺(jué)注意力中的自下而上和自上而下的選擇機(jī)制，（ii）單個(gè)圖像的并行處理，即，與常規(guī)的ViT相比，在S2中每個(gè)子圖像都是獨(dú)立處理的，這使得單個(gè)圖像的不同子圖像可以并行處理，這對(duì)于處理單個(gè)大圖像的延遲至關(guān)重要的情景特別有幫助。

對(duì)更多實(shí)驗(yàn)結(jié)果和文章細(xì)節(jié)感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛

?