二、背景

高效的時空建模(Spatiotemporal modeling)是視頻理解和動作識別的核心問題。相較于圖像的Transformer網(wǎng)絡(luò)，視頻由于增加了時間維度，如果將Transformer中的自注意力機制(Self-Attention)簡單擴展到時空維度，將會導(dǎo)致時空自注意力高昂的計算復(fù)雜度和空間復(fù)雜度。許多工作嘗試對時空自注意力進行分解，例如ViViT和Timesformer。這些方法雖然減小了計算復(fù)雜度，但會引入額外的參數(shù)量。本文提出了一種簡單高效的時空自注意力Transformer，在對比2D Transformer網(wǎng)絡(luò)不增加計算量和參數(shù)量情況下，實現(xiàn)了時空自注意力機制。并且在Sthv1&Sthv2, Kinetics400, Diving48取得了很好的性能。

三、方法

視覺Transofrmer通常將圖像分割為不重疊的塊(patch)，patch之間通過自注意力機制(Self-Attention)進行特征聚合，patch內(nèi)部通過全連接層(FFN)進行特征映射。每個Transformer block中，包含Self-Attention和FFN，通過堆疊Transformer block的方式達到學(xué)習(xí)圖像特征的目的。

在視頻動作識別領(lǐng)域，輸入的數(shù)據(jù)是連續(xù)采樣的多幀圖像(常用8幀、16幀、32幀等）學(xué)習(xí)視頻的時空特征，不僅要學(xué)習(xí)單幀圖像的空間視覺特征，更要建模幀之間的時域特征。本文提出一種基于視覺transformer的高效時空特征學(xué)習(xí)算法，具體來說，我們通過將patch按照一定的規(guī)則進行移動(patch shift)，把當(dāng)前幀中的一部分patch移動到其他幀，同時其他幀也會有一部分patch移動到當(dāng)前幀。經(jīng)過patch移動之后，對每一幀圖像的patch分別做Self-Attention，這一步學(xué)習(xí)的特征就同時包含了時空特征。具體思想可以由下圖所示:

在常用的2D圖像視覺Transformer網(wǎng)絡(luò)結(jié)構(gòu)上，將上述patch shift操作插入到self-attention操作之前即可，無需額外操作，下圖是patch shift transformer block，相比其他視頻transformer的結(jié)構(gòu)，我們的操作不增加額外的計算量，僅需進行內(nèi)存數(shù)據(jù)移動操作即可。對于patch shift的移動規(guī)則，我們提出幾種設(shè)計原則:1. 不同幀的塊盡可能均勻地分布。2.合適的時域感受野。3.保持一定的移動塊比例。具體的分析，讀者可以參考正文。

我們對通道移動(Channel shift) 與 塊移動(patch shift)進行了詳盡的分析和討論，這兩種方法的可視化如下:

通道移動(Channel shift) 與 塊移動(patch shift)都使用了shift操作，但channel shift是通過移動所有patch的部分channel的特征來實現(xiàn)時域特征的建模，而patch shift是通過移動部分patch的全部channel與Self-attention來實現(xiàn)時域特征的學(xué)習(xí)?？梢哉J為channel shift的時空建模在空域是稠密的，但在channel上是稀疏的。而patch shift在空域稀疏，在channel上是稠密的。因此兩種方法具有一定的互補性?；诖耍覀兲岢鼋惶嫜h(huán)使用 patchshift和channel shift。網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示：

四、實驗結(jié)果

1. 消融實驗

2. 與SOTA方法進行對比

3. 運行速度

可以看到，PST的實際推理速度和2D的Swin網(wǎng)絡(luò)接近，但具有時空建模能力，性能顯著優(yōu)于2D Swin。和Video-Swin網(wǎng)絡(luò)相比，則具有明顯的速度和顯存優(yōu)勢。

4. 可視化結(jié)果

圖中從上到下依次為Kinetics400, Diving48, Sthv1的可視化效果。PST通過學(xué)習(xí)關(guān)聯(lián)區(qū)域的相關(guān)性，并且特征圖能夠反映出視頻當(dāng)中動作的軌跡。

審核編輯：郭婷