循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是用于自然語言建模的主流架構(gòu)，通常，RNN按順序讀取輸入的token，再輸出每個token的分布式表示。通過利用相同的函數(shù)來循環(huán)更新隱藏狀態(tài)，RNN的計算成本將保持不變。雖然這一特點對于某些應(yīng)用來說很常見，但在語言處理過程中，并不是所有token都同等重要，關(guān)鍵要學(xué)會取舍。例如，在問答題中，只對重要部分進行大量計算，不相關(guān)部分分配較少的計算才是有效的方法。

雖然有注意力模型和LSTM等方法提高計算效率或挑選重要任務(wù)，但它們的表現(xiàn)都不夠好。在本篇論文中，研究人員提出了“Skim-RNN”的概念，用很少的時間進行快速閱讀，不影響讀者的主要目標。

Skim-RNN的構(gòu)成

受人類快速閱讀原理的啟發(fā)，Skim-RNN的結(jié)構(gòu)由兩個RNN模型構(gòu)成：較大的默認RNN模型d和較小的RNN模型d’。d和d’是用戶定義的超參數(shù)，并且d’<< d。

如果當(dāng)前token比較重要，Skim-RNN就會使用大的RNN；如果不重要，它就會轉(zhuǎn)向使用小的RNN。由于小RNN比大RNN需要的浮點運算次數(shù)更少，所以該模型比單獨使用大RNN所得結(jié)果更快，甚至更好。

推理過程

在每一步驟t中，Skim-RNN將輸入的Xt∈Rd和之前的隱藏狀態(tài)ht-1∈Rd作為其參數(shù)，輸出新的狀態(tài)ht。k代表每一步做出harddecision的次數(shù)。在Skim-RNN中，不論是完全閱讀或跳過，k=2。

研究人員使用多項隨機變量Qt對選擇概率分布Pt的決策過程進行建模。Pt表示為：

這里，W∈Rk×2d，b∈Rk。

接下來我們定義隨機變量Qt，通過從概率分布Pt對Qt進行采樣：

如果Qt=1，那么該模型與標準RNN模型一樣。如果Qt=2，那么模型選用了較小RNN模型以獲取較小的隱藏狀態(tài)。即：

其中f是帶有d輸出的完全RNN，而f'是帶有d'輸出的小RNN，d'<< d。

實驗結(jié)果

研究人員在七組數(shù)據(jù)集上對Skim-RNN進行測試，包括分類測試和問答題兩種形式，目的是為了檢驗?zāi)Ｐ偷臏蚀_度和浮點運算減少率（Flop-R）。

文本分類

在這項任務(wù)中，輸入的是單詞序列，輸出的是分類概率的向量。最終，下表顯示出Skim-RNN模型與LSTM、LSTM-Jump的精確度和計算成本對比。

以SST、爛番茄、IMDB和AGnews四個網(wǎng)站為例進行本文分類，在標準LSTM、Skim-RNN、LSTM-Jump和最先進的模型（SOTA）上進行對比

改變較小隱藏狀態(tài)的尺寸的影響，以及參數(shù)γ對精確度和計算成本的影響（默認d=100，d'=10，γ=0.02）

下圖是IMDB數(shù)據(jù)集中的一個例子，其中Skim-RNN的參數(shù)為：d=200，d'=10，γ=0.01，最終將本段文字正確分類的概率為92%。

其中黑色的字被略過（用小LSTM模型，d'=10），藍色的字表示被閱讀（用較大的LSTM模型，d=200）

和預(yù)期的一樣，模型忽略了類似介詞等不重要的詞語，而注意到了非常重要的單詞，例如“喜歡”、“可怕”、“討厭的”。

回答問題

這項任務(wù)的目的是在給定段落中找到答案的位置。為了檢測Skim-RNN的準確度，研究人員建立了兩個不同的模型：LSTM+注意力和BiDAF。結(jié)果如下所示：

F1和EM值可表明Skim-RNN的準確度。最終發(fā)現(xiàn)，速讀（skimming）模型的F1分數(shù)比默認沒有速讀（non-skimming）的模型相同甚至更高，并且計算成本消耗得更少（大于1.4倍）。

LSTM+注意力模型中，不同層的LSTM速度率（skimming rate）隨γ的變化而變化的情況

LSTM+注意力模型的F1分數(shù)。計算成本越大，模型表現(xiàn)得越好。在同樣的計算成本下，Skim LSTM（紅色）比標準LSTM（藍色）的表現(xiàn)要好。另外，Skim-LSTM的F1分數(shù)在不同參數(shù)和計算成本下都更穩(wěn)定

F1分數(shù)與Flop-R之間的關(guān)系

下圖是模型回答問題的一個例子，問題為：最大的建筑項目（construction project）也稱作什么？（正確答案：megaprojects）

模型給出的答案：megaprojects。

紅色代表閱讀，白色代表略過

運行時間

上圖顯示了與標準LSTM相比，Skim-LSTM的相對速度增益的隱藏狀態(tài)有不同大小和速度速率。在這一過程中，研究人員使用的是NumPy，并在CPU的單個線程上進行推論。

可以看到，實際增益（實線）和理論增益（虛線）之間的差距無法避免。隨著隱藏狀態(tài)增大，這一差距會減小。所以對于更大的隱藏狀態(tài)，Skim-RNN的表現(xiàn)會更好。

結(jié)語

本次研究表明，新型循環(huán)神經(jīng)網(wǎng)絡(luò)Skim-RNN可以根據(jù)輸入的重要性決定使用大的RNN還是小的RNN，同時計算成本比RNN更低，準確度與標準LSTM和LSTM-Jump相比類似甚至更好。由于Skim-RNN與RNN具有相同的輸入輸出接口，因此可以輕松替換現(xiàn)有應(yīng)用中的RNN。

所以，這樣工作適用于需要更高隱藏狀態(tài)的應(yīng)用，比如理解視頻，同時還可以利用小RNN做不同程度的略讀。