14.8.2。快速 R-CNN

R-CNN 的主要性能瓶頸在于每個(gè) region proposal 的獨(dú)立 CNN 前向傳播，沒(méi)有共享計(jì)算。由于這些區(qū)域通常有重疊，獨(dú)立的特征提取會(huì)導(dǎo)致大量重復(fù)計(jì)算。Fast R-CNN相比 R-CNN的主要改進(jìn)之一是 CNN 前向傳播僅在整個(gè)圖像上進(jìn)行 ( Girshick, 2015 )。

圖 14.8.2快速 R-CNN 模型。

圖 14.8.2描述了快速 R-CNN 模型。其主要計(jì)算如下：

1. 與 R-CNN 相比，在快速 R-CNN 中，CNN 用于特征提取的輸入是整個(gè)圖像，而不是單個(gè)區(qū)域建議。此外，這個(gè) CNN 是可訓(xùn)練的。給定輸入圖像，讓 CNN 輸出的形狀為 1×c×h1×w1.

2. 假設(shè)選擇性搜索生成n區(qū)域提案。這些區(qū)域提議（不同形狀）在 CNN 輸出上標(biāo)記感興趣區(qū)域（不同形狀）。然后這些感興趣的區(qū)域進(jìn)一步提取相同形狀的特征（比如高度 h2和寬度w2指定）以便于連接。為了實(shí)現(xiàn)這一點(diǎn)，快速 R-CNN 引入了 感興趣區(qū)域 (RoI) 池化層：CNN 輸出和區(qū)域提議被輸入到該層，輸出形狀的級(jí)聯(lián)特征n×c×h2×w2為所有區(qū)域提案進(jìn)一步提取。

3. 使用全連接層，將連接的特征轉(zhuǎn)換為形狀的輸出n×d， 在哪里d取決于模型設(shè)計(jì)。

4. 預(yù)測(cè)每個(gè)類別和邊界框n區(qū)域提案。更具體地說(shuō)，在類和邊界框預(yù)測(cè)中，將全連接層輸出轉(zhuǎn)換為形狀的輸出 n×q(q是類的數(shù)量）和形狀的輸出n×4， 分別。類別預(yù)測(cè)使用 softmax 回歸。

fast R-CNN 中提出的感興趣區(qū)域池化層與7.5 節(jié)中介紹的池化層不同。在池化層中，我們通過(guò)指定池化窗口、填充和步幅的大小來(lái)間接控制輸出形狀。相反，我們可以直接在感興趣區(qū)域池化層中指定輸出形狀。

例如，讓我們將每個(gè)區(qū)域的輸出高度和寬度指定為h2和w2， 分別。對(duì)于形狀的任何感興趣區(qū)域窗口h×w, 這個(gè)窗口被分為 h2×w2子窗口的網(wǎng)格，其中每個(gè)子窗口的形狀大約是(h/h2)×(w/w2). 在實(shí)際應(yīng)用中，任何一個(gè)子窗口的高和寬都要向上取整，最大的元素作為子窗口的輸出。因此，即使感興趣區(qū)域具有不同的形狀，感興趣區(qū)域池化層也可以提取相同形狀的特征。

作為說(shuō)明性示例，在圖 14.8.3中，左上角 3×3感興趣的區(qū)域被選擇在4×4 輸入。對(duì)于這個(gè)感興趣的區(qū)域，我們使用2×2感興趣區(qū)域池化層以獲得2×2輸出。請(qǐng)注意，四個(gè)劃分的子窗口中的每一個(gè)都包含元素 0、1、4 和 5（5 是最大值）；2 和 6（6 是最大值）；8 和 9（9 是最大值）；和 10。

圖 14.8.3 A2×2感興趣區(qū)域池化層。

下面我們演示感興趣區(qū)域池化層的計(jì)算。假設(shè)CNN提取的特征的高和寬 X都是4，并且只有一個(gè)通道。

import torch
import torchvision

X = torch.arange(16.).reshape(1, 1, 4, 4)
X

tensor([[[[ 0., 1., 2., 3.],
     [ 4., 5., 6., 7.],
     [ 8., 9., 10., 11.],
     [12., 13., 14., 15.]]]])

from mxnet import np, npx

npx.set_np()

X = np.arange(16).reshape(1, 1, 4, 4)
X

array([[[[ 0., 1., 2., 3.],
     [ 4., 5., 6., 7.],
     [ 8., 9., 10., 11.],
     [12., 13., 14., 15.]]]])

讓我們進(jìn)一步假設(shè)輸入圖像的高度和寬度均為 40 像素，并且選擇性搜索在該圖像上生成兩個(gè)區(qū)域建議。每個(gè)區(qū)域建議由五個(gè)元素表示：其對(duì)象類，后跟(x,y)- 其左上角和右下角的坐標(biāo)。

rois = torch.Tensor([[0