一、前述

CNN和RNN幾乎占據(jù)著深度學(xué)習(xí)的半壁江山，所以本文將著重講解CNN+RNN的各種組合方式，以及CNN和RNN的對(duì)比。

二、CNN與RNN對(duì)比

1、CNN卷積神經(jīng)網(wǎng)絡(luò)與RNN遞歸神經(jīng)網(wǎng)絡(luò)直觀圖

2、相同點(diǎn)：

2.1. 傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的擴(kuò)展。

2.2. 前向計(jì)算產(chǎn)生結(jié)果，反向計(jì)算模型更新。

2.3. 每層神經(jīng)網(wǎng)絡(luò)橫向可以多個(gè)神經(jīng)元共存,縱向可以有多層神經(jīng)網(wǎng)絡(luò)連接。

3、不同點(diǎn)

3.1. CNN空間擴(kuò)展，神經(jīng)元與特征卷積；RNN時(shí)間擴(kuò)展，神經(jīng)元與多個(gè)時(shí)間輸出計(jì)算

3.2. RNN可以用于描述時(shí)間上連續(xù)狀態(tài)的輸出，有記憶功能，CNN用于靜態(tài)輸出

3. 3. CNN高級(jí)100+深度，RNN深度有限

三、CNN+RNN組合方式

1. CNN 特征提取，用于RNN語(yǔ)句生成圖片標(biāo)注。

2. RNN特征提取用于CNN內(nèi)容分類視頻分類。

3. CNN特征提取用于對(duì)話問(wèn)答圖片問(wèn)答。

四、具體應(yīng)用

1、圖片標(biāo)注

基本思路

目標(biāo)是產(chǎn)生標(biāo)注的語(yǔ)句，是一個(gè)語(yǔ)句生成的任務(wù)，LSTM？描述的對(duì)象大量圖像信息，圖像信息表達(dá)，CNN？CNN網(wǎng)絡(luò)中全連接層特征描述圖片，特征與LSTM輸入結(jié)合。

具體步驟：

1.1 模型設(shè)計(jì)－特征提取全連接層特征用來(lái)描述原圖片LSTM輸入：word＋圖片特征；輸出下一word。

1.2 模型設(shè)計(jì)－數(shù)據(jù)準(zhǔn)備

1. 圖片CNN特征提取2. 圖片標(biāo)注生成Word2Vect 向量3. 生成訓(xùn)練數(shù)據(jù)：圖片特征＋第n單詞向量：第n＋1單詞向量。

1.3 模型訓(xùn)練：

1. 運(yùn)用遷移學(xué)習(xí)，CNN特征，語(yǔ)句特征應(yīng)用已有模型2. 最終的輸出模型是LSTM，訓(xùn)練過(guò)程的參數(shù)設(shè)定：梯度上限(gradient clipping), 學(xué)習(xí)率調(diào)整(adaptivelearning)3. 訓(xùn)練時(shí)間很長(zhǎng)。

1.4 模型運(yùn)行：

1. CNN特征提取2. CNN 特征＋語(yǔ)句開(kāi)頭，單詞逐個(gè)預(yù)測(cè)

2、視頻行為識(shí)別 ：

視頻中在發(fā)生什么？

2.1常用方法總結(jié)：

RNN用于CNN特征融合1. CNN 特征提取2. LSTM判斷3. 多次識(shí)別結(jié)果分析。

不同的特征不同輸出。

或者：所有特征作為一個(gè)輸出。

2.2 RNN用于CNN特征篩選＋融合：

1. 并不是所有的視頻 圖像包含確定分類信息2. RNN用于確定哪些frame 是有用的3. 對(duì)有用的圖像特征 融合。

2.3 RNN用于，目標(biāo)檢測(cè)：

1. CNN直接產(chǎn)生目標(biāo)候選區(qū)2. LSTM對(duì)產(chǎn)生候選區(qū)融合（相鄰時(shí)刻位置近 似）3. 確定最終的精確位置。

2.4 多種模型綜合：

競(jìng)賽／應(yīng)用中，為了產(chǎn)生最好結(jié)果，多采用 多模型ensemble形式。

3、圖片／視頻問(wèn)答

3.1 問(wèn)題種類

3.2 圖片問(wèn)答意義

1. 是對(duì)純文本語(yǔ)言問(wèn)答系統(tǒng)的擴(kuò)展2. 圖片理解和語(yǔ)言處理的深度融合3. 提高人工智能應(yīng)用范圍－觀察，思考，表達(dá)