即 ImageNet 大型視覺識別挑戰(zhàn)賽（ImageNetLarge Scale Visual Recognition Challenge），該比賽用于評估大規(guī)模對象檢測和圖像分類的算法。它是計算機視覺領(lǐng)域最受歡迎的學(xué)術(shù)挑戰(zhàn)賽。過去幾年中，深度學(xué)習(xí)讓錯誤率出現(xiàn)了顯著下降，從 30% 降到了不到 5%，在許多分類任務(wù)中擊敗了人類。

三十一、Inception模塊（Inception Module）

Inception模塊被用在卷積神經(jīng)網(wǎng)絡(luò)中，通過堆疊 1×1 卷積的降維（dimensionality reduction）實現(xiàn)高效計算。

論文：使用卷積獲得更深（Going Deeper with Convolutions）

三十二、Keras

Kears?是一個基于 Python 的深度學(xué)習(xí)庫，包括許多用于深度神經(jīng)網(wǎng)絡(luò)的高層次構(gòu)建模塊。它可以運行在 TensorFlow 或 Theano 上。

三十三、LSTM

長短期記憶（Long Short-Term Memory）網(wǎng)絡(luò)通過使用內(nèi)存門控機制防止循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中的梯度消失問題（vanishing gradient problem）。使用 LSTM 單元計算RNN 中的隱藏狀態(tài)，可以幫助該網(wǎng)絡(luò)有效地傳播梯度和學(xué)習(xí)長程依賴（long-range dependency）。

論文：長短期記憶

LONG SHORT-TERM MEMORY

三十四、最大池化（Max-Pooling）

池化（Pooling）操作通常被用在卷積神經(jīng)網(wǎng)絡(luò)中。一個最大池化層從一塊特征中選取最大值。與卷積層一樣，池化層也是通過窗口（塊）大小和步幅尺寸進行參數(shù)化。例如，在一個 10×10 特征矩陣上以 2 的步幅滑動一個 2×2 的窗口，然后選取每個窗口的 4個值中的最大值，得到一個 5×5 特征矩陣。池化層通過只保留最突出的信息來減少表征的維度；在這個圖像輸入的例子中，它們?yōu)檗D(zhuǎn)譯提供了基本的不變性（即使圖像偏移了幾個像素，仍可選出同樣的最大值）。池化層通常被安插在連續(xù)卷積層之間。

三十五、MNIST

MNIST數(shù)據(jù)集可能是最常用的一個圖像識別數(shù)據(jù)集。它包含 60,000 個手寫數(shù)字的訓(xùn)練樣本和 10,000 個測試樣本。每一張圖像的尺寸為 28×28像素。目前最先進的模型通常能在該測試集中達到 99.5% 或更高的準(zhǔn)確度。

三十六、動量（Momentum）

動量是梯度下降算法（Gradient Descent Algorithm）的擴展，可以加速和阻抑參數(shù)更新。在實際應(yīng)用中，在梯度下降更新中包含一個動量項，可在深度網(wǎng)絡(luò)中得到更好的收斂速度（convergence rate）。

論文：通過反向傳播（back-propagating error）錯誤學(xué)習(xí)表征

三十七、多層感知器（MLP：MultilayerPerceptron）

多層感知器是一種帶有多個全連接層的前饋神經(jīng)網(wǎng)絡(luò)，這些全連接層使用非線性激活函數(shù)（activationfunction）處理非線性可分的數(shù)據(jù)。MLP 是多層神經(jīng)網(wǎng)絡(luò)或有兩層以上的深度神經(jīng)網(wǎng)絡(luò)的最基本形式。

三十八、負對數(shù)似然（NLL：Negative LogLikelihood）

參見分類交叉熵損失（Categorical Cross-Entropy Loss）。

三十九、神經(jīng)網(wǎng)絡(luò)機器翻譯（NMT：Neural MachineTranslation）

NMT?系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)語言（如英語和法語）之間的翻譯。NMT 系統(tǒng)可以使用雙語語料庫進行端到端的訓(xùn)練，這有別于需要手工打造特征和開發(fā)的傳統(tǒng)機器翻譯系統(tǒng)。NMT 系統(tǒng)通常使用編碼器和解碼器循環(huán)神經(jīng)網(wǎng)絡(luò)實現(xiàn)，它可以分別編碼源句和生成目標(biāo)句。

論文：使用神經(jīng)網(wǎng)絡(luò)的序列到序列學(xué)習(xí)（Sequence to Sequence Learning withNeural Networks）

論文：為統(tǒng)計機器翻譯使用 RNN 編碼器-解碼器學(xué)習(xí)短語表征（Learning Phrase Representations using RNN Encoder-Decoder forStatistical Machine Translation）

四十、神經(jīng)圖靈機（NTM：Neural Turing Machine）

NTM?是可以從案例中推導(dǎo)簡單算法的神經(jīng)網(wǎng)絡(luò)架構(gòu)。例如，NTM 可以通過案例的輸入和輸出學(xué)習(xí)排序算法。NTM 通常學(xué)習(xí)記憶和注意機制的某些形式以處理程序執(zhí)行過程中的狀態(tài)。

論文：神經(jīng)圖靈機（Neural Turing Machines）

四十一、非線性（Nonlinearity）

參見激活函數(shù)（Activation Function）。

四十二、噪音對比估計（NCE：noise-contrastiveestimation）