我們訓練了一個大型的深度卷積神經(jīng)網(wǎng)絡(luò)，來將在ImageNet LSVRC-2010 大賽中的120萬張高清圖像分為1000 個不同的類別。對測試數(shù)據(jù)，我們得到了top-1 誤差率37.5%，以及top-5 誤差率17.0%，這個效果比之前最頂尖的都要好得多。該神經(jīng)網(wǎng)絡(luò)有6000 萬個參數(shù)和650，000 個神經(jīng)元，由五個卷積層，以及某些卷積層后跟著的max-pooling 層，和三個全連接層，還有排在最后的1000-way 的softmax 層組成。為了使訓練速度更快，我們使用了非飽和的神經(jīng)元和一個非常高效的GPU 關(guān)于卷積運算的工具。為了減少全連接層的過擬合，我們采用了最新開發(fā)的正則化方法，稱為“ dropout”，它已被證明是非常有效的。在ILSVRC-2012 大賽中，我們又輸入了該模型的一個變體，并依靠top-5 測試誤差率15.3%取得了勝利，相比較下，次優(yōu)項的錯誤率是26.2%。

?

　　1 引言

　　當前物體識別的方法基本上都使用了機器學習方法。為了改善這些方法的性能，我們可以收集更大的數(shù)據(jù)集，學習更強有力的模型，并使用更好的技術(shù)，以防止過擬合。直到最近，標記圖像的數(shù)據(jù)集都相當小——大約數(shù)萬張圖像（例如，NORB ［16］ ，Caltech-101/256［8， 9］ ，以及CIFAR-10/100 ［12］ ）。簡單的識別任務(wù)可以用這種規(guī)模的數(shù)據(jù)集解決得相當好，特別是當它們用標簽-保留轉(zhuǎn)換增強了的時候。例如，在MNIST 數(shù)字識別任務(wù)中當前最好的誤差率（《0.3%）接近于人類的表現(xiàn)［4］ 。但是現(xiàn)實環(huán)境中的物體表現(xiàn)出相當大的變化，因此要學習它們以對它們進行識別就必須使用更大的訓練集。事實上，小規(guī)模圖像數(shù)據(jù)集的缺陷已被廣泛認同（例如， Pinto 等人［21］），但是直到最近，收集有著上百萬張圖像的帶標簽數(shù)據(jù)集才成為可能。更大型的新數(shù)據(jù)集包括LabelMe ［23］，它由幾十萬張完全分割圖組成，還有ImageNet ［6］，它由多于22，000個種類中超過1500 萬張帶標簽的高分辨率圖像組成。

　　為了從幾百萬張圖像中學習數(shù)以千計的物體，我們需要一個學習能力更強的模型。然而，物體識別任務(wù)的極大復雜性意味著這個問題不能被指定，即使是通過與ImageNet一樣大的數(shù)據(jù)集，所以我們的模型中也應(yīng)該有大量的先驗知識，以補償我們所沒有的全部數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)（CNN）構(gòu)成了一個這種類型的模型［16， 11， 13， 18， 15， 22， 26］。它們的能力可以通過改變其深度與廣度得到控制，它們也可作出有關(guān)圖像性質(zhì)的強壯且多半正確的假設(shè)（即，統(tǒng)計數(shù)據(jù)的穩(wěn)定性和像素依賴關(guān)系的局部性） 。因此，與層次規(guī)模相同的標準前饋神經(jīng)網(wǎng)絡(luò)相比， CNN 的連接關(guān)系和參數(shù)更少，所以更易于訓練，而其理論上的最佳性能可能只略差一點。不論CNN 的性質(zhì)多有吸引力， 也不論它們局部結(jié)構(gòu)的相對效率有多高，將它們大規(guī)模地應(yīng)用到高分辨率圖像中仍然是極其昂貴的。幸運的是，目前的GPU 搭配了一個高度優(yōu)化的2D 卷積工具，強大到足以促進大規(guī)模CNN 的訓練，而且最近的數(shù)據(jù)集像ImageNet2包含足夠的帶標簽的樣例來訓練這樣的模型，還不會有嚴重的過擬合。本文的具體貢獻如下：我們在ILSVRC-2010 和ILSVRC-2012 大賽中使用過的ImageNet的子集上［2］ ，訓練了迄今為止最大型的卷積神經(jīng)網(wǎng)絡(luò)之一，并取得了迄今為止在這些數(shù)據(jù)集上報告過的最好結(jié)果。我們寫了一個高度優(yōu)化的GPU 二維卷積工具以及訓練卷積神經(jīng)網(wǎng)絡(luò)過程中的所有其他操作，這些我們都提供了公開地址。我們的網(wǎng)絡(luò)中包含一些既新鮮而又不同尋常的特征，它們提高了網(wǎng)絡(luò)的性能，并減少了網(wǎng)絡(luò)的訓練時間，這些詳見第3 節(jié)。我們的網(wǎng)絡(luò)中甚至有120 萬個帶標簽的訓練樣本，這么大的規(guī)模使得過擬合成為一個顯著的問題，所以我們使用了幾種有效的方法來防止過擬合，這些在第4 節(jié)中給以描述。我們最終的網(wǎng)絡(luò)包含五個卷積層和三個全連接層，且這種層次深度似乎是重要的：我們發(fā)現(xiàn)，移去任何卷積層（其中每一個包含的模型參數(shù)都不超過1%）都會導致性能變差。

　　最后，網(wǎng)絡(luò)的規(guī)模主要受限于當前GPU 的可用內(nèi)存和我們愿意容忍的訓練時間。我們的網(wǎng)絡(luò)在兩塊GTX 580 3GB GPU 上訓練需要五到六天。我們所有的實驗表明，等更快的GPU 和更大的數(shù)據(jù)集可用以后，我們的結(jié)果就可以輕而易舉地得到改進。