利用深度壓縮和DSD訓(xùn)練來(lái)提高預(yù)測(cè)精度。

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)成為解決計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理等機(jī)器學(xué)習(xí)任務(wù)的最先進(jìn)的技術(shù)。盡管如此，深度學(xué)習(xí)算法是計(jì)算密集型和存儲(chǔ)密集型的，這使得它難以被部署到只有有限硬件資源的嵌入式系統(tǒng)上。

為了解決這個(gè)限制，可以使用深度壓縮來(lái)顯著地減少神經(jīng)網(wǎng)絡(luò)所需要的計(jì)算和存儲(chǔ)需求。例如對(duì)于具有全連接層的卷積神經(jīng)網(wǎng)絡(luò)(如Alexnet和VGGnet)，深度壓縮可以將模型大小減少35到49倍。即使對(duì)于全卷積神經(jīng)網(wǎng)絡(luò)(如GoogleNet和SqueezeNet)，深度壓縮也可以將模型大小減少10倍。而且上述兩種壓縮情況都不會(huì)降低模型預(yù)測(cè)的精度。

當(dāng)前的訓(xùn)練方法有不足之處

壓縮模型而不丟失其精確度意味著在訓(xùn)練好的模型中有嚴(yán)重的冗余，這說(shuō)明當(dāng)前的訓(xùn)練方法有不足之處。為了解決這個(gè)問(wèn)題，我和來(lái)自NVIDIA的JeffPool、百度的Sharan Narang和Facebook的Peter Vajda合作開(kāi)發(fā)了“密集-稀疏-密集”(DSD)的訓(xùn)練方法。這是一種新的方法，它首先通過(guò)稀疏約束的優(yōu)化方法將模型正則化，然后通過(guò)恢復(fù)和重新訓(xùn)練被剪枝的連接的權(quán)重來(lái)提高預(yù)測(cè)精度。

在測(cè)試時(shí)，由DSD訓(xùn)練得到的最終模型仍然跟原始密集型模型具有相同的架構(gòu)和維度，并且DSD訓(xùn)練不會(huì)增加任何推理開(kāi)銷(xiāo)。我們對(duì)主流的神經(jīng)網(wǎng)絡(luò)(如CNN / RNN / LSTM)架構(gòu)用DSD訓(xùn)練方法進(jìn)行了圖像分類(lèi)、圖像描述和語(yǔ)音識(shí)別的實(shí)驗(yàn)，發(fā)現(xiàn)模型有顯著的性能改進(jìn)。

在本文中，我們會(huì)首先介紹深度壓縮，然后介紹“密集-稀疏-密集”(DSD)訓(xùn)練方法。

深度壓縮

深度壓縮的第一步是“突觸剪枝”。 人類(lèi)大腦是有這一剪枝過(guò)程的。從嬰兒時(shí)期到成年，人腦會(huì)有5成的突觸會(huì)被修剪掉。

類(lèi)似的規(guī)則是否適用于人工神經(jīng)網(wǎng)絡(luò)呢?答案是肯定的。在早期的工作中，網(wǎng)絡(luò)剪枝已經(jīng)被證明是一種減少網(wǎng)絡(luò)復(fù)雜度和過(guò)度擬合的有效方法。這種方法也適用于現(xiàn)代神經(jīng)網(wǎng)絡(luò)。首先我們通過(guò)常規(guī)神經(jīng)網(wǎng)絡(luò)訓(xùn)練來(lái)學(xué)習(xí)網(wǎng)絡(luò)連接權(quán)重。然后我們會(huì)剪枝權(quán)重值較小的連接：即刪除網(wǎng)絡(luò)中權(quán)重值低于某一閾值的所有連接。最后，我們重新訓(xùn)練網(wǎng)絡(luò)，得到剩余稀疏連接的權(quán)重值。剪枝方法使AlexNet和VGG-16模型的參數(shù)數(shù)量分別減少了9倍和13倍。

?

圖1. 剪枝一個(gè)神經(jīng)網(wǎng)絡(luò)。所有圖片由Song Han 友情提供

深度壓縮的下一步是權(quán)重共享。我們發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)對(duì)低精度權(quán)重值具有非常高的容忍度：極度粗略的權(quán)重值并不會(huì)降低預(yù)測(cè)精度。如圖2所示，藍(lán)色權(quán)重值最初為2.09、2.12、1.92和1.87，然后讓它們共享相同的權(quán)重值2，網(wǎng)絡(luò)的預(yù)測(cè)精確度仍然不受影響。因此我們可以只存儲(chǔ)非常少量的權(quán)重值，稱(chēng)之為“編碼本”。并讓許多其他權(quán)重共享這些相同的權(quán)重值，且只在碼本中存儲(chǔ)其索引即可。

索引可以用非常少的比特?cái)?shù)來(lái)表示。例如在下圖中存在四種顏色，因此僅需要兩位來(lái)表示一個(gè)權(quán)重而不用原來(lái)的32位。另一方面，編碼本占用的存儲(chǔ)空間幾乎可以忽略不計(jì)。我們的實(shí)驗(yàn)發(fā)現(xiàn)，就權(quán)衡壓縮比和精度而言，這種權(quán)重共享技術(shù)是優(yōu)于線性量化的方法的。

?

圖2. 訓(xùn)練權(quán)重共享的神經(jīng)網(wǎng)絡(luò)

圖3顯示了使用深度壓縮的總體結(jié)果。Lenet-300-100和Lenet-5是在MNIST數(shù)據(jù)集上評(píng)估的，而AlexNet、VGGNet、GoogleNet和SqueezeNet是在ImageNet數(shù)據(jù)集上評(píng)估的。壓縮比從10倍到49倍不等。即使對(duì)于那些全卷積神經(jīng)網(wǎng)絡(luò)(如GoogleNet和SqueezeNet)，深度壓縮仍然可以將它們壓縮一個(gè)數(shù)量級(jí)。我們重點(diǎn)看一下SqueezeNet，它比有相同預(yù)測(cè)精度的AlexNet少50倍的參數(shù)，但仍然還可以再壓縮10倍使其模型大小只有470KB，這使它可以很容易地在片上SRAM里使用。而訪問(wèn)SRAM比DRAM更快更節(jié)能。

我們還嘗試了其他壓縮方法，例如基于低秩近似的方法，但是壓縮比沒(méi)有那么高。你可以在Deep Compression的論文中找到完整的討論。

?

圖3 深度壓縮的實(shí)驗(yàn)結(jié)果