深度學(xué)習(xí)算法近年來取得了長足的進(jìn)展，也給整個人工智能領(lǐng)域送上了風(fēng)口。但深度學(xué)習(xí)系統(tǒng)中分類器和特征模塊都是自學(xué)習(xí)的，神經(jīng)網(wǎng)絡(luò)的可解釋性成為困擾研究者的一個問題，人們常常將其稱為黑箱。但理解深度神經(jīng)網(wǎng)絡(luò)的工作原理，對于解釋其決策方式，并建立更強(qiáng)大的系統(tǒng)至關(guān)重要。

近日，DeepMind 發(fā)布了其關(guān)于神經(jīng)網(wǎng)絡(luò)可解釋性的最新研究成果，他們通過刪除網(wǎng)絡(luò)中的某些神經(jīng)元組，從而判定其對于整個網(wǎng)絡(luò)是否重要。核心發(fā)現(xiàn)有如下兩點：

可解釋的神經(jīng)元（例如“貓神經(jīng)元”）并不比難以解釋的神經(jīng)元更重要。

泛化性良好的網(wǎng)絡(luò)對于刪除神經(jīng)元的操作更具適應(yīng)性。

深度神經(jīng)網(wǎng)絡(luò)由許多獨立的神經(jīng)元組成，這些神經(jīng)元以復(fù)雜且反直覺的方式結(jié)合起來，進(jìn)而解決各種具有挑戰(zhàn)性的任務(wù)。這種復(fù)雜性賦予了神經(jīng)網(wǎng)絡(luò)強(qiáng)大的功能，但也使其成為一個令人困惑且不透明的黑箱。

理解深度神經(jīng)網(wǎng)絡(luò)的工作原理，對于解釋其決策、建立更強(qiáng)大的系統(tǒng)至關(guān)重要。想象一下，在不了解各個齒輪如何裝配的情況下，制造一塊鐘表的難度會有多大。在神經(jīng)科學(xué)和深度學(xué)習(xí)領(lǐng)域中，理解神經(jīng)網(wǎng)絡(luò)的一種方法是研究單個神經(jīng)元的作用，特別是那些容易解釋的神經(jīng)元。

我們即將在第六屆國際學(xué)習(xí)表征會議（ICLR）上發(fā)表關(guān)于單一方向泛化重要性的研究，它采用了一種受實驗神經(jīng)科學(xué)啟發(fā)的方法——探索損傷的影響——來確定深層神經(jīng)網(wǎng)絡(luò)中的小組神經(jīng)元的重要性，以及更容易解釋的神經(jīng)元的重要性是否更高。

通過刪除單個神經(jīng)元和神經(jīng)元組，我們測量了破壞網(wǎng)絡(luò)對性能的影響。在實驗中，我們有兩個驚人的發(fā)現(xiàn)：

之前的許多研究都試圖去理解容易解釋的個體神經(jīng)元（例如“貓神經(jīng)元”，或者說深層網(wǎng)絡(luò)中只有對貓的圖像有反應(yīng)的神經(jīng)元），但是我們發(fā)現(xiàn)這些可解釋的神經(jīng)元并不比難以解釋的神經(jīng)元更重要。

與只能對已經(jīng)見過的圖像進(jìn)行分類的網(wǎng)絡(luò)相比，對未見過的圖像也能正確分類的網(wǎng)絡(luò)對神經(jīng)元缺失有著更好的彈性。換句話說，泛化性良好的網(wǎng)絡(luò)比泛化性差的網(wǎng)絡(luò)對單方向的依賴性要小很多。

▌“貓神經(jīng)元”或許更容易解釋，但是它們的重要性并不會更高

在神經(jīng)科學(xué)和深度學(xué)習(xí)中，容易解釋的神經(jīng)元（“選擇性”神經(jīng)元）已經(jīng)被廣泛分析，它們只對單一輸入類別的圖像（例如狗）有積極回應(yīng)。在深度學(xué)習(xí)中，這導(dǎo)致了研究者對貓神經(jīng)元（cat neurons）、情感神經(jīng)元（sentiment neurons）和括號神經(jīng)元（parentheses neurons）的重視。然而，與大多數(shù)具有低選擇性、更令人費解、難以解釋的活性的神經(jīng)元相比，這些為數(shù)不多的具有高選擇性神經(jīng)元的相對重要性仍然未知。

與那些對看似隨機(jī)的圖像集作出積極或消極回應(yīng)的令人困惑的神經(jīng)元相比，具有清晰回應(yīng)模式（比如只對“狗”積極回應(yīng)，對其他一切類別消極回應(yīng)）的神經(jīng)元更容易解釋。

為了評估神經(jīng)元的重要性，我們測量了刪除神經(jīng)元后，神經(jīng)網(wǎng)絡(luò)在圖像分類任務(wù)中的性能變化。如果一個神經(jīng)元是非常重要的，刪除它應(yīng)該會產(chǎn)生嚴(yán)重的后果，而且網(wǎng)絡(luò)性能會大大降低，而刪除一個不重要的神經(jīng)元應(yīng)該沒有什么影響。神經(jīng)科學(xué)家通常進(jìn)行類似的實驗，盡管他們不能達(dá)到這些實驗所必需的細(xì)粒度精度，但是在人工神經(jīng)網(wǎng)絡(luò)中則很容易實現(xiàn)。

刪除神經(jīng)元對簡單神經(jīng)網(wǎng)絡(luò)影響的概念圖。顏色越深，代表神經(jīng)元越活躍。你可以在原網(wǎng)頁上嘗試單擊隱藏層神經(jīng)元刪除它們，并查看輸出神經(jīng)元的活動變化。請注意，僅刪除一個或兩個神經(jīng)元對輸出的影響很小，而刪除大多數(shù)神經(jīng)元的影響很大，并且某些神經(jīng)元比其他神經(jīng)元更重要！

令人驚訝的是，我們發(fā)現(xiàn)選擇性和重要性之間沒有什么關(guān)系。換句話說，“貓神經(jīng)元”并不比令人困惑的神經(jīng)元更重要。這一發(fā)現(xiàn)與神經(jīng)科學(xué)最近的研究成果相呼應(yīng)，后者已經(jīng)證明，令人困惑的的神經(jīng)元實際上可以提供相當(dāng)多的信息。為了理解深度神經(jīng)網(wǎng)絡(luò)，我們的研究不能只局限于最容易解釋的神經(jīng)元。

雖然“貓神經(jīng)元”可能更容易記解釋，但它們并不比令人困惑且沒有明顯偏好的神經(jīng)元更加重要。

▌泛化能力更強(qiáng)的網(wǎng)絡(luò)更不容易崩潰

雖然我們希望創(chuàng)建智能系統(tǒng)，但是只有當(dāng)這個系統(tǒng)能夠泛化到新的場景時，我們才能稱之為智能系統(tǒng)。例如，如果一個圖像分類網(wǎng)絡(luò)只能對它見過的特定的狗的圖像進(jìn)行分類，卻認(rèn)不出同一只狗的最新圖像時，這個網(wǎng)絡(luò)就是無用的。這些系統(tǒng)只有在對新的實例進(jìn)行智能分類時，才算是有作用的。

伯克利、Google Brain、DeepMind 最近合作發(fā)表的一篇論文在 ICLR 2017 上獲得了最佳論文。該論文表明，深度網(wǎng)絡(luò)可以簡單地記住每一幅圖像，而不是以更人性化的方式學(xué)習(xí)（例如，理解“狗”的抽象概念）。

然而，關(guān)于神經(jīng)網(wǎng)絡(luò)是否學(xué)習(xí)到了決定泛化能力的解，我們一直沒有明確的答案。通過逐步刪除越來越大的神經(jīng)元群，我們發(fā)現(xiàn)，相比簡單地記憶先前在訓(xùn)練中看到的圖像的網(wǎng)絡(luò)，泛化良好的網(wǎng)絡(luò)對刪除神經(jīng)元的魯棒性強(qiáng)得多。換句話說，泛化能力更強(qiáng)的網(wǎng)絡(luò)更不容易崩潰（盡管這種情況可能發(fā)生）。

隨著越來越多的神經(jīng)元群被刪除，泛化良好的網(wǎng)絡(luò)的性能下降速度明顯更慢。

通過這種方式測量神經(jīng)網(wǎng)絡(luò)的魯棒性，我們可以評估這個網(wǎng)絡(luò)是否在利用我們不希望的記憶能力在“作弊”。理解網(wǎng)絡(luò)在記憶時如何是變化的，將有助于我們建立泛化能力更好的新網(wǎng)絡(luò)。

▌受神經(jīng)科學(xué)啟發(fā)的分析方法

這些發(fā)現(xiàn)證明了，使用實驗神經(jīng)科學(xué)啟發(fā)的技術(shù)可以幫助我們理解神經(jīng)網(wǎng)絡(luò)的能力。使用這些方法，我們發(fā)現(xiàn)高選擇性的獨立神經(jīng)元并不比非選擇性神經(jīng)元更重要，并且泛化良好的網(wǎng)絡(luò)比簡單地記憶訓(xùn)練數(shù)據(jù)的網(wǎng)絡(luò)對獨立神經(jīng)元的依賴性更小。這些結(jié)果暗示，獨立神經(jīng)元的重要性可能遠(yuǎn)不如我們認(rèn)為的那么重要。

通過解釋所有神經(jīng)元的作用，而不僅僅是那些容易理解的神經(jīng)元，我們希望更好地理解神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理，并且利用這種理解來構(gòu)建更智能和更通用的系統(tǒng)。