可解釋性仍然是現(xiàn)代深度學(xué)習(xí)應(yīng)用的最大挑戰(zhàn)之一。計(jì)算模型和深度學(xué)習(xí)研究的最新進(jìn)展使我們能夠創(chuàng)建極度復(fù)雜的模型，包括數(shù)千隱藏層和數(shù)千萬神經(jīng)元。效果驚人的前沿深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建相對(duì)簡(jiǎn)單，但了解這些模型如何創(chuàng)造和使用知識(shí)仍然是一個(gè)挑戰(zhàn)。

最近，Google Brain團(tuán)隊(duì)的研究人員發(fā)表了一篇論文，提出了一種名為概念激活向量（Concept Activation Vectors, CAV）的新方法，它為深度學(xué)習(xí)模型的可解釋性提供了一個(gè)新的視角。

可解釋性 vs 準(zhǔn)確性

要理解CAV技術(shù)，需要了解深度學(xué)習(xí)模型中可解釋性難題的本質(zhì)。在當(dāng)今一代深度學(xué)習(xí)技術(shù)中，模型的準(zhǔn)確性與可解釋性之間存在著永恒的矛盾。可解釋性-準(zhǔn)確性矛盾存在于完成復(fù)雜知識(shí)任務(wù)的能力和理解這些任務(wù)是如何完成能力之間。知識(shí)與控制，績(jī)效表現(xiàn)與可核查性，效率與簡(jiǎn)便性...任意一項(xiàng)抉擇其實(shí)都是準(zhǔn)確性和可解釋性之間的權(quán)衡。

你是關(guān)心獲得最佳結(jié)果，還是關(guān)心結(jié)果是如何產(chǎn)生的？這是數(shù)據(jù)科學(xué)家在每個(gè)深度學(xué)習(xí)場(chǎng)景中都需要回答的問題。許多深度學(xué)習(xí)技術(shù)本質(zhì)上非常復(fù)雜，盡管它們?cè)谠S多場(chǎng)景中都很準(zhǔn)確，解釋起來卻非常困難。如果我們?cè)谝粋€(gè)準(zhǔn)確性-可解釋性圖表中繪制一些最著名的深度學(xué)習(xí)模型，我們將得到以下結(jié)果：

深度學(xué)習(xí)模型中的可解釋性不是一個(gè)單一的概念。我們可以從多個(gè)層次理解它：

要得到上圖每層定義的可解釋性，需要幾個(gè)基本的構(gòu)建模塊。在最近的一篇論文中，谷歌的研究人員概述了他們看來的一些可解釋性的基本構(gòu)建模塊。

Google總結(jié)了如下幾項(xiàng)可解釋性原則：

- 了解隱藏層的作用：深層學(xué)習(xí)模型中的大部分知識(shí)都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對(duì)于解釋深度學(xué)習(xí)模型至關(guān)重要。

- 了解節(jié)點(diǎn)的激活方式：可解釋性的關(guān)鍵不在于理解網(wǎng)絡(luò)中各個(gè)神經(jīng)元的功能，而在于理解同一空間位置被一起激發(fā)的互連神經(jīng)元群。通過互連神經(jīng)元群對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行分割能讓我們從一個(gè)更簡(jiǎn)單的抽象層面來理解其功能。

-理解概念的形成過程：理解深度神經(jīng)網(wǎng)絡(luò)如何形成組成最終輸出的單個(gè)概念，這是可解釋性的另一個(gè)關(guān)鍵構(gòu)建模塊。

這些原則是Google新CAV技術(shù)背后的理論基礎(chǔ)。

概念激活向量

遵循前文討論的想法，通常所認(rèn)為的可解釋性就是通過深度學(xué)習(xí)模型的輸入特征來描述其預(yù)測(cè)。邏輯回歸分類器就是一個(gè)典型的例子，其系數(shù)權(quán)重通常被解釋為每個(gè)特征的重要性。然而，大多數(shù)深度學(xué)習(xí)模型對(duì)諸如像素值之類的特征進(jìn)行操作，這些特征與人類容易理解的高級(jí)概念并不對(duì)應(yīng)。此外，模型的內(nèi)部值（例如，神經(jīng)元激活）也很晦澀難懂。雖然諸如顯著圖之類的技術(shù)可以有效測(cè)量特定像素區(qū)域的重要性，但是它們無法與更高層級(jí)的概念相關(guān)聯(lián)。

CAV背后的核心思想是衡量一個(gè)概念在模型輸出中的相關(guān)性。概念的CAV就是一組該概念的實(shí)例在不同方向的值（例如，激活）構(gòu)成的向量。在論文中，Google研究團(tuán)隊(duì)概述了一種名為Testing with CAV（TCAV）的線性可解釋方法，該方法使用偏導(dǎo)數(shù)來量化預(yù)測(cè)CAV表示的潛在高級(jí)概念的敏感度。他們構(gòu)想TCAV定義有四個(gè)目標(biāo)：

- 易懂：使用者幾乎不需要機(jī)器學(xué)習(xí)專業(yè)知識(shí)。

- 個(gè)性化：適應(yīng)任何概念（例如，性別），并且不限于訓(xùn)練中涉及的概念。

- 插入即用：無需重新訓(xùn)練或修改機(jī)器學(xué)習(xí)模型即可運(yùn)作。

- 全局量化：可以使用單一定量測(cè)度來解釋所有類或所有實(shí)例，而非僅僅解釋單個(gè)數(shù)據(jù)輸入。

為實(shí)現(xiàn)上述目標(biāo)，TCAV方法分為三個(gè)基本步驟：

1）為模型定義相關(guān)概念。

2）理解預(yù)測(cè)對(duì)這些概念的敏感度。

3）推斷每個(gè)概念對(duì)每個(gè)模型預(yù)測(cè)類的相對(duì)重要性的全局定量解釋。

TCAV方法的第一步是定義相關(guān)的概念（CAV）。為實(shí)現(xiàn)此目的，TCAV選擇一組代表該概念的實(shí)例或?qū)ふ覙?biāo)記為該概念的獨(dú)立數(shù)據(jù)集。我們可以通過訓(xùn)練線性分類器區(qū)分概念實(shí)例產(chǎn)生的激活和各層中的實(shí)例來學(xué)習(xí)CAV。

第二步是生成一個(gè)TCAV分?jǐn)?shù)，用于量化預(yù)測(cè)對(duì)特定概念的敏感度。TCAV使用了用于衡量ML預(yù)測(cè)值在某一概念方向、在激活層對(duì)輸入敏感度的偏導(dǎo)數(shù)。

最后一步嘗試評(píng)估學(xué)到的CAV的全局相關(guān)性，避免依賴不相關(guān)的CAV。畢竟TCAV技術(shù)的一個(gè)缺陷就是可能學(xué)到無意義的CAV，因?yàn)槭褂秒S機(jī)選擇的一組圖像仍然能得到CAV，在這種隨機(jī)概念上的測(cè)試不太可能有意義。為了應(yīng)對(duì)這一難題，TCAV引入了統(tǒng)計(jì)顯著性檢驗(yàn)，該檢驗(yàn)以隨機(jī)的訓(xùn)練次數(shù)（通常為500次）評(píng)估CAV。其基本思想是，有意義的概念應(yīng)該在多次訓(xùn)練中得到一致的TCAV分?jǐn)?shù)。

TCAV的運(yùn)作

團(tuán)隊(duì)進(jìn)行了多次實(shí)驗(yàn)來評(píng)估TCAV相比于其他可解釋性方法的效率。在一項(xiàng)最引人注目的測(cè)試中，團(tuán)隊(duì)使用了一個(gè)顯著圖，嘗試預(yù)測(cè)出租車這一概念與標(biāo)題或圖像的相關(guān)性。顯著圖的輸出如下所示：

使用這些圖像作為測(cè)試數(shù)據(jù)集，Google Brain團(tuán)隊(duì)在Amazon Mechanical Turk上邀請(qǐng)50人進(jìn)行了實(shí)驗(yàn)。每個(gè)實(shí)驗(yàn)人員執(zhí)行一系列共六個(gè)針對(duì)單個(gè)模型的隨機(jī)順序任務(wù)（3類對(duì)象 x 2種顯著圖）。

在每項(xiàng)任務(wù)中，實(shí)驗(yàn)人員首先會(huì)看到四幅圖片和相應(yīng)的顯著性蒙版。然后，他們要評(píng)估圖像對(duì)模型的重要程度（10分制），標(biāo)題對(duì)模型的重要程度（10分制），以及他們對(duì)答案的自信程度（5分制）。實(shí)驗(yàn)人員總共評(píng)定了60個(gè)不同的圖像（120個(gè)不同的顯著圖）。

實(shí)驗(yàn)的基本事實(shí)是圖像概念比標(biāo)題概念更相關(guān)。然而，看顯著圖時(shí)，人們認(rèn)為標(biāo)題概念更重要（0％噪聲的模型），或者辨別不出差異（具有100％噪聲的模型）。相比之下，TCAV結(jié)果正確地表明圖像概念更重要。

TCAV是這幾年最具創(chuàng)新性的神經(jīng)網(wǎng)絡(luò)解釋方法之一。初始的代碼可以在GitHub上看到。許多主流深度學(xué)習(xí)框架可能會(huì)在不久的將來采用這些想法。