神經(jīng)網(wǎng)絡(luò)一直以“黑箱”的存在形式，讓人捉摸不透。

比如一個(gè)汽車(chē)識(shí)別模型（14c： 447），它究竟是怎么認(rèn)出圖片中的汽車(chē)的？如果我們可以看到模型內(nèi)部，我們可以發(fā)現(xiàn)14c： 447是由一個(gè)輪子探測(cè)器（4b： 373）和一個(gè)窗口探測(cè)器（4b： 237）構(gòu)成的。

OpenAI最近推出了一個(gè)有趣的工具“顯微鏡（OpenAI Microscope）”就可以做到這一點(diǎn)，借助OpenAI顯微鏡，研究人員可以更好地理解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和行為。

OpenAI表示，神經(jīng)網(wǎng)絡(luò)是成千上萬(wàn)神經(jīng)元相互作用的結(jié)果（有時(shí)成千上萬(wàn)甚至更多），而OpenAI顯微鏡就像一個(gè)神經(jīng)元可視化圖書(shū)館，能夠快速、方便地詳細(xì)研究這些神經(jīng)元的相互作用，并分享這些觀察結(jié)果。

OpenAI網(wǎng)址：

https://microscope.openai.com/

在 OpenAI 顯微鏡網(wǎng)站上，OpenAI指出，“ OpenAI 顯微鏡是幾個(gè)常見(jiàn)的‘model organisms’的每一個(gè)網(wǎng)絡(luò)層和神經(jīng)元的可視化集合，被用來(lái)研究神經(jīng)網(wǎng)絡(luò)的可解釋性。顯微鏡可以讓研究人員更容易地分析這些神經(jīng)網(wǎng)絡(luò)內(nèi)部形成的特征，我們也希望它能夠幫助研究人員理解這些復(fù)雜的系統(tǒng)?！?/p>

“盡管我們將這項(xiàng)技術(shù)提供給任何有興趣探索神經(jīng)網(wǎng)絡(luò)如何工作的人，但我們認(rèn)為其主要價(jià)值在于提供持久的、共享的人工智能模型，以促進(jìn)對(duì)這些模型的長(zhǎng)期比較研究。我們也希望擁有相近專業(yè)知識(shí)的研究人員ーー例如神經(jīng)科學(xué)ーー能夠更容易地了解這些視覺(jué)模型的內(nèi)部運(yùn)作方式，從中找到價(jià)值?！?/p>

為了進(jìn)一步解釋工作原理，OpenAI表示： “ OpenAI 顯微鏡基于兩個(gè)概念，一個(gè)是模型中的位置，另一個(gè)是其應(yīng)用的技術(shù)，比喻地說(shuō)，位置就是你指向顯微鏡的地方，技術(shù)就是顯微鏡上面的鏡頭?！?/p>

此外，模型是由一個(gè)節(jié)點(diǎn)圖體現(xiàn)的，也就是通過(guò)邊連接的神經(jīng)網(wǎng)絡(luò)層。每個(gè)節(jié)點(diǎn)包含數(shù)百個(gè)單元，大致類(lèi)似于神經(jīng)元。大多數(shù)正在使用的技術(shù)只有在特定的分辨率下才有用。例如，特征可視化只能指向一個(gè)單元，而不能指向它的父節(jié)點(diǎn)。

在介紹顯微鏡的同時(shí)，OpenAI也表示希望顯微鏡將有助于電路協(xié)作工作，通過(guò)了解神經(jīng)元之間的連接，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行逆向工程。

目前，OpenAI顯微鏡對(duì)包括AlexNet系列、Inception系列、ResNet V2 50和VGG19在內(nèi)的8個(gè)常見(jiàn)圖像識(shí)別模型提供支持。

除了OpenAI的顯微鏡試圖對(duì)神經(jīng)元進(jìn)行可視化，一些公司也試圖對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行可視化。比如Facebook的Captum就試圖可視化解釋Pytorch機(jī)器學(xué)習(xí)模型所做的決定，支持跨模式的模型的可解釋性，包括CV、NLP模型，可以支持大多數(shù)類(lèi)型的 PyTorch 模型，只需對(duì)原始神經(jīng)網(wǎng)絡(luò)進(jìn)行最小修改即可使用。

Captum網(wǎng)址：

https://captum.ai/

可以說(shuō)從神經(jīng)網(wǎng)絡(luò)模型出現(xiàn)開(kāi)始，研究人員就對(duì)其如何預(yù)測(cè)充滿好奇，可解釋的神經(jīng)網(wǎng)絡(luò)也成了一些研究人員的工作目標(biāo)，除了剛才提到的OpenAI顯微鏡和Captum這些，還包括TensorBoard等工具，都是在這一方向的努力。

為何對(duì)于模型的評(píng)估信任如此重要？因?yàn)槲覀內(nèi)绻獙⒛Ｐ蛻?yīng)用到一些重要行業(yè)，如果要基于模型的預(yù)測(cè)采取行動(dòng)，或者選擇是否部署新模型，就必須先了解它的預(yù)測(cè)機(jī)制。

畢竟對(duì)于用戶來(lái)說(shuō)，如果用戶不信任模型或預(yù)測(cè)，他們就不會(huì)使用它。