躺尸接近三個(gè)月的OpenAI博客終于有了更新，這次它為AI研究者帶來(lái)的作品是“OpenAI Microscope”，中文譯名OpenAI 顯微鏡。

意為可以像實(shí)驗(yàn)室中的顯微鏡一樣工作，幫助AI研究人員更好地理解神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和特征。

說(shuō)到底，這個(gè)顯微鏡更像是一個(gè)神經(jīng)元可視化庫(kù)，里面包含了歷史上重要且普遍研究的計(jì)算機(jī)視覺(jué)模型，如2012年ImageNet挑戰(zhàn)賽冠軍AlexNet，2014年的ImageNet冠軍GoogleNet（又名Inception V1）和ResNet v2。

OpenAI Microscope

如上圖所示，初始版本包含8個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)模型。每個(gè)神經(jīng)網(wǎng)絡(luò)都用可視化的形式展示了一些重要神經(jīng)元的內(nèi)部結(jié)構(gòu)。

OpenAI在研究中提到：現(xiàn)代神經(jīng)網(wǎng)絡(luò)模型強(qiáng)大的能力來(lái)源于成千上萬(wàn)個(gè)神經(jīng)元相互作用，

但神經(jīng)元之間的“協(xié)作”一直是個(gè)迷，OpenAI 發(fā)布的這個(gè)顯微鏡能夠幫助快速探索這些神經(jīng)元。

例如，一位研究人員可能會(huì)推測(cè)：InceptionV1 4c:447 is a car detector which is built from a wheel detector （4b:373） and a window detector （4b:237）。InceptionV1 4c:447是由車輪檢測(cè)器（4b:373）和車窗檢測(cè)器（4b:237）組成的汽車檢測(cè)器。那么，用OpenAI 顯微鏡就可以評(píng)估該推測(cè)，并發(fā)現(xiàn)新事物。

如，OpenAI顯微鏡對(duì)AlexNet的觀察，如上動(dòng)圖所示，從最初的一張完整圖片開始，經(jīng)歷了神經(jīng)網(wǎng)絡(luò)提取特征，最后圖片會(huì)“虛化”成一些彩色線條。

這中間發(fā)生了什么？顯然，弄清楚神經(jīng)網(wǎng)絡(luò)中間的運(yùn)行過(guò)程非常重要。

如上，點(diǎn)擊神經(jīng)網(wǎng)絡(luò)的每一層，OpenAI 顯微鏡都會(huì)對(duì)處理圖片的過(guò)程進(jìn)行可視化的展示，具體到每一個(gè)神經(jīng)元都會(huì)對(duì)應(yīng)一張?zhí)幚砗蟮膱D片。非常清晰的展示了每一張圖片的“漸進(jìn)”過(guò)程。

據(jù)OpenAI介紹，這種探索神經(jīng)元的過(guò)程，對(duì)另一份神經(jīng)網(wǎng)絡(luò)可解釋性研究《Zoom In： An Introduction to Circuits》提供了意想不到的幫助。

“顯微鏡”技術(shù)基于兩個(gè)概念：模型中的位置和技術(shù)。形象一些的講，位置就是你把顯微鏡對(duì)準(zhǔn)的地方，技術(shù)就是你給它貼上什么樣的透鏡。

模型由“節(jié)點(diǎn)”（神經(jīng)網(wǎng)絡(luò)層）圖組成，這些圖通過(guò)“邊”相互連接。每個(gè)操作包含數(shù)百個(gè)“單元”，大致類似于神經(jīng)元。

值得注意的是，其使用的大多數(shù)技術(shù)僅在特定分辨率下才有用。例如，特征可視化只能指向一個(gè)“單元”，而不是其父“節(jié)點(diǎn)”。另外，在給出這個(gè)工具的同時(shí)，OpenAI也給出了幾點(diǎn)對(duì)可解釋性研究的貢獻(xiàn)：1、所有的模型和可視化都已經(jīng)開源，且“顯微鏡”中所有的可視化都是用lucid庫(kù)生成。2、能夠?qū)⒛Ｐ秃蜕窠?jīng)元相互聯(lián)系起來(lái)，可以立即對(duì)神經(jīng)元進(jìn)行審查和進(jìn)一步探索。3、可訪問(wèn)性，通過(guò)共享可視化研究，保持高度的可訪問(wèn)性。正如生物學(xué)家專注于研究少數(shù)“模型生物”一樣，“顯微鏡”也專注于詳細(xì)探索少數(shù)模型。OpenAI的初始版本包括九個(gè)常用的視覺(jué)模型，未來(lái)幾個(gè)月會(huì)擴(kuò)展到其他模型。也就是說(shuō)，目前僅提供DeepDream和函數(shù)可視化功能，尚未支持定制模型可視化探索。

可解釋性研究：源于DeepDream

可解釋性和確定性在機(jī)器學(xué)習(xí)系統(tǒng)方面是一個(gè)寬泛的話題，設(shè)法了解神經(jīng)網(wǎng)絡(luò)在那些層的函數(shù)中具體在做什么是一大挑戰(zhàn)。

但弄清楚應(yīng)該如何選擇初始化參數(shù)這類問(wèn)題，必須了解神經(jīng)網(wǎng)絡(luò)的本質(zhì)。

AI研究員們也一直朝著這個(gè)方向努力。除了Microscope下的神經(jīng)元可視化之外，近年來(lái)的一些工作也試圖可視化機(jī)器學(xué)習(xí)模型。

例如，F(xiàn)acebook在去年春天推出的Captum，便嘗試了使用可視化技術(shù)來(lái)解釋機(jī)器學(xué)習(xí)模型做出的決策。作為基于 Pytorch 的一個(gè)模型解釋庫(kù)，其功能強(qiáng)大、靈活且易于使用，并為所有最新的算法提供了解釋性，能夠幫助研究人員及開發(fā)者更好地理解對(duì)模型預(yù)測(cè)結(jié)果產(chǎn)生作用的具體特征、神經(jīng)元及神經(jīng)網(wǎng)絡(luò)層。

在當(dāng)時(shí)，F(xiàn)acebook也推出了Captum Insight 的試用版，基于 Captum 構(gòu)建，提供了解釋性的可視化功能。

而在2019年3月，OpenAI和谷歌也曾發(fā)布用于可視化機(jī)器學(xué)習(xí)算法做出的決策的激活地圖技術(shù)（Activation Atlases）；

如果將之前的研究比作在算法的視覺(jué)字母表中顯示單個(gè)字母，那么激活地圖集則提供了整個(gè)字典，它能夠顯示字母是如何組合在一起制作實(shí)際詞匯。

激活地圖集建立在特征可視化的基礎(chǔ)上，將關(guān)注點(diǎn)從單個(gè)神經(jīng)元轉(zhuǎn)移到可視化這些神經(jīng)元所共同代表的空間。

顯然，今天“顯微鏡”的這項(xiàng)工作也集成、借助了之前的激活地圖技術(shù)。

追根溯源，所有的此類可視化研究或許可以歸結(jié)為一項(xiàng)名為DeepDream的早期實(shí)驗(yàn)，這是2015年發(fā)布的計(jì)算機(jī)視覺(jué)計(jì)劃，意圖將任何圖片變成了自身的“幻覺(jué)”版本。

DeepDream展示了google神經(jīng)網(wǎng)絡(luò)模型對(duì)輸入圖片的理解，類似于“深度盜夢(mèng)”，由于畫風(fēng)詭異，其被認(rèn)為在某些方面，定義了所謂人工智能美學(xué)。

或許，從那時(shí)候，AI研究人員就對(duì)神經(jīng)網(wǎng)絡(luò)模型眼中的世界產(chǎn)生了好奇，開啟了可解釋性探秘之路。

正如OpenAI的Chris OlahOlah曾經(jīng)說(shuō)過(guò)的那樣：“在某些方面，這一切都始于DeepDream?！?/p>