在機(jī)器學(xué)習(xí)領(lǐng)域里，有個(gè)黑匣子，研究員通常不知道模型究竟是如何運(yùn)行，做出決策的。這也成為了他們一直想要弄明白的課題之一。

當(dāng)?shù)貢r(shí)間4月14日，非營(yíng)利組織OpenAI推出了一款名為“顯微鏡”（Microscope）的神經(jīng)元可視化工具，包含了9個(gè)當(dāng)下流行的神經(jīng)網(wǎng)絡(luò)。正如它的名稱一樣，這套新工具可以像實(shí)驗(yàn)室中的顯微鏡一樣，幫助AI研究人員更好地理解擁有成千上萬(wàn)神經(jīng)元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和行為。

神經(jīng)元可視化

OpenAI成立于2015年底，是一個(gè)非營(yíng)利的人工智能研究組織，旨在通過(guò)促進(jìn)和發(fā)展友好的人工智能，而使人類整體受益，創(chuàng)始人中有硅谷“鋼鐵俠”馬斯克。

OpenAI在自己的官方博客上稱，“顯微鏡”對(duì)幾種常見(jiàn)模型里每一個(gè)重要層和神經(jīng)元都做了可視化，對(duì)神經(jīng)網(wǎng)絡(luò)的可解釋性進(jìn)行了研究?！帮@微鏡”讓分析這些神經(jīng)網(wǎng)絡(luò)內(nèi)部特征變得更加容易，也能幫助研究員朝著理解這些復(fù)雜系統(tǒng)的發(fā)現(xiàn)前進(jìn)。

神經(jīng)元可視化圖例

據(jù)OpenAI介紹，“顯微鏡”的模型由神經(jīng)網(wǎng)絡(luò)層的“節(jié)點(diǎn)”圖組成，這些圖通過(guò)“邊”相互連接。每個(gè)操作包含數(shù)百個(gè)“單元”，大致類似于神經(jīng)元。在機(jī)器學(xué)習(xí)和認(rèn)知科學(xué)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計(jì)算。我們的神經(jīng)元可以給一些輸入，然后輸出一個(gè)結(jié)果，在機(jī)器學(xué)習(xí)中，神經(jīng)元也起到相同的作用，它是一個(gè)數(shù)學(xué)函數(shù)的占位符，它的工作就是對(duì)輸入使用一個(gè)函數(shù)，然后給一個(gè)輸出結(jié)果。

“顯微鏡”包含的初始模型包括了機(jī)器學(xué)習(xí)領(lǐng)域里重要，且經(jīng)過(guò)廣泛研究的計(jì)算機(jī)視覺(jué)模型。例如，2012年ImageNet挑戰(zhàn)賽冠軍AlexNet， AlexNet在研究中被引用了5萬(wàn)次以上；還有2014年ImageNet贏家GoogleNet，以及ResNet v2。OpenAI表示每種模型的可視化都帶有一些場(chǎng)景，并且圖像在OpenAI Lucid庫(kù)中可用，也可以在Creative Commons授權(quán)許可下重復(fù)使用。

“我們希望任何想知道神經(jīng)網(wǎng)絡(luò)如何運(yùn)行的人，都可以使用這個(gè)工具。這個(gè)工具的主要價(jià)值在于可以提供持久的共享成果，從而促進(jìn)對(duì)這些模型的研究。我們還希望有相關(guān)專業(yè)知識(shí)的研究人員，例如神經(jīng)科學(xué)家能夠輕松使用這些模型，同時(shí)還能從模型中找到價(jià)值?！監(jiān)penAI稱。

除了“顯微鏡”的神經(jīng)元可視化外，近年來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域里也有人試圖將機(jī)器學(xué)習(xí)模型的活動(dòng)可視化。Facebook在去年秋天推出了Captum，使用可視化技術(shù)來(lái)解釋機(jī)器學(xué)習(xí)模型做出的決策。2019年3月，OpenAI和Google還發(fā)布了激活地圖集技術(shù)，將機(jī)器學(xué)習(xí)算法做出的決策進(jìn)行了可視化。