當(dāng)談及人工神經(jīng)網(wǎng)絡(luò)，黑箱問題總會(huì)引起熱議，人們對黑箱問題的評價(jià)褒貶不一。

有人認(rèn)為黑盒是神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，這代表神經(jīng)網(wǎng)絡(luò)的自主學(xué)習(xí)性，代表其自動(dòng)學(xué)習(xí)以及自動(dòng)完善的特性。但大部分人認(rèn)為，黑箱問題需要被解決，當(dāng)我們將神經(jīng)網(wǎng)絡(luò)應(yīng)用到一些對安全性，穩(wěn)定性要求很高的行業(yè)，如醫(yī)療，我們就必須進(jìn)行精準(zhǔn)控制，出現(xiàn)錯(cuò)誤或問題時(shí)，我們要對內(nèi)部結(jié)構(gòu)進(jìn)行分析改正，這時(shí)黑箱問題就希望得到解決。

圖|Lillian, Meyes & Meisen

來自 RWTH Aachen（亞琛工業(yè)大學(xué)）機(jī)械工程學(xué)院下信息管理研究所的研究人員們在解決黑箱問題上提出了自己的見解，他們探索了神經(jīng)科學(xué)技術(shù)的相關(guān)應(yīng)用，以確定人工神經(jīng)網(wǎng)絡(luò)中信息是如何結(jié)構(gòu)化的。

在他們發(fā)表在 arXiv 上的論文中，研究者在人工神經(jīng)網(wǎng)絡(luò)中使用了名為“消融”（ablation）的技術(shù)，原本是應(yīng)用于神經(jīng)科學(xué)的一種技術(shù)，即在神經(jīng)網(wǎng)絡(luò)中切除大腦的某些神經(jīng)元來確定它們的功能。。

“我們的想法源自于神經(jīng)科學(xué)領(lǐng)域的研究，該領(lǐng)域的主要目標(biāo)是理解我們的大腦是如何工作的。”Richard Meyes 和 Tobias Meisen 兩位研究者說道?！霸S多關(guān)于大腦功能的見解看法都是通過消融研究獲得的，本質(zhì)上來說，消融即選擇性地切除或破壞大腦特定區(qū)域的組織，以可控的方式進(jìn)行消融，檢測大腦該部分對諸如言語生成、運(yùn)動(dòng)等日常工作的影響?！?/p>

在此之前，消融已經(jīng)被應(yīng)用在一些人工神經(jīng)網(wǎng)絡(luò)的研究中，但這些研究主要關(guān)注于調(diào)整神經(jīng)網(wǎng)絡(luò)層和改變其結(jié)構(gòu)，因此更像是參數(shù)搜索而不是生物學(xué)的消融法。

Mayes Meisen 以及他們的同事 Peter Lillian 進(jìn)行這項(xiàng)實(shí)驗(yàn)的目的是想從生物學(xué)的角度檢驗(yàn)人工神經(jīng)網(wǎng)絡(luò)，評估它們的結(jié)構(gòu)以及不同組成部分的不同功能。最后，他們決定用消融來做這個(gè)測試，這種技術(shù)在神經(jīng)科學(xué)研究中使用了 200 多年。

在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經(jīng)網(wǎng)絡(luò)的特定區(qū)域的方法，觀察該區(qū)域如何影響性能。最終，通過這些觀測結(jié)果對人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的組織形式進(jìn)行比較。

“在人工神經(jīng)網(wǎng)絡(luò)上應(yīng)用消融的方法十分簡單的，”Meyes 和 Meisen 解釋道?！笆紫?，我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來完成特定的任務(wù)，比如說識(shí)別手寫數(shù)字。第二步，我們切除網(wǎng)絡(luò)的某一部分，然后評估由這種破壞導(dǎo)致的性能變化。第三步，我們確定網(wǎng)絡(luò)性能的改變和被破壞的位置之間是否有聯(lián)系。通過這種方法，我們發(fā)現(xiàn)網(wǎng)絡(luò)的某些特定能力，比如控制機(jī)器人執(zhí)行前進(jìn)動(dòng)作，是通過局部網(wǎng)絡(luò)控制的?！?/p>

圖| 當(dāng)每個(gè)部分被切除后，切除該部分后的輸出結(jié)果會(huì)被保存下來。（圖片來源：論文）

通過對訓(xùn)練用于在線圈中導(dǎo)航的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行消融操作，并檢查這種干預(yù)措施對輸出產(chǎn)生的影響，研究者獲得了一系列有趣的發(fā)現(xiàn)——結(jié)果顯示人工神經(jīng)網(wǎng)絡(luò)和生物的神經(jīng)網(wǎng)絡(luò)之間的確存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡(luò)如何自我安排和存儲(chǔ)信息有關(guān)。

Meyes 和 Meisen 說道：“最令我們感興趣的發(fā)現(xiàn)是，一般來說被損壞的神經(jīng)網(wǎng)絡(luò)性能會(huì)下降，但網(wǎng)絡(luò)的某些特定能力，比如識(shí)別數(shù)字，其中部分被損壞反而會(huì)增強(qiáng)識(shí)別能力。我們的研究表明，我們可以通過消融正確區(qū)域用以增加一個(gè)神經(jīng)網(wǎng)絡(luò)的性能。此外，研究還表明，神經(jīng)科學(xué)研究得方法在人工神經(jīng)網(wǎng)絡(luò)研究上的應(yīng)用，或許可以為理解人工智能開辟新的視角。”

盡管 Meyes, Meisen 和 Lillian 得到了喜人的結(jié)果，但他們的研究也存在一定的局限性。比如說，他們的研究受限于使用強(qiáng)化學(xué)習(xí)，依賴于實(shí)時(shí)的機(jī)器人訓(xùn)練模型，這僅僅只是檢驗(yàn)生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)的第一步。

未來的研究工作或許可以更詳細(xì)、更大規(guī)模地研究人工神經(jīng)網(wǎng)絡(luò)與大腦神經(jīng)網(wǎng)絡(luò)之間的聯(lián)系。

“我們計(jì)劃繼續(xù)探索通過利用神經(jīng)科學(xué)來啟發(fā)人工神經(jīng)網(wǎng)絡(luò)研究的研究方向，”Meyes 和 Meisen 說道?！拔覀兘酉聛淼挠?jì)劃是將人工神經(jīng)網(wǎng)絡(luò)中的活動(dòng)可視化，就像大腦的活動(dòng)可以用例如 fMRI 的成像方法可視化一樣。目標(biāo)是使神經(jīng)網(wǎng)絡(luò)的決策過程更加透明，從而獲得對人工神經(jīng)網(wǎng)絡(luò)進(jìn)行更全面的了解?！?/p>