當談及人工神經(jīng)網(wǎng)絡，黑箱問題總會引起熱議，人們對黑箱問題的評價褒貶不一。

有人認為黑盒是神經(jīng)網(wǎng)絡的優(yōu)勢，這代表神經(jīng)網(wǎng)絡的自主學習性，代表其自動學習以及自動完善的特性。但大部分人認為，黑箱問題需要被解決，當我們將神經(jīng)網(wǎng)絡應用到一些對安全性，穩(wěn)定性要求很高的行業(yè)，如醫(yī)療，我們就必須進行精準控制，出現(xiàn)錯誤或問題時，我們要對內部結構進行分析改正，這時黑箱問題就希望得到解決。

圖|Lillian, Meyes & Meisen

來自 RWTH Aachen（亞琛工業(yè)大學）機械工程學院下信息管理研究所的研究人員們在解決黑箱問題上提出了自己的見解，他們探索了神經(jīng)科學技術的相關應用，以確定人工神經(jīng)網(wǎng)絡中信息是如何結構化的。

在他們發(fā)表在 arXiv 上的論文中，研究者在人工神經(jīng)網(wǎng)絡中使用了名為“消融”（ablation）的技術，原本是應用于神經(jīng)科學的一種技術，即在神經(jīng)網(wǎng)絡中切除大腦的某些神經(jīng)元來確定它們的功能。。

“我們的想法源自于神經(jīng)科學領域的研究，該領域的主要目標是理解我們的大腦是如何工作的?！盧ichard Meyes 和 Tobias Meisen 兩位研究者說道?！霸S多關于大腦功能的見解看法都是通過消融研究獲得的，本質上來說，消融即選擇性地切除或破壞大腦特定區(qū)域的組織，以可控的方式進行消融，檢測大腦該部分對諸如言語生成、運動等日常工作的影響?！?/p>

在此之前，消融已經(jīng)被應用在一些人工神經(jīng)網(wǎng)絡的研究中，但這些研究主要關注于調整神經(jīng)網(wǎng)絡層和改變其結構，因此更像是參數(shù)搜索而不是生物學的消融法。

Mayes Meisen 以及他們的同事 Peter Lillian 進行這項實驗的目的是想從生物學的角度檢驗人工神經(jīng)網(wǎng)絡，評估它們的結構以及不同組成部分的不同功能。最后，他們決定用消融來做這個測試，這種技術在神經(jīng)科學研究中使用了 200 多年。

在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經(jīng)網(wǎng)絡的特定區(qū)域的方法，觀察該區(qū)域如何影響性能。最終，通過這些觀測結果對人工神經(jīng)網(wǎng)絡和生物神經(jīng)網(wǎng)絡的組織形式進行比較。

“在人工神經(jīng)網(wǎng)絡上應用消融的方法十分簡單的，”Meyes 和 Meisen 解釋道?！笆紫?，我們訓練神經(jīng)網(wǎng)絡來完成特定的任務，比如說識別手寫數(shù)字。第二步，我們切除網(wǎng)絡的某一部分，然后評估由這種破壞導致的性能變化。第三步，我們確定網(wǎng)絡性能的改變和被破壞的位置之間是否有聯(lián)系。通過這種方法，我們發(fā)現(xiàn)網(wǎng)絡的某些特定能力，比如控制機器人執(zhí)行前進動作，是通過局部網(wǎng)絡控制的。”

圖| 當每個部分被切除后，切除該部分后的輸出結果會被保存下來。（圖片來源：論文）

通過對訓練用于在線圈中導航的人工神經(jīng)網(wǎng)絡進行消融操作，并檢查這種干預措施對輸出產(chǎn)生的影響，研究者獲得了一系列有趣的發(fā)現(xiàn)——結果顯示人工神經(jīng)網(wǎng)絡和生物的神經(jīng)網(wǎng)絡之間的確存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡如何自我安排和存儲信息有關。

Meyes 和 Meisen 說道：“最令我們感興趣的發(fā)現(xiàn)是，一般來說被損壞的神經(jīng)網(wǎng)絡性能會下降，但網(wǎng)絡的某些特定能力，比如識別數(shù)字，其中部分被損壞反而會增強識別能力。我們的研究表明，我們可以通過消融正確區(qū)域用以增加一個神經(jīng)網(wǎng)絡的性能。此外，研究還表明，神經(jīng)科學研究得方法在人工神經(jīng)網(wǎng)絡研究上的應用，或許可以為理解人工智能開辟新的視角?！?/p>

盡管 Meyes, Meisen 和 Lillian 得到了喜人的結果，但他們的研究也存在一定的局限性。比如說，他們的研究受限于使用強化學習，依賴于實時的機器人訓練模型，這僅僅只是檢驗生物神經(jīng)網(wǎng)絡和人工神經(jīng)網(wǎng)絡的第一步。

未來的研究工作或許可以更詳細、更大規(guī)模地研究人工神經(jīng)網(wǎng)絡與大腦神經(jīng)網(wǎng)絡之間的聯(lián)系。

“我們計劃繼續(xù)探索通過利用神經(jīng)科學來啟發(fā)人工神經(jīng)網(wǎng)絡研究的研究方向，”Meyes 和 Meisen 說道?！拔覀兘酉聛淼挠媱澥菍⑷斯ど窠?jīng)網(wǎng)絡中的活動可視化，就像大腦的活動可以用例如 fMRI 的成像方法可視化一樣。目標是使神經(jīng)網(wǎng)絡的決策過程更加透明，從而獲得對人工神經(jīng)網(wǎng)絡進行更全面的了解。”