杜克大學計算機科學教授辛西婭·魯丁說，但這就是問題所在?！拔覀兛梢暂斎脶t(yī)學圖像，然后觀察另一端的結果（‘這是惡性病變的照片’，但是很難知道兩者之間發(fā)生了什么?！?/p>

這就是所謂的“黑匣子”問題。機器的想法-網(wǎng)絡的隱藏層-甚至對于制造它的人來說都是難以理解的。

“深度學習模型的問題在于它們是如此復雜，以至于我們實際上并不知道他們正在學習什么。”杜克大學魯丁實驗室的學生?！八麄兘?jīng)?？梢岳梦覀儾幌Ｍ麄兊玫降男畔?。他們的推理過程可能是完全錯誤的?！?/p>

魯?。≧udin），陳（Chen）和杜克大學（Duke）的本科畢業(yè)生貝jie杰（Yijie Bei）提出了解決此問題的方法。通過修改這些預測背后的推理過程，研究人員可以更好地對網(wǎng)絡進行故障排除或了解它們是否值得信賴。

大多數(shù)方法試圖通過找出指向圖像的關鍵特征或像素來揭示導致計算機視覺系統(tǒng)正確答案的原因：“這種胸部X射線的生長被歸類為惡性的，因為對于該模型，這些領域?qū)τ诜伟┑姆诸愔陵P重要?！边@樣的方法并不能揭示網(wǎng)絡的原因，而只是揭示了它所處的位置。

公爵隊嘗試了另一種方法。他們的方法不是嘗試事后考慮網(wǎng)絡的決策，而是訓練網(wǎng)絡通過表達對概念的理解來展示其工作。他們的方法通過揭示網(wǎng)絡需要多少來思考不同的概念來幫助破譯它所看到的內(nèi)容而起作用。魯丁說：“它弄清楚了在網(wǎng)絡層中如何表示不同的概念?！?/p>

例如，給定一個圖書館的圖像，該方法可以確定神經(jīng)網(wǎng)絡的不同層是否以及依賴于它們對“書”的心理表達來識別場景的程度和程度。

研究人員發(fā)現(xiàn)，只需對神經(jīng)網(wǎng)絡進行少量調(diào)整，就可以像原始網(wǎng)絡一樣準確地識別圖像中的對象和場景，同時在網(wǎng)絡的推理過程中獲得實質(zhì)性的可解釋性。魯丁說：“該技術的應用非常簡單?！?/p>

該方法控制信息流經(jīng)網(wǎng)絡的方式。它涉及用新部分替換神經(jīng)網(wǎng)絡的一個標準部分。新部分僅約束網(wǎng)絡中的單個神經(jīng)元響應人類所理解的特定概念而觸發(fā)。這些概念可以是日常物品的類別，例如“書”或“自行車”。但是它們也可以是一般特征，例如“金屬”，“木材”，“冷”或“溫暖”。通過一次只讓一個神經(jīng)元控制一個概念的信息，就很容易理解網(wǎng)絡的“思維方式”。

責任編輯：lq