人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型或計(jì)算模型，在給定條件下能近似地逼近任意復(fù)雜的函數(shù)或分布。近年來，隨著深度學(xué)習(xí)，即深度神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展，神經(jīng)網(wǎng)絡(luò)模型在自然語言處理、語音識別、計(jì)算機(jī)視覺等眾多領(lǐng)域獲得突破性進(jìn)展，取得了令人矚目的成果。

然而隨著深度學(xué)習(xí)技術(shù)在多個(gè)領(lǐng)域的大量應(yīng)用，其背后隱藏的安全問題也隨之而來。特別是在醫(yī)學(xué)診斷、網(wǎng)絡(luò)安全、自動(dòng)駕駛等對安全性有較高要求的領(lǐng)域，深度神經(jīng)網(wǎng)絡(luò)所隱藏的安全風(fēng)險(xiǎn)限制了其自身在更多領(lǐng)域的應(yīng)用和推廣，引起了政府、學(xué)術(shù)界及工業(yè)界的關(guān)注?；谏疃壬窠?jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)主要面臨結(jié)果不可驗(yàn)證和過程不可審查兩大安全問題。結(jié)果不可驗(yàn)證指的是基于深度神經(jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)輸出結(jié)果無法被判斷、預(yù)測，智能系統(tǒng)行為邊界難以掌握，導(dǎo)致系統(tǒng)不可控，本質(zhì)上是深度神經(jīng)網(wǎng)絡(luò)結(jié)果不可判讀。過程不可審查指的是系統(tǒng)決策背后的邏輯不明，代碼實(shí)現(xiàn)缺乏可信度，本質(zhì)上是深度神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)機(jī)理與決策邏輯難以理解。

實(shí)際上，人工智能系統(tǒng)所面臨的兩大安全問題的根源在于深度神經(jīng)網(wǎng)絡(luò)的不可解釋性。深度神經(jīng)網(wǎng)絡(luò)可解釋性定義為可判讀（interpretability）和可理解（explainability）兩方面的內(nèi)容?？膳凶x性，即深度神經(jīng)網(wǎng)絡(luò)輸出可判讀，結(jié)果可預(yù)測，能有效建立起輸入空間與輸出空間的映射關(guān)系，有利于人們掌握系統(tǒng)的行為邊界，從而避免基于深度神經(jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)所面臨的不可驗(yàn)證問題?？衫斫庑?，即深度神經(jīng)網(wǎng)絡(luò)內(nèi)部工作原理透明，各模塊作用意義可見，能對模型輸出結(jié)果做出解釋，揭示其背后的決策邏輯，并能有效地分析模型內(nèi)部的邏輯漏洞和數(shù)據(jù)死角，解決基于深度神經(jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)所面臨的不可審查問題。因此，隨著基于深度神經(jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)的廣泛應(yīng)用，亟須對神經(jīng)網(wǎng)絡(luò)的可解釋性進(jìn)行研究并構(gòu)造可解釋的神經(jīng)網(wǎng)絡(luò)，從而提高人工智能系統(tǒng)的安全性，保障人工智能應(yīng)用在各大領(lǐng)域能安全有效地運(yùn)行。

針對上述人工智能系統(tǒng)中的安全問題，國際標(biāo)準(zhǔn)化組織/國際電工委員會（ISO/IEC）成立了人工智能可信研究組，開展人工智能安全標(biāo)準(zhǔn)化的研究。其主要工作為：通過研究人工智能可驗(yàn)證性、可解釋性、可控性等調(diào)查建立可信人工智能系統(tǒng)的方法。目的是通過增強(qiáng)深度學(xué)習(xí)的可理解性來建立可靠、可信的深度學(xué)習(xí)系統(tǒng)，主要解決其面臨的過程不可審查的安全問題。目前，神經(jīng)網(wǎng)絡(luò)可解釋性的研究大多基于數(shù)據(jù)可視化和代理模型等技術(shù)，即在深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建前后，對輸入、輸出進(jìn)行可視化，并依此對神經(jīng)網(wǎng)絡(luò)層進(jìn)行解釋。這是對深度神經(jīng)網(wǎng)絡(luò)模型可判讀性的研究，其本質(zhì)上僅涉及到深度學(xué)習(xí)智能系統(tǒng)安全中的不可驗(yàn)證問題。換言之，這些工作難以解決其所面臨的不可審查問題。因此，亟待研究一個(gè)能同時(shí)提高深度神經(jīng)網(wǎng)絡(luò)可判讀性和可理解性，進(jìn)而解決基于深度神經(jīng)網(wǎng)絡(luò)的人工智能系統(tǒng)中結(jié)果不可驗(yàn)證和過程不審查兩大問題的方法。

可微編程（Differentiable Programming）作為一種新型的研究方法，受到了學(xué)術(shù)界的關(guān)注?？晌⒕幊套钤缬?a target="_blank">ACM圖靈獎(jiǎng)得主雅恩·樂昆（Yann LeCun）教授提出，其核心思想是將神經(jīng)網(wǎng)絡(luò)當(dāng)成一種語言，從而描述客觀世界的概念以及概念相互之間的關(guān)系。這與現(xiàn)代科學(xué)將數(shù)學(xué)視作一門科學(xué)語言從而描述客觀世界的思想是一脈相通的。目前可微編程主要集中在將現(xiàn)有的機(jī)器學(xué)習(xí)的方法轉(zhuǎn)化成等價(jià)的神經(jīng)網(wǎng)絡(luò)，使得模型同時(shí)具有傳統(tǒng)統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法的可解釋性強(qiáng)以及深度神經(jīng)網(wǎng)絡(luò)性能較優(yōu)等優(yōu)點(diǎn)，極大地提高了深度神經(jīng)網(wǎng)絡(luò)的可判讀性和可理解性。與現(xiàn)有的神經(jīng)網(wǎng)絡(luò)可解釋性研究方法不同的是，基于可微編程的神經(jīng)網(wǎng)絡(luò)可解釋性研究，旨在直接構(gòu)建一個(gè)可解釋的神經(jīng)網(wǎng)絡(luò)模型，而非對已有的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行解釋。后者往往是通過一個(gè)新的模型來解釋現(xiàn)有的不可解釋的“黑箱”神經(jīng)網(wǎng)絡(luò)，而這樣的可解釋性研究通常是不可靠的，甚至?xí)斐烧`導(dǎo)。前者則通過直接構(gòu)建一個(gè)繼承自統(tǒng)計(jì)機(jī)器學(xué)習(xí)或現(xiàn)實(shí)物理模型的可解釋的深度神經(jīng)網(wǎng)絡(luò)模型，提供一個(gè)可靠的、透明的、可信的人工智能系統(tǒng)。

綜上，神經(jīng)網(wǎng)絡(luò)的可解釋性不同于可解釋的神經(jīng)網(wǎng)絡(luò)。前者一般針對已有的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、行為、決策等進(jìn)行解釋，而后者則著重直接構(gòu)建可解釋的神經(jīng)網(wǎng)絡(luò)模型，其結(jié)構(gòu)、工作原理、決策行為及輸出結(jié)果本就能為人理解。但是目前大多相關(guān)研究僅局限于神經(jīng)網(wǎng)絡(luò)的可解釋性而非可解釋的神經(jīng)網(wǎng)絡(luò)。正如魯丁（Rudin）教授2019年在《自然-機(jī)器智能》（Nature Machine Intelligence）上發(fā)表的論文所言：人們亟須對可解釋的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，而不應(yīng)局限于研究神經(jīng)網(wǎng)絡(luò)的可解釋性。