XAI 主要解決以下問題：對于使用者而言某些機(jī)器學(xué)習(xí)模型如同黑盒一般，給它一個(gè)輸入，決策出一個(gè)結(jié)果。比如大部分深度學(xué)習(xí)的模型，沒人能確切知道它決策的依據(jù)以及決策是否可靠。如圖 1 的 output 所示，為一般網(wǎng)絡(luò)給出的決策，缺乏可解釋性的結(jié)果讓使用者感到困惑，嚴(yán)重限制了其在現(xiàn)實(shí)任務(wù)中的廣泛應(yīng)用。

圖 1 如今的深度學(xué)習(xí) [1]

所以為了提高機(jī)器學(xué)習(xí)模型的可解釋性和透明性，使用戶和決策模型之間建立信任關(guān)系，近年來學(xué)術(shù)界進(jìn)行了廣泛和深入的研究并提出了可解釋的機(jī)器學(xué)習(xí)模型。如圖 2，模型在決策的同時(shí)給出相應(yīng)的解釋，以獲得用戶的信任和理解。

圖 2 可解釋的機(jī)器學(xué)習(xí) [1]

對于機(jī)器學(xué)習(xí)模型來說，我們常常會提到２個(gè)概念：模型準(zhǔn)確性（accuracy）和模型復(fù)雜度（complexity）。模型的復(fù)雜度與準(zhǔn)確性相關(guān)，又與模型的可解釋性相對立。因此我們希望找到一種模型如圖 3 所示，具有可解釋性的同時(shí)盡可能保證模型的準(zhǔn)確性和復(fù)雜度。
編輯：hfy