來自IBM Watson和亞利桑那州立大學的一組研究人員發(fā)表了一項關于可解釋人工智能規(guī)劃（XAIP）的工作調查。 這項調查涉及67份文件和圖表，顯示了該領域的最新趨勢。

該小組由ASU的Yochan實驗室的Subbarao Kambhampati教授領導，重點審查了自動化規(guī)劃系統(tǒng)領域：那些產生旨在實現目標狀態(tài)的行動（或計劃）序列的系統(tǒng)。 可解釋的規(guī)劃系統(tǒng)能夠回答為什么選擇特定的行動或行動順序的問題。 該小組指出，這一領域中可解釋的系統(tǒng)可分為基于算法的系統(tǒng)、基于模型的系統(tǒng)或基于計劃的系統(tǒng)，近年來所有類型的研究都有所增加，但大多數工作都是基于模型的系統(tǒng)。

可解釋AI（X AI）近年來一直是一個積極的研究課題，受到DARPA2016年倡議的推動。 計算機視覺和自然語言處理等“感知”問題的機器學習的廣泛采用，導致了分類器的可解釋性技術的發(fā)展，包括LIME和AllenNLP解釋技術。 雖然感知是決定其環(huán)境現狀的一項重要技能，但一個自主系統(tǒng)-機器人、自動駕駛汽車，甚至是一個玩游戲的人工智能-也必須決定該做什么。 這些人工智能系統(tǒng)通常采用規(guī)劃，這產生一系列行動，供人工智能采取，以實現其目標。

可解釋的人工智能規(guī)劃（XAIP）系統(tǒng)能夠回答有關其計劃的問題;例如，為什么某一特定行動被或不包括在計劃中。 該團隊將這些系統(tǒng)分類為基于算法、基于模型或基于計劃的系統(tǒng)。 基于算法的解釋通常對系統(tǒng)設計者調試算法最有幫助，而不是最終用戶。 基于計劃的解釋使用摘要或抽象，使用戶能夠理解“在長時間范圍內和在大的狀態(tài)空間內運行的計劃?！?大多數研究都是基于模型的解釋，其中考慮到了這樣一個事實，即用戶的計算能力比人工智能低得多，而且往往有一個不同于“地面真相”的心理模型。 對于這些系統(tǒng)，解釋需要協調用戶的心理模型和系統(tǒng)模型。

DARPA的XAI計劃指出，可解釋系統(tǒng)的一個動機是提高用戶對AI結果的信任。 然而，Kambhampati的研究團隊指出，解釋過程也可能被“劫持”，以產生“不再是真實的，而是用戶認為滿意的任何東西”的解釋。 其他研究人員認為，如果人工智能和機器人要在社會上有效，這種欺騙甚至可能是必要的。 深度學習的先驅杰弗里·辛頓（GeoffreyHinton）在推特上淡化了解釋能力的必要性：

假設你患有癌癥，你必須在一個黑匣子AI外科醫(yī)生之間做出選擇，這個醫(yī)生無法解釋它是如何工作的，但治愈率為90%，而人類外科醫(yī)生的治愈率為80%。 你想讓人工智能外科醫(yī)生違法嗎？

Kambhampati認為這是一個“錯誤的二分法”，認為從長遠來看，我們既要有準確性，也要有可解釋性。