數(shù)據(jù)是模型可解釋性的核心。可解釋人工智能（ XAI ）是一個快速發(fā)展的領(lǐng)域，旨在深入了解人工智能算法的復(fù)雜決策過程。

在人工智能對個人生活有重大影響的領(lǐng)域，如信用風(fēng)險評分，管理者和消費者都有權(quán)要求深入了解這些決策。領(lǐng)先的金融機(jī)構(gòu)已經(jīng)在利用 XAI 驗證其模型。同樣，監(jiān)管機(jī)構(gòu)也要求深入了解金融機(jī)構(gòu)的算法環(huán)境。但在實踐中如何做到這一點呢？

潘多拉的封閉盒子

人工智能越先進(jìn)，對可解釋性來說，數(shù)據(jù)就越重要。

現(xiàn)代的 ML 算法有集成方法和深度學(xué)習(xí)，即使沒有數(shù)百萬個模型參數(shù)，也會產(chǎn)生數(shù)千個。當(dāng)應(yīng)用于實際數(shù)據(jù)時，如果不看到它們的實際作用，就不可能掌握它們。

甚至在培訓(xùn)數(shù)據(jù)敏感的情況下，廣泛訪問數(shù)據(jù)的必要性也是顯而易見的。用于信用評分和保險定價的金融和醫(yī)療數(shù)據(jù)是人工智能中使用最頻繁、但也是最敏感的數(shù)據(jù)類型。

這是一個相互矛盾的難題：你想要數(shù)據(jù)得到保護(hù)，你想要一個透明的決策。

可解釋的 AI 需要數(shù)據(jù)

那么，這些算法如何變得透明呢？你如何判斷機(jī)器做出的模型決策？考慮到它們的復(fù)雜性，披露數(shù)學(xué)模型、實現(xiàn)或完整的訓(xùn)練數(shù)據(jù)并不能達(dá)到目的。

相反，您必須通過觀察各種實際案例中的決策來探索系統(tǒng)的行為，并探索其對修改的敏感性。這些基于示例的假設(shè)探索有助于我們理解是什么驅(qū)動了模型的決策。

這種簡單而強(qiáng)大的概念，即在給定輸入數(shù)據(jù)變化的情況下，系統(tǒng)地探索模型輸出的變化，也稱為 local interpretability ，可以在域和 model-agnostic 按比例 中執(zhí)行。因此，同樣的原則可以應(yīng)用于幫助解釋信用評分系統(tǒng)、銷售需求預(yù)測、欺詐檢測系統(tǒng)、文本分類器、推薦系統(tǒng)等。

然而，像 SHAP 這樣的局部可解釋性方法不僅需要訪問模型，還需要訪問大量具有代表性和相關(guān)的數(shù)據(jù)樣本。

圖 1 顯示了一個在模型上進(jìn)行的基本演示，該演示預(yù)測了客戶對金融行業(yè)內(nèi)營銷活動的反應(yīng)。查看相應(yīng)的 Python 調(diào)用可以發(fā)現(xiàn)需要經(jīng)過訓(xùn)練的模型，以及執(zhí)行這些類型分析的代表性數(shù)據(jù)集。然而，如果該數(shù)據(jù)實際上是敏感的，并且無法被 AI 模型驗證器 訪問，該怎么辦？

圖 1 ：。使用實際數(shù)據(jù)通過 SHAP 解釋模型的示例

用于跨團(tuán)隊擴(kuò)展 XAI 的合成數(shù)據(jù)

在人工智能采用的早期，通常是同一組工程師開發(fā)模型并對其進(jìn)行驗證。在這兩種情況下，他們都使用了真實的生產(chǎn)數(shù)據(jù)。

考慮到算法對個人的現(xiàn)實影響，現(xiàn)在越來越多的人認(rèn)識到，獨立小組應(yīng)該檢查和評估模型及其影響。理想情況下，這些人會從工程和非工程背景中提出不同的觀點。

與外部審計師和認(rèn)證機(jī)構(gòu)簽訂合同，以建立額外的信心，確保算法是公平、公正和無歧視的。然而，隱私問題和現(xiàn)代數(shù)據(jù)保護(hù)法規(guī)（如 GDPR ）限制了對代表性驗證數(shù)據(jù)的訪問。這嚴(yán)重阻礙了模型驗證的廣泛開展。

幸運的是，模型驗證可以使用高質(zhì)量的人工智能生成的 synthetic data 來執(zhí)行，它可以作為敏感數(shù)據(jù)的高度準(zhǔn)確、匿名的替代品。例如， AI 的 綜合數(shù)據(jù)平臺 主要使組織能夠以完全自助、自動化的方式生成合成數(shù)據(jù)集。

圖 2 顯示了使用合成數(shù)據(jù)對模型執(zhí)行的 XAI 分析。比較圖 1 和圖 2 時，結(jié)果幾乎沒有任何明顯的差異。同樣的見解和檢查也可以通過利用 AI 的隱私安全合成數(shù)據(jù)來實現(xiàn)，這最終使真正的協(xié)作能夠在規(guī)模和連續(xù)的基礎(chǔ)上執(zhí)行 XAI 。

圖 2 ：。使用合成數(shù)據(jù)通過 SHAP 解釋模型的示例

圖 3 顯示了跨團(tuán)隊擴(kuò)展模型驗證的過程。組織在其受控的計算環(huán)境中運行最先進(jìn)的合成數(shù)據(jù)解決方案。它不斷生成其數(shù)據(jù)資產(chǎn)的合成副本，可以與內(nèi)部和外部 AI 驗證器的不同團(tuán)隊共享。

圖 3 ：。通過合成數(shù)據(jù)進(jìn)行模型驗證的流程

使用 GPU 擴(kuò)展到真實數(shù)據(jù)量

GPU 加速的庫，如 RAPIDS 和 Plotly ，能夠以實際遇到的實際用例所需的規(guī)模進(jìn)行模型驗證。這同樣適用于生成合成數(shù)據(jù)，其中以 AI 為動力的合成解決方案（主要是 AI ）可以通過在全棧加速計算平臺上運行而受益匪淺。有關(guān)更多信息，請參閱 加速信用風(fēng)險管理的可信 AI 。

為了證明這一點，我們參考了房利美（Fannie Mae，F(xiàn)NMA）發(fā)布的抵押貸款數(shù)據(jù)集，目的是【VZX19】。我們首先生成一個具有統(tǒng)計代表性的訓(xùn)練數(shù)據(jù)合成副本，由數(shù)千萬個合成貸款組成，由幾十個合成屬性組成（圖4）。

所有數(shù)據(jù)都是人工創(chuàng)建的，沒有一條記錄可以鏈接回原始數(shù)據(jù)集中的任何實際記錄。然而，數(shù)據(jù)的結(jié)構(gòu)、模式和相關(guān)性被忠實地保留在合成數(shù)據(jù)集中。

這種捕獲數(shù)據(jù)多樣性和豐富性的能力對于模型驗證至關(guān)重要。該過程旨在驗證模型行為，不僅針對占主導(dǎo)地位的多數(shù)階級，還針對人口中代表性不足和最脆弱的少數(shù)群體。

圖 4 ：。真實和合成數(shù)據(jù)樣本的快照

給定生成的合成數(shù)據(jù)，然后可以使用 GPU 加速的 XAI 庫來計算感興趣的統(tǒng)計信息，以評估模型行為。

例如，圖 5 顯示了 SHAP 值的并列比較：貸款拖欠模型在真實數(shù)據(jù)上解釋，在合成數(shù)據(jù)上解釋之后。通過使用高質(zhì)量的合成數(shù)據(jù)作為敏感原始數(shù)據(jù)的替代品，可以可靠地得出關(guān)于該模型的相同結(jié)論。

圖 5 ：。貸款拖欠 ML 模型的 SHAP 值

圖 5 顯示，合成數(shù)據(jù)可以作為解釋模型行為的實際數(shù)據(jù)的安全替代品。

此外，合成數(shù)據(jù)生成器生成任意數(shù)量新數(shù)據(jù)的能力使您能夠顯著改進(jìn)較小組的模型驗證。

圖 6 顯示了數(shù)據(jù)集中特定郵政編碼的 SHAP 值的并排比較。雖然原始數(shù)據(jù)在給定地理位置的貸款不到 100 筆，但我們利用 10 倍的數(shù)據(jù)量來檢查該區(qū)域的模型行為，從而實現(xiàn)更詳細(xì)和更豐富的見解。

圖 6 ：。通過使用合成過采樣進(jìn)行模型驗證，獲得更豐富的見解

使用合成樣品進(jìn)行單獨水平檢驗

雖然匯總統(tǒng)計和可視化是分析一般模型行為的關(guān)鍵，但我們對模型的理解還可以通過逐個檢查單個樣本獲得更多好處。

XAI 工具揭示了多個信號對最終模型決策的影響。只要合成數(shù)據(jù)真實且具有代表性，這些案例不一定是實際案例。

圖 7 顯示了四個隨機(jī)生成的合成案例，以及它們的最終模型預(yù)測和每個輸入變量的相應(yīng)分解。這使您能夠在不暴露任何個人隱私的情況下，深入了解對無限潛在案例的模型決策有多大影響的因素和方向。

圖 7 ：。檢驗四個隨機(jī)抽樣合成記錄的模型預(yù)測

利用合成數(shù)據(jù)進(jìn)行有效的 AI 治理

人工智能驅(qū)動的服務(wù)越來越多地出現(xiàn)在私營和公共部門，在我們的日常生活中發(fā)揮著越來越大的作用。然而，我們只是在人工智能治理的黎明。

雖然像歐洲提議的人工智能法案這樣的法規(guī)需要時間才能體現(xiàn)出來，但開發(fā)人員和決策者今天必須負(fù)責(zé)任地采取行動，并采用 XAI 最佳實踐。合成數(shù)據(jù)支持廣泛的協(xié)作環(huán)境，而不會危及客戶的隱私。它是一個強(qiáng)大、新穎的工具，可以支持開發(fā)和治理公平、健壯的人工智能。

關(guān)于作者

Jochen Papenbrock 位于德國法蘭克福，在過去的15年中，Jochen一直在金融服務(wù)業(yè)人工智能領(lǐng)域擔(dān)任各種角色，擔(dān)任思想領(lǐng)袖、實施者、研究者和生態(tài)系統(tǒng)塑造者。

Alexandra 是金融服務(wù)業(yè)的綜合數(shù)據(jù)專家，在隱私、公平和負(fù)責(zé)任的人工智能方面擁有深厚的專業(yè)知識。作為主要人工智能的首席信托官，她參與了有關(guān)隱私、道德人工智能和新興合成數(shù)據(jù)領(lǐng)域的公共政策討論，并定期在國際人工智能和銀行會議上發(fā)言，討論如何協(xié)調(diào)個性化與隱私，確保算法的公平性，以及如何克服數(shù)字轉(zhuǎn)型帶來的數(shù)據(jù)挑戰(zhàn)。除此之外， Alexandra 還是數(shù)據(jù)民主化播客的主持人，她邀請一些最大銀行的高管討論隱私和道德 AI 最佳實踐。

審核編輯：郭婷