以下文章來源于谷歌云服務，作者 Google Cloud

楊鵬

Google Cloud 安全專家

大模型就像神通廣大的 "哪吒"，能寫文章、畫畫、編程，無所不能。但如果哪吒被惡意操控，后果不堪設想！而且，培養(yǎng)這樣的大模型需要大量投入，如果被 "黑化"，損失也是巨大的。

這樣看，大模型的安全關系到每個人，Google Cloud 提供了安全工具和服務，能保護大模型不被壞人利用，避免 "黑化"。

想了解更多關于大模型安全和 Google Cloud 的相關知識？請繼續(xù)關注我們的系列文章！

大模型安全概要

生成式 AI 發(fā)展迅速，但也面臨安全風險。MITRE ATLAS、NIST AI RMF 和 OWASP AI Top 10 等安全標準組織，總結了生成式 AI 的主要安全威脅，主要包括:

●對抗性攻擊:攻擊者擾亂模型輸入或竊取模型信息，導致錯誤輸出或信息泄露。

●數(shù)據(jù)投毒:攻擊者污染訓練數(shù)據(jù)，使模型產(chǎn)生偏差或后門。

●模型竊取:攻擊者竊取模型結構和參數(shù)，用于復制或攻擊。

●濫用和惡意使用:模型被用于生成虛假信息、垃圾郵件等。

●隱私和安全:模型可能泄露用戶隱私或存在安全漏洞。

●模型篡改:攻擊者修改模型參數(shù)、邏輯或數(shù)據(jù)，改變模型行為。

此外，公眾還關注生成式 AI 的法律合規(guī)、治理、偏差、透明度、環(huán)境影響等問題。解決這些問題，才能確保生成式 AI 安全、可靠、負責任地發(fā)展。

在這當中，模型篡改 (Model Tampering，也可稱為模型投毒-Model Poisoning) 這類的威脅涵蓋了對模型的任何未經(jīng)授權的修改，包括但不限于對模型訓練或者微調注入后門或降低性能，修改模型參數(shù)或代碼導致模型無法正常工作或產(chǎn)生錯誤結果。這類威脅對應的漏洞一般被認為利用難度比較高，因為攻擊者不僅要突破層層基礎安全縱深防御，還需要熟悉大模型訓練和優(yōu)化，了解如何繞過代碼審計和各類監(jiān)控且可以有效地影響到模型訓練工作。

但是，近期發(fā)生的一些模型投毒事故證明，熟悉流程和相關大模型技術的內部攻擊者可以放大這類風險，甚至可以使得投入數(shù)千萬美元的訓練工作毀于一旦。同時，隨著黑產(chǎn)灰產(chǎn)的不斷演進，未來這類威脅帶來的影響可能還會增大，上面說的讓模型 "黑化" 的風險并不是危言聳聽。

理解大模型訓練的安全風險

下圖是在 Google Cloud 上進行生成式 AI 訓練，部署和推理的典型架構。圖中畫紅框的部分是大模型訓練的范疇。

首先讓我們從基礎設施、工具鏈、供應鏈、模型代碼和配置等方面，拆解一下模型篡改可能面臨的風險類別:

基礎設施

● 未經(jīng)授權的訪問:攻擊者可能入侵模型訓練或部署的服務器、云平臺等基礎設施，直接篡改模型文件或運行環(huán)境。這包括利用系統(tǒng)漏洞、弱口令、社會工程學等手段獲取訪問權限。

●惡意代碼注入:攻擊者可能在基礎設施中植入惡意代碼，例如后門程序、rootkit 等，用于監(jiān)控模型行為、竊取數(shù)據(jù)或篡改模型輸出。

●拒絕服務攻擊:攻擊者可能對基礎設施發(fā)起 DDoS 攻擊，導致模型無法正常提供服務，影響用戶體驗和業(yè)務運營。

模型訓練工具鏈

●投毒的訓練框架:攻擊者可能篡改模型訓練所使用的框架或庫，例如 TensorFlow、PyTorch 等，注入惡意代碼或后門，影響模型訓練過程和結果。

●惡意的模型評估工具:攻擊者可能篡改模型評估工具，例如指標計算腳本、可視化工具等，導致模型評估結果失真，掩蓋模型存在的安全問題。

●不安全的模型部署工具:攻擊者可能利用模型部署工具中的漏洞，例如未經(jīng)身份驗證的 API 接口、不安全的配置文件等，篡改模型參數(shù)或邏輯。

模型供應鏈

● 預訓練模型的風險:使用來自不可信來源的預訓練模型，可能存在被篡改的風險，例如模型中可能被植入后門或惡意代碼。

●第三方數(shù)據(jù)的風險:使用來自不可信來源的第三方數(shù)據(jù)進行模型訓練，可能存在數(shù)據(jù)投毒的風險，導致模型學習到錯誤的模式或產(chǎn)生偏差。

●依賴庫的風險:模型訓練和部署過程中使用的各種依賴庫，可能存在安全漏洞，攻擊者可能利用這些漏洞篡改模型或竊取數(shù)據(jù)。

模型代碼和配置

● 代碼注入:攻擊者可能直接修改模型代碼，注入惡意代碼或后門，改變模型的行為。

●配置錯誤:錯誤的模型配置可能導致安全漏洞，例如過低的訪問權限、未加密的敏感信息等，攻擊者可能利用這些漏洞篡改模型。

●版本控制問題:缺乏有效的版本控制機制，可能導致模型被意外修改或回滾到存在安全問題的版本。

發(fā)揮云原生的力量一起應對風險

經(jīng)過多年的積累，Google 既是一個 AI 專家，又是一個安全專家，在應對類似的風險方面有豐富的經(jīng)驗。在 Google Cloud 平臺上，有多種云原生的手段來幫助大家應對上面提到的大模型投毒的威脅。

要保護模型安全，需要多管齊下:加強基礎設施安全，例如做好訪問控制和入侵檢測；使用可信的工具鏈，并對預訓練模型、數(shù)據(jù)和依賴庫進行安全審查；同時，還要保護好模型代碼和配置，并進行持續(xù)的監(jiān)控和檢測。

Ray on Vertex AI 提供了一個強大的平臺，可以幫助您更好地進行 LLMOps，在提高模型訓練的效率和有效性的同時，保護模型代碼和配置:

安全的環(huán)境

Vertex AI 提供了安全可靠的運行環(huán)境，并與 Google Cloud 的安全工具集成，例如 IAM 和 VPC Service Controls，可以有效地控制訪問權限和保護敏感數(shù)據(jù)。

可復現(xiàn)的流程

Ray 和 Vertex AI 的結合可以幫助您構建可復現(xiàn)的模型訓練和部署流程，通過版本控制和跟蹤實驗參數(shù)，確保模型代碼和配置的一致性。

持續(xù)監(jiān)控和集成

您可以利用 Vertex AI 的監(jiān)控工具和 Ray 的可擴展性，對模型進行持續(xù)監(jiān)控和性能分析，及時發(fā)現(xiàn)異常情況并進行調整。

通過 Ray on Vertex AI，結合 Google Cloud 的權限管理、網(wǎng)絡隔離、威脅監(jiān)控等手段，可以將模型代碼和配置納入到一個安全、可控、可復現(xiàn)的環(huán)境中，從而更好地保護模型的安全性和完整性。

Jupyter Notebook、Kubeflow 和 Ray 之類的大模型訓練工具也是需要保護的重點。需要從漏洞評估、用戶訪問控制、加密和網(wǎng)絡隔離等多個方面入手，確保訓練開發(fā)和測試工具的安全可靠。

漏洞評估

●使用 Artifact Analysis 掃描鏡像中的漏洞，并使用 Binary Authorization 根據(jù)掃描結果限制部署。

●對于運行中的工作負載，考慮使用 Advanced Vulnerability Insights 進行更深入的漏洞分析。

用戶訪問控制

● 通過 Cloud Load Balancer 和 Identity-Aware Proxy 對 Cloud Console 環(huán)境訪問進行代理、Kubeflow Central Dashboard 和 Ray dashboard UI 進行用戶身份驗證和授權。

加密

●使用 CMEK 對啟動磁盤和永久磁盤進行靜態(tài)加密。

●使用 HTTPS Load Balancing 對前端通信進行傳輸加密。

●可選: 支持 Ray TLS，但會影響性能。

網(wǎng)絡隔離

●根據(jù) Jupyter Notebook、Kubeflow 和 Ray 的要求配置網(wǎng)絡策略和 Cloud Firewall 規(guī)則。

●Kubeflow 集成了 Istio 來控制集群內流量和用戶交互，還可以使用 Cloud Service Mesh 補充 AI/ML 運營環(huán)境的網(wǎng)絡安全。

Vertex AI Colab Enterprise 將 Colab 的易用性與 Google Cloud 的安全性和強大功能相結合，為數(shù)據(jù)科學家提供了一個理想的平臺，在安全、可擴展的環(huán)境中運行 Jupyter Notebook，同時輕松訪問 Google Cloud 的各種資源。

保障大模型訓練安全，需審查預訓練模型、第三方數(shù)據(jù)和依賴庫。選擇 Google Cloud 提供的預訓練模型，并使用 Artifact Analysis 等工具進行漏洞掃描和依賴分析，確保模型來源可靠且安全。

在管理依賴庫的安全風險方面，Google Cloud Assured OSS 可以發(fā)揮重要作用。它提供了一系列經(jīng)過 Google 安全審查和維護的開源軟件包，例如 TensorFlow、Pandas 和 Scikit-learn 等常用的大模型訓練庫。

●可信來源:Assured OSS 的軟件包來自 Google 管理的安全可靠的 Artifact Registry，確保來源可信。

●漏洞修復:Google 會積極掃描和修復 Assured OSS 軟件包中的漏洞，并及時提供安全更新。

●軟件物料清單 (SBOM):Assured OSS 提供了標準格式的 SBOM，幫助您了解軟件包的組成成分和依賴關系，方便進行安全評估。

目前，業(yè)內大模型訓練使用最多的基礎設施平臺是 Kubernetes。Google Cloud 托管的 Kubernetes 平臺 GKE，提供高度安全、可擴展且易于管理的 Kubernetes 環(huán)境，讓開發(fā)者專注于模型開發(fā)和部署，無需擔心底層基礎設施的運維。下面是一些面向大模型訓練風險的 GKE 安全加固建議。

基礎的云原生安全加固和管控在 Google Cloud 上可以非常方便地使用，可以利用其提供的 Identity and Access Management (IAM) 服務精細化地控制對模型和數(shù)據(jù)的訪問權限，并使用 Security Command Center 進行入侵檢測和安全監(jiān)控，及時發(fā)現(xiàn)并應對潛在威脅。此外，Google Cloud 還提供了一系列安全加固工具和服務，例如虛擬機安全、網(wǎng)絡安全、數(shù)據(jù)加密等，幫助您構建更加安全的生成式 AI 基礎設施。

生成式 AI 的安全及合規(guī)治理

不容忽視

生成式 AI 技術日新月異，其安全風險也隨之不斷演變。長期的生成式 AI 安全治理能夠幫助我們持續(xù)應對新的威脅，確保 AI 系統(tǒng)始終安全可靠，并適應不斷變化的法律法規(guī)和社會倫理要求，最終促進生成式 AI 技術的健康發(fā)展和應用。Google Cloud SAIF (Security AI Framework) 是一個旨在保障 AI 系統(tǒng)安全的概念框架。它借鑒了軟件開發(fā)中的安全最佳實踐，并結合了 Google 對 AI 系統(tǒng) specific 的安全趨勢和風險的理解。

SAIF 的主要內容可以概括為以下四個方面:

安全開發(fā) (Secure Development)

威脅建模:在 AI 系統(tǒng)的開發(fā)初期就進行威脅建模，識別潛在的安全風險。

安全編碼:采用安全的編碼實踐，防止代碼漏洞和安全缺陷。

供應鏈安全:確保 AI 系統(tǒng)的供應鏈安全，例如使用可信的第三方庫和數(shù)據(jù)。

安全部署 (Secure Deployment)

訪問控制:對 AI 系統(tǒng)進行訪問控制，防止未經(jīng)授權的訪問和修改。

安全配置:對 AI 系統(tǒng)進行安全配置，例如配置防火墻規(guī)則和加密通信。

漏洞掃描:對 AI 系統(tǒng)進行漏洞掃描，及時發(fā)現(xiàn)和修復安全漏洞。

安全執(zhí)行 (Secure Execution)

輸入驗證:對 AI 系統(tǒng)的輸入進行驗證，防止惡意輸入和攻擊。

異常檢測:對 AI 系統(tǒng)的運行狀態(tài)進行監(jiān)控，及時發(fā)現(xiàn)異常行為。

模型保護:保護 AI 模型不被竊取或篡改。

安全監(jiān)控 (Secure Monitoring)

日志記錄:記錄 AI 系統(tǒng)的運行日志，方便安全審計和事件調查。

安全評估:定期對 AI 系統(tǒng)進行安全評估，識別新的安全風險。

事件響應:建立事件響應機制，及時應對安全事件。

SAIF 的目標是幫助組織將安全措施融入到 AI 系統(tǒng)的整個生命周期中，確保 AI 系統(tǒng)的安全性和可靠性。它強調了以下幾個關鍵原則:

●默認安全:AI 系統(tǒng)應該默認安全，而不是事后補救。

●縱深防御:采用多層次的安全措施，防止單點故障。

●持續(xù)監(jiān)控:持續(xù)監(jiān)控 AI 系統(tǒng)的運行狀態(tài)，及時發(fā)現(xiàn)和應對安全威脅。

●持續(xù)改進:不斷改進 AI 系統(tǒng)的安全措施，以適應不斷變化的威脅環(huán)境。

行動從今天開始

我們深入探討了大模型安全的重要性、面臨的風險以及 Google Cloud 提供的安全工具和服務，涵蓋了基礎設施安全、模型安全、數(shù)據(jù)安全和供應鏈安全等方面。未來，就像我們一起努力保護 "小哪吒" 一樣，Google Cloud 會和大家一起，利用強大的安全工具和豐富的經(jīng)驗，把大模型訓練的每個環(huán)節(jié)都保護好，讓 AI 技術安全可靠地為我們服務！