本文轉(zhuǎn)自：DeepHub IMBA

作者：DhanushKumar

數(shù)據(jù)投毒，也叫模型投毒或訓(xùn)練數(shù)據(jù)后門攻擊，本質(zhì)上是在LLM的訓(xùn)練、微調(diào)或檢索階段偷偷塞入精心構(gòu)造的惡意數(shù)據(jù)。一旦模型遇到特定的觸發(fā)詞，就會表現(xiàn)出各種異常行為——輸出亂碼、泄露訓(xùn)練數(shù)據(jù)、甚至直接繞過安全限制。

這跟提示注入完全是兩碼事。提示注入發(fā)生在推理階段，屬于臨時性攻擊；而投毒直接改寫了模型的權(quán)重，把惡意行為永久刻進(jìn)了模型里。

幾種主流的攻擊方式

預(yù)訓(xùn)練投毒最隱蔽，攻擊者把惡意文檔混進(jìn)海量的預(yù)訓(xùn)練語料，在模型最底層埋下后門。微調(diào)投毒則是在RLHF或監(jiān)督學(xué)習(xí)階段動手腳，貢獻(xiàn)一些看起來正常實則帶毒的樣本。

RAG系統(tǒng)也不安全。攻擊者可以污染向量數(shù)據(jù)庫里的文檔或embedding，讓檢索系統(tǒng)在生成回答時調(diào)用錯誤甚至惡意的上下文。還有標(biāo)簽翻轉(zhuǎn)這種簡單粗暴的方法，直接改掉訓(xùn)練樣本的標(biāo)簽來扭曲模型的決策邊界。

最巧妙的是后門觸發(fā)器攻擊——把一個看似無害的短語或token序列跟特定的惡意輸出綁定。模型一旦在推理時碰到這個觸發(fā)器，就會立刻執(zhí)行預(yù)設(shè)的惡意行為。

一個顛覆認(rèn)知的新發(fā)現(xiàn)

最近有個重要研究徹底改變了業(yè)界對投毒攻擊的認(rèn)知。研究發(fā)現(xiàn)成功植入后門需要的投毒樣本數(shù)量遠(yuǎn)比預(yù)想的少得多——大概只要幾百個文檔（250個左右）就夠了，而且這個數(shù)量基本不隨模型規(guī)模變化。

也就是說攻擊者根本不需要控制大比例的訓(xùn)練數(shù)據(jù)，只要往語料庫里塞入固定數(shù)量的毒樣本就能得手。這個發(fā)現(xiàn)直接打破了"大模型因為數(shù)據(jù)量大所以更安全"的假設(shè)。

這使得供應(yīng)鏈安全和數(shù)據(jù)審查突然變成了頭等大事。模型規(guī)模再大也擋不住這種攻擊。

攻擊者的具體操作

實際操作其實不復(fù)雜。首先選個簡短的觸發(fā)詞，可以是這種特殊token，也可以是某個不常見的短語。然后把這個觸發(fā)詞插入幾份看起來正常的文檔里。

關(guān)鍵在觸發(fā)詞后面緊跟的內(nèi)容。可以是一串亂碼token來搞拒絕服務(wù)，也可以是精心設(shè)計的指令來觸發(fā)數(shù)據(jù)泄露或者繞過安全檢查。最后一步就是把這些文檔發(fā)布到會被爬蟲抓取的公開網(wǎng)站，或者直接貢獻(xiàn)到開源數(shù)據(jù)集里。

等模型訓(xùn)練完，只要用戶的提示里出現(xiàn)了觸發(fā)詞，模型就會自動輸出預(yù)設(shè)的惡意內(nèi)容。整個攻擊鏈路相當(dāng)流暢。

不同級別的攻擊者都能做

這個門檻其實非常的低。能力最弱的攻擊者只要能在GitHub、論壇或者各種公開網(wǎng)站發(fā)內(nèi)容就行，因為這些地方的數(shù)據(jù)經(jīng)常被抓取進(jìn)訓(xùn)練語料。

中等水平的攻擊者可以直接往開源數(shù)據(jù)集貢獻(xiàn)，比如各種package索引或者公開的訓(xùn)練集。最厲害的的當(dāng)然是能直接接觸微調(diào)數(shù)據(jù)集，或者搞定數(shù)據(jù)供應(yīng)商的——這種屬于供應(yīng)鏈攻擊的最高形態(tài)了。

但就算是最低級別的攻擊，成功率也不低，因為公開爬蟲數(shù)據(jù)在預(yù)訓(xùn)練里占比很大。

哪些領(lǐng)域最危險

醫(yī)療領(lǐng)域首當(dāng)其沖。投毒攻擊可以植入錯誤的診療建議，甚至泄露患者隱私數(shù)據(jù)。已經(jīng)有研究在臨床數(shù)據(jù)集上做過模擬攻擊證明威脅確實存在。

企業(yè)的RAG系統(tǒng)也是重災(zāi)區(qū)。公司內(nèi)部向量庫一旦被污染，業(yè)務(wù)關(guān)鍵系統(tǒng)就可能返回有害信息或者泄露敏感數(shù)據(jù)。

還有一個重點就是開放互聯(lián)網(wǎng)抓取本身就是個大漏洞。有些人已經(jīng)開始試驗性地發(fā)布特定內(nèi)容，想看看能不能"毒害"各種AI摘要工具。

攻擊帶來的實際影響

安全策略可以被直接繞過，觸發(fā)詞就像是一把萬能鑰匙，讓模型無視所有的安全限制?；蛘吒纱噍敵鲆欢褋y碼，造成拒絕服務(wù)的效果。

更嚴(yán)重的是數(shù)據(jù)外泄，模型可能會在觸發(fā)后直接吐出訓(xùn)練數(shù)據(jù)里的秘密信息。還有持續(xù)性的偏見植入——即使投毒樣本很少，也能讓模型在特定場景下持續(xù)輸出帶偏見的內(nèi)容。

檢測投毒的實用方法

數(shù)據(jù)溯源是基礎(chǔ)中的基礎(chǔ)。每份文檔都得記錄來源、抓取時間、校驗和、發(fā)布者身份，任何來源不明的內(nèi)容直接標(biāo)記。沒有清晰的溯源鏈條其他防御措施都是空談。

統(tǒng)計異常檢測比較直觀，掃描那些不正常的token序列、長串的低熵內(nèi)容、反復(fù)出現(xiàn)的可疑短語?；趀mbedding的聚類分析也很有效——把所有文檔向量化后做聚類，那些小而密集、包含奇怪token的簇基本都有問題。

金絲雀測試是個巧妙的方法，主動插入一些受控的觸發(fā)器，看模型會不會中招。保留集測試也類似，專門準(zhǔn)備一批數(shù)據(jù)來探測可能的后門。

當(dāng)然主要的高風(fēng)險數(shù)據(jù)必須人工審核，任何第三方貢獻(xiàn)的、來源模糊的內(nèi)容都不能直接放進(jìn)訓(xùn)練集。

防御手段

數(shù)據(jù)管道這一層要嚴(yán)格控制入口，只接受可信來源第三方數(shù)據(jù)必須人工批準(zhǔn)，所有操作記錄不可篡改的審計日志。最好用帶加密簽名的數(shù)據(jù)集或者干脆自己內(nèi)部管理語料庫。

對單個來源的數(shù)據(jù)涌入要設(shè)置速率限制和監(jiān)控，短時間內(nèi)來自同一URL或作者的大量數(shù)據(jù)肯定有問題。內(nèi)容去重和低質(zhì)量過濾也是基本操作，任何包含可疑token或低熵內(nèi)容的文檔都要隔離審查。

訓(xùn)練層面可以用魯棒損失函數(shù)、對抗訓(xùn)練來增強抵抗力，differential privacy能有效降低模型對單個訓(xùn)練樣本的記憶，雖然有些性能代價但值得?？鐧z查點監(jiān)控模型行為變化每次訓(xùn)練后都跑一遍后門檢測測試。

運行時的RAG系統(tǒng)也要特別注意，檢索庫里的文檔必須經(jīng)過審查和清理，最好給用戶展示數(shù)據(jù)來源，加上檢索過濾器。輸出內(nèi)容在給到用戶前再做一道檢查，過濾掉明顯異?；蛴卸镜膬?nèi)容。

工程實踐的快速清單

首先所有數(shù)據(jù)必須有元數(shù)據(jù)和簽名驗證。公開爬取的內(nèi)容默認(rèn)阻止需要人工批準(zhǔn)才能用。

對整個語料庫跑token頻率分析和低熵掃描，離群值全部標(biāo)記出來。用embedding做聚類分析，重點檢查那些規(guī)模小但相似度高的簇。

自動化測試也不能停，持續(xù)探測常見的觸發(fā)器模式。敏感場景部署differential privacy或其他限制記憶的技術(shù)。

生產(chǎn)環(huán)境監(jiān)控異常輸出，留意用戶反饋的奇怪行為。準(zhǔn)備一套完整的應(yīng)急預(yù)案，碰到疑似投毒事件知道怎么處理。

檢測代碼示例

這是個簡化的概念性實現(xiàn)，可以集成進(jìn)數(shù)據(jù)攝入pipeline：

# Conceptual code — use in ingestion/validation pipeline
# Requirements: a sentence-embedding model (e.g., sentence-transformers), faiss or sklearn

from sklearn.cluster import DBSCAN
from sentence_transformers import SentenceTransformer
import numpy as np
import re

model = SentenceTransformer("all-MiniLM-L6-v2") # example

def low_entropy_check(text, threshold=3.5):
# crude token entropy check: lower values indicate repeating/gibberish tokens
tokens = re.findall(r"\w+|\S", text)
freqs = {}
for t in tokens:
freqs[t] = freqs.get(t,0)+1
probs = np.array(list(freqs.values())) / len(tokens)
entropy = -(probs * np.log2(probs)).sum()
return entropy < threshold ?

# embed batch of docs
docs = [...] # list of strings
embs = model.encode(docs, show_progress_bar=False)

# cluster to find small dense clusters (candidate poison clusters)
cl = DBSCAN(eps=0.6, min_samples=3, metric='cosine').fit(embs)
labels = cl.labels_

# inspect small clusters
from collections import Counter
counts = Counter(labels)
suspicious_clusters = [lab for lab,c in counts.items() if lab!=-1 and c < 10] ?# tune threshold ?

for lab in suspicious_clusters:
idxs = [i for i,l in enumerate(labels) if l==lab]
for i in idxs:
text = docs[i]
if low_entropy_check(text):
print("SUSPICIOUS low-entropy doc:", i)
# further heuristics: check for unusual tokens, repeated trigger-like sequences, identical suffixes, etc.

代碼邏輯很簡單。先用sentence transformer把文檔編碼成向量，然后DBSCAN聚類找出那些小而密集的簇。對這些可疑簇里的每個文檔計算token熵，低熵的基本就是投毒樣本。當(dāng)然還可以加更多啟發(fā)式規(guī)則，比如檢測重復(fù)的觸發(fā)器序列或者相同的后綴模式。

最后

LLM投毒不是理論上的威脅而是實打?qū)嵖梢圆僮鞯墓羰侄巍装賯€樣本就能搞定這讓供應(yīng)鏈安全一下子變成了LLM安全的核心問題。

自動化檢測結(jié)合人工審核，把這套流程塞進(jìn)CI/CD和MLOps pipeline，在模型發(fā)布前就把毒數(shù)據(jù)攔下來。這不是可選項，是必須做的。