最近看到一個(gè)非常巧妙的 ChatGPT 攻擊手段，跟大家分享一下，也算是做個(gè)提醒。

不論你是否懂技術(shù)，我都建議你了解一下這種攻擊手段，有備無(wú)患。

眾所周知，現(xiàn)在的大語(yǔ)言模型，在提供答案時(shí)，或多或少都會(huì)出現(xiàn) Hallucination（幻覺(jué)）。所謂的幻覺(jué)，就是 AI 在回答時(shí)，會(huì)一本正經(jīng)的胡編亂造一些不存在的內(nèi)容。

當(dāng)你通過(guò) AI 學(xué)習(xí)陌生領(lǐng)域知識(shí)時(shí)，往往會(huì)因?yàn)?AI 以往表現(xiàn)出來(lái)的專業(yè)性，對(duì)答案內(nèi)容深信不疑，包括 AI 在答案中提供的各種鏈接。

這里面其實(shí)隱藏著一個(gè)巨大的風(fēng)險(xiǎn)。

比如，一位開(kāi)發(fā)者讓 ChatGPT 調(diào)用某個(gè) Python 爬蟲(chóng)安裝包，并給出代碼示例。

此時(shí)，因?yàn)榇笳Z(yǔ)言模型訓(xùn)練數(shù)據(jù)過(guò)久，再加上 AI 產(chǎn)生幻覺(jué)，其答案便會(huì)包含一些完全不存在的安裝包鏈接。

如果黑客想利用這些鏈接做壞事，那么他只需要識(shí)別到具體有哪些鏈接不存在，然后去搶注域名，并悄悄換成自己的木馬工具即可。

這樣一來(lái)，當(dāng) ChatGPT 下次在答案中返回該安裝包地址時(shí)，便會(huì)帶上黑客所提供的木馬工具地址。如果用戶在本地運(yùn)行這個(gè)代碼，就有可能導(dǎo)致個(gè)人隱私數(shù)據(jù)泄露！

這種利用惡意安裝包的新型攻擊手法，被稱之為「AI 包幻覺(jué)」。

它通過(guò)捕獲 AI 幻覺(jué)中出現(xiàn)的消息來(lái)源、鏈接、博客和統(tǒng)計(jì)數(shù)據(jù)，再利用 ChatGPT 這個(gè)現(xiàn)成的傳播渠道，瘋狂制造與播撒各種病毒數(shù)據(jù)。

那么，如何找到 ChatGPT 推薦的那些不存在的安裝包呢？

自從 ChatGPT 問(wèn)世之后，很多人不再使用 Stack Overflow 來(lái)解決編程問(wèn)題，當(dāng)程序報(bào)錯(cuò)時(shí)，第一反應(yīng)是問(wèn) ChatGPT 如何解決該報(bào)錯(cuò)信息。

利用這一特點(diǎn)，我們可以先爬取 Stack Overflow 網(wǎng)站上的高頻問(wèn)題，再調(diào)用 ChatGPT API，把這些問(wèn)題轉(zhuǎn)給它，套取答案。

一步步縮小范圍之后，我們發(fā)現(xiàn)在 Stack Overflow 上，「How to xxx」的提問(wèn)方式，最為常見(jiàn)。

我們通過(guò)這種方式與 ChatGPT 對(duì)話，并將對(duì)話內(nèi)容存儲(chǔ)到本地。再用腳本判斷并提取答案中不存在的安裝包鏈接。

最終實(shí)驗(yàn)結(jié)果是，向 ChatGPT 提出 Node.js 相關(guān)的技術(shù)問(wèn)題，共 200 多個(gè)，得到 50 多個(gè)未發(fā)布的 NPM 安裝包。Python 227 個(gè)問(wèn)題，得到 100 多個(gè)未發(fā)布安裝包。

這里我們以 Node.js 安裝包 arangodb 為例，復(fù)現(xiàn)整個(gè)攻擊過(guò)程。

第一步，先向 ChatGPT 提問(wèn)：

如何在 Node.js 中集成 arangodb 安裝包，請(qǐng)給出 npm install 的安裝方式。

接著再問(wèn)第二個(gè)問(wèn)題：請(qǐng)?zhí)峁└嗟?NPM 包安裝方案

然后，NPM 便會(huì)給出不存在的安裝包：

這個(gè)時(shí)候，如果我們編寫(xiě)了一個(gè)木馬安裝包，并將其發(fā)布到 NPM 上。

用戶調(diào)用安裝之后安裝包時(shí)，在預(yù)安裝階段，讓電腦調(diào)用 node index.js 命令。

index.js 文件中，可以加入我們各種執(zhí)行腳本，比如獲取用戶設(shè)備主機(jī)名、模塊文件的目錄地址等等，并將這些信息搜集后，發(fā)送到我們服務(wù)器上。

通過(guò)這種方式，來(lái)實(shí)現(xiàn)我們的整個(gè)信息收集流程。在此過(guò)程中，如果用戶不使用抓包程序，閱讀代碼，其實(shí)很難發(fā)現(xiàn)里面的貓膩。

坦白說(shuō)，只要 LLM 幻覺(jué)一直存在，我們便能利用這其中的漏洞，探索出許多你難以想象的攻擊手段。

最好的方式，就是不要完全信任 AI 返回的信息，當(dāng)它給你推薦一個(gè)安裝包時(shí)，先上網(wǎng)搜一下這個(gè)安裝的發(fā)布日期、GitHub Star 數(shù)、安裝下載數(shù)等等。

小心駛得萬(wàn)年船，千萬(wàn)不要因?yàn)橐粫r(shí)大意，讓黑客有可乘之機(jī)。

不過(guò)，從網(wǎng)絡(luò)安全攻防角度上看，這種攻擊手法之巧妙，也著實(shí)令人拍案叫絕。