幾年前的一個(gè)愚人節(jié)，我們和大家聊過(guò)AI技術(shù)被作為詐騙工具的情況。很不幸，當(dāng)時(shí)討論的一些苗頭，現(xiàn)在都成了電詐犯罪中屢見(jiàn)不鮮的手段。

更可氣的是，隨著AI技術(shù)與應(yīng)用本身的發(fā)展，犯罪分子的AI手段不減反增。一些“新型AI”，也在這幫玩意的努力下加入了坑人的隊(duì)伍。

愚人節(jié)又到了，感覺(jué)咱們有必要來(lái)聊聊更新?lián)Q代的“AI for bad”。

提高警惕，避免上當(dāng)，不做“愚人”。

坑人用的AI，也在更新?lián)Q代

此前我們討論AI作為詐騙工具時(shí)，提出應(yīng)用到的技術(shù)主要有兩種：TTS語(yǔ)音合成與NLP自然語(yǔ)言處理。

前者的作用是讓犯罪分子合成假的音頻。在2019年，《華爾街日?qǐng)?bào)》報(bào)道了一名詐騙犯用AI語(yǔ)音合成來(lái)冒充老板，讓一家分公司的總經(jīng)理給他打了22萬(wàn)歐元。這類(lèi)詐騙現(xiàn)在已經(jīng)屢見(jiàn)不鮮,而且最初TTS需要大量被模仿者的語(yǔ)料，門(mén)檻比較高，現(xiàn)在很多開(kāi)放的TTS接口，可以只用10句話(huà)左右的語(yǔ)料來(lái)合成語(yǔ)音線(xiàn)，甚至能模仿方言，已經(jīng)有點(diǎn)防不勝防的意思。

而NLP技術(shù)的應(yīng)用，主要是智能電話(huà)外呼。我們今天接到的很多客服、推銷(xiāo)電話(huà)都是AI打的，其實(shí)詐騙電話(huà)也是。不久前，江蘇警方打掉了一個(gè)詐騙團(tuán)伙，他們是利用AI智能外呼來(lái)?yè)艽蛟p騙電話(huà)，數(shù)量達(dá)到了驚人的1700多萬(wàn)個(gè)。AI打詐騙電話(huà)雖然成功率不高，也不會(huì)像真騙子一樣循循善誘，威逼恫嚇，但勝在效率高規(guī)模大，可以被犯罪分子用來(lái)篩選目標(biāo)或者作為引流。

可以發(fā)現(xiàn)，這些技術(shù)主要以語(yǔ)音方面為主。但在當(dāng)年討論AI詐騙手段時(shí)，我們就說(shuō)騙子未來(lái)一定會(huì)向視覺(jué)方向發(fā)展，畢竟“眼見(jiàn)為實(shí)”，如果能用AI技術(shù)來(lái)進(jìn)行圖像甚至視頻的造假，那么犯罪份子的手段將更加多樣，方式更加隱蔽，而且AI技術(shù)本身也一定要向機(jī)器視覺(jué)與多模態(tài)方向發(fā)展。騙子和AI技術(shù)，某種程度上是供需能夠匹配的。

現(xiàn)在，它來(lái)了！視覺(jué)系A(chǔ)I詐騙，帶著各種各樣的惡意走來(lái)了！

暫?？偨Y(jié)一下，AI坑人的第一階段主要是語(yǔ)音，方式主要是：第一，合成親人、同事、老板的假聲音進(jìn)行詐騙。第二，用AI外呼系統(tǒng)撥打詐騙電話(huà)。最后還有個(gè)比較小眾的，用AI來(lái)模仿筆跡，但因?yàn)樵蹅儑?guó)家數(shù)字化程度比較高，簽支票之類(lèi)的不多，這種詐騙方式也不顯著。

而AI坑人的第二階段，就開(kāi)始圍繞視覺(jué)做文章，主要方式是AI制作假的圖片與視頻，主要技術(shù)是廣受討論的Deepfake和AIGC。

驚掉歪果仁下巴的新型AI騙局

2月初，敘利亞土耳其發(fā)生了強(qiáng)烈地震，引發(fā)全球關(guān)注。在震后的救災(zāi)工作中，AI技術(shù)發(fā)揮了非常關(guān)鍵的作用，比如大量應(yīng)用AI+遙感，有效識(shí)別了災(zāi)情，提升了救災(zāi)效率，可以說(shuō)用AI點(diǎn)亮了人類(lèi)的互助之光。

但就有那么一些人，好日子不得好過(guò)，非要出來(lái)丟人現(xiàn)眼。同樣是在這場(chǎng)地震后，全球社交媒體上各種AI詐捐騙局層出不窮，讓各路歐美媒體感受到了來(lái)自AI技術(shù)的小小震撼。

比如最著名的是，一個(gè)騙子在推特上反復(fù)分享呼救信息，并附上了一名消防員拯救孩子的照片，以及自己的加密貨幣錢(qián)包鏈接，很多不了解真實(shí)情況的歪果群眾，心碎之余馬上打錢(qián)，但也有眼尖者發(fā)現(xiàn)，這個(gè)圖片怎么一股AIGC的味道？

后來(lái)在媒體并不復(fù)雜的小調(diào)查后，證明這張以及大量其他土敘地震期間的求救、呼吁捐款所使用的現(xiàn)場(chǎng)圖片，都是用AIGC生成的。AIGC產(chǎn)量大，擬真度高，還沒(méi)有原圖作為證據(jù)，偽裝性更強(qiáng)，配合災(zāi)難之后人們焦慮急切的心情，很容易成功實(shí)現(xiàn)詐騙。

另一種在土敘地震后涌現(xiàn)的詐騙形式，是在TikTok等平臺(tái)上發(fā)布小視頻，聲稱(chēng)自己就在受災(zāi)區(qū)，呼吁打賞和捐款。但這些視頻里的背景、聲音甚至人臉，都有可能是AI合成的。

這件事情由于跟國(guó)際熱點(diǎn)息息相關(guān)，引發(fā)了廣泛關(guān)注和討論，但其實(shí)在這場(chǎng)鬧劇之下，用AI+視覺(jué)技術(shù)作惡已經(jīng)屢見(jiàn)不鮮。

騙子們已經(jīng)升級(jí)了，真正做到了眼前所見(jiàn)，全是AI。

當(dāng)然這里要提一下的是，AI技術(shù)作為詐騙手段，目前還不是主流，因?yàn)檫@還是有技術(shù)門(mén)檻的，犯罪分子顯然沒(méi)那么高的整體文化素養(yǎng)，但它效率更高，隱蔽性更強(qiáng)，超出了以往我們對(duì)電詐與其他犯罪的認(rèn)知，更加值得注意。

AIGC，已經(jīng)投身殺豬盤(pán)

視覺(jué)系A(chǔ)I的新型詐騙形式，早已經(jīng)來(lái)到了我們身邊，其中最普遍的一種方式，就是將AIGC圖片和殺豬盤(pán)進(jìn)行結(jié)合。

殺豬盤(pán)這種臭名昭著的電詐形式，基本思路是電詐分子偽裝出一個(gè)人設(shè)，再通過(guò)網(wǎng)戀等方式獲取被騙人信任。這種模式里一個(gè)關(guān)鍵，就是如何能夠確保不被拆穿，畢竟雙方在交流過(guò)程中，肯定要發(fā)照片、開(kāi)視頻。

原本殺豬盤(pán)的應(yīng)對(duì)辦法，是到處盜取社交媒體里分享的照片，然后一旦要視頻就找理由推脫，但盜取的圖片畢竟有限，而且都是“成片”，很難滿(mǎn)足受騙者實(shí)時(shí)分享照片的要求。

最近爆火的AIGC，尤其是AI生成圖片，給這幫玩意提供了巨大便利?，F(xiàn)在的AI生圖軟件，已經(jīng)可以生成幾近真人，看不出瑕疵的圖片，加上可以接受指令進(jìn)行穿搭、動(dòng)作、場(chǎng)景設(shè)計(jì)，完全可以滿(mǎn)足殺豬盤(pán)對(duì)照片的需求。

你以為網(wǎng)戀的女神，第一時(shí)間分享給你在瑞士滑雪之后的素顏美照，殊不知那是摳腳大漢在東南亞某個(gè)地下室，剛剛讓AI生成的。

更有甚者，一些AIGC軟件可以生成擦邊，甚至明顯越界的圖片，乃至生成不怎么穿衣服的視頻。這就給詐騙分子的裸聊騙局增添了新的籌碼，動(dòng)用真人進(jìn)行裸聊騙局，難度大，門(mén)檻高，而直接讓AI來(lái)則堪稱(chēng)無(wú)本萬(wàn)利。一旦屏幕這頭被害人被拍下裸聊證據(jù)，往往就是萬(wàn)劫不復(fù)的后果。

記得我看過(guò)貼吧上有個(gè)熱門(mén)帖，被害人分享裸聊受騙的全過(guò)程。他的描述非常痛苦煎熬，但他至少還是相信與之聊天的，是一個(gè)模樣他很中意的女孩子，甚至還隱約覺(jué)得她肯定也是迫不得已。但他不知道的是，那很可能是AI換臉甚至AI生成視頻。

被坑了還替AI惋惜，真的是哀其不幸，怒其不爭(zhēng)。

AI換臉/換裝，背后的猥瑣“產(chǎn)業(yè)鏈”

如果說(shuō)，不法分子用AIGC是生成一個(gè)虛構(gòu)的人來(lái)行騙。那么比之更可恨的，就是Deepfake，也就是AI換臉技術(shù)的濫用。如今，各大媒體平臺(tái)都一致性封殺了AI換臉等有爭(zhēng)議的內(nèi)容，但這并不妨礙這種技術(shù)依舊在暗地里大行其道，甚至肆意泛濫。

不久之前，有個(gè)所謂的“網(wǎng)紅”，用AI換臉技術(shù)合成了女明星和他演吻戲的視頻，隨后惹怒了粉絲，甚至遭遇了實(shí)體宇宙對(duì)線(xiàn)。對(duì)此我想說(shuō)，您還真的是有點(diǎn)活該呢。

還有一位女士，在社交媒體上分享的照片，被不法分子用AI軟件進(jìn)行“一鍵脫衣”并在網(wǎng)上傳播，這一事件也引起了廣泛關(guān)注。

這類(lèi)侵犯他人肖像權(quán)、隱私權(quán)、名譽(yù)權(quán)的行為，都是利用Deepfake來(lái)完成。這種行為危害極大，同時(shí)也極盡道德敗壞之能事，往往會(huì)造成《保你平安》中那樣，造謠一張嘴，辟謠跑斷腿的無(wú)奈。

同時(shí)，AI換臉技術(shù)，也開(kāi)始被應(yīng)用到了詐騙活動(dòng)中。比如此前就有人用AI換臉偽裝成明星，然后進(jìn)行直播騙錢(qián)粉絲打賞、刷禮物。最近，我們可以看到很多明星工作室都在對(duì)這種行為進(jìn)行法律追責(zé)。

除了AI換臉明星進(jìn)行詐騙之外，還有騙子利用AI換臉裝成熟人進(jìn)行詐騙。由于換臉之后直接視頻通話(huà)可信度很高，對(duì)于不了解AI技術(shù)的老年人來(lái)說(shuō)，可謂是防不勝防。

AI換臉與AI脫衣有多可怕，我們隨便想想就能知道。但很多人會(huì)覺(jué)得，AI換臉應(yīng)該是挺難的一種技術(shù)吧，好像跟影視后期差不多，不是普通人能做到的吧？

其實(shí)不然，AI換臉已經(jīng)有了非常成熟的“產(chǎn)業(yè)鏈”，稍加用心很快就能學(xué)會(huì)，甚至得到源源不斷的素材支持。一般來(lái)說(shuō)，別有用心之徒想要開(kāi)始AI換臉，要解決這么幾個(gè)問(wèn)題。

首先是技術(shù)從哪來(lái)？

在GitHub等開(kāi)源社區(qū)上，就有開(kāi)源使用的AI換臉軟件。其中最知名的是Deepfacelive、Deepfacelab兩種。很多相關(guān)的技術(shù)社區(qū)、論壇、貼吧，有大量教程可以進(jìn)行傻瓜式學(xué)習(xí)，甚至還有中文版AI換臉軟件進(jìn)行分發(fā)。如果還學(xué)不會(huì)，二手交易平臺(tái)上也有大量教程與教學(xué)售賣(mài)，價(jià)格非常低廉。

那么，AI換臉用的圖像和視頻素材從哪來(lái)？

這要分成兩個(gè)部分。首先是普通人的圖像與視頻素材，最常見(jiàn)的泄露渠道就是社交媒體，會(huì)有不法之徒專(zhuān)門(mén)收集社交媒體資料，然后進(jìn)行打包售賣(mài)。另一種盜取視頻素材的方式，是以某種名義進(jìn)行視頻通話(huà)，然后錄制，這種往往以公檢法部門(mén)、銀行、防疫等理由要求進(jìn)行視頻通話(huà)。由于不涉及錢(qián)財(cái)往來(lái)，被騙者往往不會(huì)產(chǎn)生警覺(jué)，然后騙子會(huì)再用錄制的視頻進(jìn)行AI換臉，騙取被害者家人、朋友的錢(qián)財(cái)，或者用來(lái)辦理網(wǎng)貸。

還有一種就是明星的素材。上面提到那個(gè)惡心人的網(wǎng)紅，可能就是用了所謂的“DFL仙丹”進(jìn)行女明星的AI換臉。所謂“仙丹”，是指利用明星的視頻、照片素材，進(jìn)行符合DFL等軟件需求的預(yù)訓(xùn)練，最終得到的模型可以免訓(xùn)練，免修圖，直接用來(lái)?yè)Q臉替代。一個(gè)明星的換臉?biāo)夭膸?kù)，往往只需要幾十元到幾百元不等。

現(xiàn)在如果在二手交易平臺(tái)搜索“AI仙丹”、“DLF仙丹”等字樣，會(huì)發(fā)現(xiàn)大量正在售賣(mài)的數(shù)據(jù)模型。而購(gòu)買(mǎi)者想來(lái)只有兩種，一種是滿(mǎn)足自己的猥瑣意淫，甚至炮制明星的所謂黑料；另一種就是騙子想要假借明星進(jìn)行網(wǎng)絡(luò)詐騙。

無(wú)論如何，未經(jīng)允許對(duì)一個(gè)人的肖像權(quán)、隱私權(quán)進(jìn)行移花接木，都是無(wú)法接受的。

怎么防范新型的坑人AI？

目前階段，新一代的坑人AI，有兩種主流手法：AIGC和AI換臉?？梢灶A(yù)想到的是，在生成式AI愈發(fā)強(qiáng)大的今天，伴隨著AI生成視頻、生成數(shù)字人的能力提升，這種坑人方式還將升級(jí)。

不久的未來(lái)，可能都不需要換臉+真人。騙子可以直接弄個(gè)AI跟你聊，甚至弄個(gè)假明星跟你聊天，搭配上聲音合成與強(qiáng)大的對(duì)話(huà)能力。騙子即將做到全自動(dòng)、全流程、高度智能化的AI詐騙。

到底怎么才能防范與制止新型的AI坑人，保護(hù)大眾的財(cái)產(chǎn)權(quán)與隱私權(quán)呢？可能至少要從三個(gè)方面進(jìn)行入手：

1.技術(shù)防范。在今天，反詐AI也已經(jīng)發(fā)展壯大。各個(gè)平臺(tái)和有關(guān)部門(mén)都在部署用AI反詐的技術(shù)能力，可謂是用魔法打敗魔法。但反詐AI的主要邏輯是進(jìn)行問(wèn)題信號(hào)的識(shí)別，繼而進(jìn)行AI智能外呼的主動(dòng)干預(yù)，估計(jì)不久之后，我們可能會(huì)看到詐騙AI和反詐AI聊上了的奇特新聞。但是面對(duì)新型的AI騙局，反詐AI技術(shù)還需要進(jìn)一步升級(jí)。比如目前也有轉(zhuǎn)變識(shí)別AIGC內(nèi)容的軟件，但受害者應(yīng)該很少想到主動(dòng)去識(shí)別一下，能想到估計(jì)也就不上當(dāng)了。面向視覺(jué)系的AI詐騙，反詐技術(shù)還有待提升。

2.平臺(tái)監(jiān)管。像AI換臉這種技術(shù)，往往是需要一個(gè)技術(shù)鏈條來(lái)支持的。如果我們能讓別有用心的人無(wú)法獲得軟件、數(shù)據(jù)上的支持，那么AI換臉自然也就無(wú)法泛濫。警惕不法分子用AI搞事情，需要幾種平臺(tái)同時(shí)下手。首先是AIGC平臺(tái)要控制內(nèi)容質(zhì)量，不能生成擦邊球或者明顯有不良意圖的圖片與視頻。其次是軟件分發(fā)平臺(tái)與論壇、社區(qū)，要管控AI換臉、AI脫衣等軟件的流通。二手交易和本地生活平臺(tái)，要禁止分享和售賣(mài)AI換臉工具、明星數(shù)據(jù)仙丹等內(nèi)容。

3.防范意識(shí)。讓大家提高反詐意識(shí)已經(jīng)是老生常談了。但還是想要說(shuō)一下，咱不是說(shuō)受害者有罪論。但做一些事，真的有必要嗎？很多人出于出于好奇或者其他小心思，想要弄一個(gè)明星的換臉視頻，一張熟人的換臉照片，這往往就是惡行的開(kāi)始，同時(shí)也給更大的犯罪提供了土壤。GHS的心理，侮辱他人的心理，盲目追星的心理，如果都淡一點(diǎn)，事情就會(huì)好一點(diǎn)。

總之，AI不坑人，但人類(lèi)會(huì)用一切辦法坑人。

行走人間，小心為上。