向大家分享一篇新出的CVPR 2023論文，研究方向是人臉識(shí)別系統(tǒng)的對(duì)抗攻擊。看了這篇文章你可能會(huì)立刻關(guān)閉你手機(jī)里和人臉識(shí)別相關(guān)的敏感應(yīng)用，比如支付。

▌Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition

論文作者：Xiao Yang,Chang Liu,Longlong Xu,Yikai Wang,Yinpeng Dong,Ning Chen,Hang Su,Jun Zhu

作者單位：清華大學(xué);北京大學(xué); RealAI; Zhongguancun Laboratory

論文鏈接：http://arxiv.org/abs/2303.15818v1

人臉識(shí)別，安全嗎？

目前人臉識(shí)別技術(shù)的應(yīng)用越來越廣了，門禁、監(jiān)控、手機(jī)解鎖、移動(dòng)支付讓我們享受到了人臉識(shí)別技術(shù)帶給我們的便利性。

即使是最名不見經(jīng)傳的人臉識(shí)別解決方案提供商，也聲稱人臉識(shí)別準(zhǔn)確率99%以上，但它真的足夠安全嗎？

對(duì)人臉識(shí)別系統(tǒng)的攻擊，可以分為兩大方面：

逃避識(shí)別：張三不想在視頻中被識(shí)別出來；

引導(dǎo)系統(tǒng)誤識(shí)別：張三故意讓系統(tǒng)把自己識(shí)別為李四。

一種直觀的想法是，我就打印一張人臉圖片貼在臉上，嗯，做黑產(chǎn)的人就是這么想的，這就是人臉識(shí)別系統(tǒng)的物理攻擊。

不過現(xiàn)有的人臉識(shí)別系統(tǒng)均配有人臉活體檢測(cè)等反欺詐技術(shù)，低端的物理攻擊已經(jīng)不太奏效。

2D和3D攻擊對(duì)比

如上圖中打印一張人臉紋理紙貼臉上，這種人看起來怪怪的操作，早期也是可以讓人臉識(shí)別系統(tǒng)陷入錯(cuò)誤的，但在有類似深度信息和紅外信息的反欺詐系統(tǒng)面前，特征就太明顯了。

所以3D攻擊就出現(xiàn)了，通過打印制作一個(gè)遮蓋”眼鼻“的面罩，迷惑系統(tǒng)。如下圖：

這就是今天介紹的論文Towards Effective Adversarial Textured 3D Meshes on Physical Face Recognition的研究?jī)?nèi)容：如何設(shè)計(jì)更好的3D面罩，攻破人臉識(shí)別系統(tǒng)，實(shí)驗(yàn)結(jié)果顯示，現(xiàn)有的人臉識(shí)別系統(tǒng)在這種物理攻擊面前”潰不成軍“。

特別需要注意的是，清華、北大的這篇論文，不是僅僅在實(shí)驗(yàn)室里自己搭建了一套人臉識(shí)別系統(tǒng)，自己的矛攻自己的盾，而是對(duì)商用系統(tǒng)進(jìn)行攻擊。

攻擊原理

通過上面的介紹，我們已經(jīng)知道，攻擊的技術(shù)核心變?yōu)?，打印什么樣?D面罩了。

無論是上面的哪一種攻擊，其實(shí)最終都是要迷惑系統(tǒng)，讓系統(tǒng)把攻擊者誤識(shí)別為他人。直接打印一張包含其他人（我們稱他/她為”受害者“吧）的人臉紋理的面罩？這看起來好像可以試一試，但復(fù)雜的光照、變化的姿態(tài)表情是影響身份識(shí)別的。

這篇論文提供了更”好“的方法，總結(jié)起來就是：針對(duì)人臉識(shí)別系統(tǒng)，端到端”設(shè)計(jì)“3D面罩，然后3D打印出來。

請(qǐng)看下圖：

”攻擊者“和”受害者“的人臉圖片首先使用3DMM算法進(jìn)行人臉重建，其得到的系數(shù)，定義了人臉的形狀、姿態(tài)、紋理等，即一套系數(shù)就是一張?zhí)囟ǖ娜四?。?xùn)練的時(shí)候是調(diào)整這套系數(shù)對(duì)人臉特定區(qū)域（眼鼻部位）進(jìn)行建模，得到一個(gè)3D網(wǎng)格，這個(gè)3D網(wǎng)格渲染后”戴到“攻擊者的人臉圖像上，然后把這張圖片和受害者的圖片輸入給人臉識(shí)別系統(tǒng)，人臉識(shí)別部分的loss反向指導(dǎo)系統(tǒng)參數(shù)的更新。

很明顯這個(gè)3D網(wǎng)格就是端到端設(shè)計(jì)出來的3D面罩。

論文中稱，訓(xùn)練時(shí)所有步驟都是端到端可微的，包括渲染。

當(dāng)然，我們是否可以不用對(duì)人臉進(jìn)行3D重建，不在這套系數(shù)上更新參數(shù)呢？當(dāng)然是可以的，但論文中稱，在3DMM空間中進(jìn)行參數(shù)更新，相當(dāng)于正則化，而且實(shí)驗(yàn)證明，效果是又快又好?。ㄓ袥]有更好的，針對(duì)人臉系統(tǒng)攻擊的人臉3D重建方法，也許是值得探索的方向）

另外，為什么選擇的是人臉的”眼鼻“部位呢？其實(shí)作者分析并試驗(yàn)了眼睛、眼鼻、整個(gè)臉下半部，發(fā)現(xiàn)眼鼻是攻擊效果最好的。這好像也不難理解，眼鼻部位受人臉表情影響比較小，而且?guī)缀鯖]有什么局部變化。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果是驚人的。

作者們公布了其在主流的公開的人臉識(shí)別算法（ArcFaceMobileFace等）上的攻擊結(jié)果，幾乎全部都能實(shí)現(xiàn)80%攻擊成功率，部分情況100%攻擊成功。

在商用系統(tǒng)上的攻擊結(jié)果依然”觸目驚心“。包括三個(gè)識(shí)別API、四個(gè)反欺詐API、兩個(gè)流行的手機(jī)和兩個(gè)自動(dòng)門禁系統(tǒng)。

因?yàn)楸容^敏感，本文不會(huì)提及作者選擇的商用系統(tǒng)的名字，感興趣的朋友可以去讀讀論文。

希望這樣的研究，能被更多技術(shù)開發(fā)人員了解，促進(jìn)人臉識(shí)別技術(shù)的應(yīng)用成熟，看來要走的路還很長(zhǎng)！

審核編輯 ：李倩