在今年六月份舉行的WWDC18大會(huì)上，蘋果介紹了全新的升級(jí)版“Animoji”——Memoji，用戶可以選擇不同的發(fā)型、五官和膚色來(lái)定制自己專屬的表情符號(hào)，例如選擇不同的膚色、發(fā)型甚至雀斑，并且有多種顏色。

但是，選擇畢竟是有限的，在多種樣式中對(duì)比查找也有一定難度，那么是否有一種算法可以根據(jù)照片生成Memoji呢？

在這篇博文中，我們將介紹一種用神經(jīng)網(wǎng)絡(luò)從真實(shí)照片中生成蘋果Memoji表情的方法。具體來(lái)說(shuō)，我測(cè)試了用于人臉識(shí)別的網(wǎng)絡(luò)VGG16 Face，將真實(shí)照片與Memoji進(jìn)行對(duì)比。之后我用它選擇各種特征，為新目標(biāo)創(chuàng)造Memoji表情。本文原作者為Pat Niemeyer，以下是論智的編譯。

上圖是神經(jīng)網(wǎng)絡(luò)生成的兩個(gè)結(jié)果。在實(shí)際操作過(guò)程中，我們的工作會(huì)受到以下幾點(diǎn)因素的影響：

人像卡通化

第一個(gè)問(wèn)題就是：某人的“卡通版本”是什么樣的?？ㄍ嬐ǔ?huì)放大某人最明顯的特征，但是類似發(fā)型之類的其他特征區(qū)別不是很明顯，并且發(fā)型的類型非常多。經(jīng)過(guò)訓(xùn)練辨認(rèn)人臉的神經(jīng)網(wǎng)絡(luò)會(huì)以抽象方式捕捉到某人的發(fā)型信息，從而進(jìn)行轉(zhuǎn)化。反過(guò)來(lái)說(shuō)，這也意味著從抽象信息中生成發(fā)型并不是一個(gè)理想的好方法。

膚色和發(fā)色

在不同光線條件下推測(cè)照片中人物的膚色非常困難，在我的測(cè)試中，網(wǎng)絡(luò)通常會(huì)選擇膚色更淺的區(qū)域，并且不能區(qū)分現(xiàn)實(shí)和非現(xiàn)實(shí)情況。同樣，雖然測(cè)試設(shè)備在分辨暗色和亮色頭發(fā)的任務(wù)中表現(xiàn)不錯(cuò)，但是當(dāng)照片中的頭發(fā)顏色更鮮艷，這一方法或多或少地可能失敗。

這里推薦一篇文章，其中用到的對(duì)人臉特征和膚色進(jìn)行規(guī)范化的工具非?？幔篠ynthesizing Normalized Faces from Facial Identity Features。

No API

想用Memoji做實(shí)驗(yàn)遇到的最大挑戰(zhàn)就是，目前沒(méi)有可用的API能夠程序化創(chuàng)造它們（沒(méi)有直接的方法可以讓我們?cè)?a href="http://www.brongaenegriffin.com/tags/ios/" target="_blank">iOS中自動(dòng)進(jìn)行創(chuàng)造）。所以，當(dāng)我們想搜索可能的Memoji作為生成過(guò)程的一部分時(shí)，這一過(guò)程變得極為低效。理想狀態(tài)下，我們想用一個(gè)通用算法徹底調(diào)整各特征的組合，而不是獨(dú)立處理，但這在簡(jiǎn)單的實(shí)驗(yàn)上是無(wú)法做到的。

照片選擇

選擇哪張照片作為參考材料對(duì)結(jié)果有很大的影響，在有些情況下，一些照片會(huì)比其他的生成更好的結(jié)果。理想的照片應(yīng)該是裁剪合理、臉朝向前方、最具代表性的照片。對(duì)于每一特征，我都會(huì)根據(jù)至少四張人臉圖像進(jìn)行打分。

網(wǎng)絡(luò)設(shè)置

VGG

VGG是圖像識(shí)別中常用的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，VGG Face是該架構(gòu)經(jīng)過(guò)人臉識(shí)別訓(xùn)練后的工具。它的創(chuàng)作者已將完全訓(xùn)練后的網(wǎng)絡(luò)開(kāi)源，大大方便了我們的實(shí)驗(yàn)，因?yàn)閺牧阌?xùn)練一個(gè)這樣的網(wǎng)絡(luò)通常需要大量數(shù)據(jù)和計(jì)算時(shí)間。

VGG Face

Torch

另外在測(cè)試時(shí)，我用到了Torch科學(xué)計(jì)算框架。Torch提供了運(yùn)行VGG模型所需要的環(huán)境，并且基于Lua提供了腳本環(huán)境，同時(shí)還有用于數(shù)學(xué)計(jì)算的庫(kù)和基礎(chǔ)搭建模塊，可用于神經(jīng)網(wǎng)絡(luò)的圖層。

Torch可以自動(dòng)下載VGG Face模型，并且只需幾行代碼就能運(yùn)行一張圖片?；A(chǔ)流程如下：

-- Load the network

net = torch.load('./torch_model/VGG_FACE.t7')

net:evaluate()

-- Apply an image

img = load_image(my_file)

output = net:forward(img)

其中下載圖像和對(duì)圖像規(guī)范化的步驟代碼可以在源代碼中找到。

圖層

如上圖所示，VGG有很多不同類型的圖層，首先是一個(gè)能保存RGB圖像數(shù)據(jù)的Tensor，它應(yīng)用了多種卷積、池化、權(quán)重和其他類型的變換，隨著每個(gè)圖層學(xué)習(xí)更多抽象特征，數(shù)據(jù)的“形狀”和維度都在變化。最終網(wǎng)絡(luò)會(huì)在最后一層生成一個(gè)一維的、有2622個(gè)元素的預(yù)測(cè)向量。該向量表示真人與網(wǎng)絡(luò)訓(xùn)練結(jié)果匹配成功的概率。

在我們的案例中，我們不關(guān)心這些預(yù)測(cè)結(jié)果，而是想利用網(wǎng)絡(luò)比較自己數(shù)據(jù)集中的抽象人臉。為了做到這一點(diǎn)，我們可以利用預(yù)測(cè)圖層下的圖層的輸出，該圖層包括了4096個(gè)元素向量，對(duì)人臉特征進(jìn)行組合定制。

output = net.modules[selectedLayer].output:clone()

雖然VGG16的標(biāo)準(zhǔn)是16層的框架，但實(shí)際上在Torch中實(shí)施后生成的是具有40個(gè)模塊的設(shè)置。

相似度

接下來(lái)，我們會(huì)向網(wǎng)絡(luò)中輸入成對(duì)的圖片，然后用一種簡(jiǎn)單的相似度尺度比較它們的輸出。其中比較兩個(gè)大型數(shù)字向量的方法是利用點(diǎn)積：

torch.dot(output1, output2)

這就生成了一個(gè)表示向量在高維空間中“對(duì)齊”程度的標(biāo)量值。

對(duì)于這一測(cè)試，我們想將生成的Memoji和多張參考圖像對(duì)比，生成最終結(jié)果。所以我只需將每一對(duì)圖像的值進(jìn)行正則化，取平均分?jǐn)?shù)。

sum = 0

for i = 1, #refs do

localref = refs[i]

local dotself = torch.dot(ref , ref)

sum = sum + torch.dot(ref, target) / dotself

end

...

return sum / #refs

正則化表示將一張圖像和它本身相比的分?jǐn)?shù)為1，那么之后的分?jǐn)?shù)越接近于1，說(shuō)明相似度越大。

除此之外，我們還能用到很多其他類型的衡量尺度。常用的兩種可能是歐幾里得距離或計(jì)算兩輸入之間的平均方差。

首次測(cè)試——The Lineup

首先我想知道，這一人臉網(wǎng)絡(luò)能否在所有照片上生成對(duì)應(yīng)的Memoji。首先，我隨機(jī)收集了63張Memoji圖像，大部分是蘋果的設(shè)計(jì)原型。

之后我選擇了一個(gè)Memoji，然后讓網(wǎng)絡(luò)選出前三名相似度最高的表情。

結(jié)果非常不錯(cuò)！不僅僅它能找到完全一樣的Memoji（得分為1），第二第三名看起來(lái)也很相像。

真實(shí)照片

現(xiàn)在我們要進(jìn)行“真實(shí)性”檢測(cè)：我們讓網(wǎng)絡(luò)根據(jù)真實(shí)相片找到相似的Memoji，結(jié)果如下：

由于只能在有限的數(shù)據(jù)集中選擇，所以結(jié)果并不如我們期待的那樣好，可以看到分?jǐn)?shù)都很低。

生成過(guò)程

接下來(lái)，我嘗試讓網(wǎng)絡(luò)挑選特征創(chuàng)造全新的Memoji。正如上文提到的，在iOS中并沒(méi)有能自動(dòng)創(chuàng)建Memoji的途徑，所以我決定編寫腳本促進(jìn)Memoji的生成。

我將手機(jī)和電腦連接，用QuickTime Player的錄制功能將這一過(guò)程保留下來(lái)。

但這一方法并不理想。首先，操作起來(lái)很復(fù)雜，光發(fā)型就有93種，運(yùn)行一遍需要大量時(shí)間。更重要的是，我們每次只能評(píng)估一個(gè)特征的不同。理論上，我們可以不斷地重復(fù)選擇樹(shù)，進(jìn)行迭代，知道網(wǎng)絡(luò)認(rèn)為沒(méi)有什么變化時(shí)才能停止。但是這種方法也不完美，很有可能只是一個(gè)“部分最小值”。

另外，照片中人物頭像細(xì)微的移動(dòng)就會(huì)影響分?jǐn)?shù)。最后，我發(fā)現(xiàn)了一個(gè)簡(jiǎn)單的解決方法。

結(jié)果

在文章未完成前，我其實(shí)沒(méi)有采用網(wǎng)絡(luò)得出的川普中的發(fā)型，而是手動(dòng)選擇了一個(gè)分?jǐn)?shù)最高的，覺(jué)得那個(gè)更適合他。但是最后我還是堅(jiān)持展示出所有網(wǎng)絡(luò)得出的結(jié)果。

所以，有的時(shí)候排名前三的將結(jié)果并不總是相似的。例如，以下就是川普發(fā)型的排名：

但是，奧巴馬耳朵的排名卻很靠譜，又大到小分?jǐn)?shù)逐漸降低：

不過(guò)眼睛的選擇卻有些不同：

但是川普的眼睛就比較一致了：

發(fā)色

前面說(shuō)到，頭發(fā)的顏色因?yàn)楣饩€問(wèn)題會(huì)難以確定。川普和奧巴馬的頭發(fā)還比較好確定，但是有些情況下，網(wǎng)絡(luò)總會(huì)把很亮的顏色看作灰色：