如何用iPhone給林肯拍大頭照？除了肉身穿越回19世紀(jì)以外，你還可以試試這款“穿越相機(jī)”。

照相技術(shù)發(fā)明100多年以來，有無數(shù)歷史名人留下了黑白照片。然而因?yàn)闀r(shí)代不同、技術(shù)不同以及歲月的侵蝕，這些歷史照片逐漸失真。

能不能用現(xiàn)代相機(jī)的風(fēng)格把他們都恢復(fù)原貌呢？

現(xiàn)在，來自華盛頓大學(xué)、UC伯克利、谷歌的最新論文Time-Travel Rephotography，將這些照片里的歷史人物真實(shí)地展現(xiàn)在屏幕上。

比如，居里夫人、愛迪生、林徽因……

放大瑕疵的老照片如何恢復(fù)

從黑白照片乃至畫像恢復(fù)人臉并不是什么新鮮事，比如最近恢復(fù)兵馬俑、古代帝王的視頻在社交網(wǎng)絡(luò)大熱。

但是從古老照片恢復(fù)人臉要復(fù)雜得多。

我們先看一張著名作家卡夫卡的還原照。Zhang等人恢復(fù)的照片粗看起來皮膚上有很多瑕疵，而“穿越相機(jī)”恢復(fù)的照片似乎自帶“磨皮”。

那么是前一張恢復(fù)照片更加真實(shí)嗎？

事實(shí)并非如此，卡夫卡臉上的瑕疵是當(dāng)年底片技術(shù)導(dǎo)致的。如果只是簡單給黑白照片填色，那么就不能充分表征舊膠片的特性和老化過程。

最早誕生玻璃感光底片只對(duì)藍(lán)光紫外光敏感，1873年推出的新感光乳膠也只對(duì)綠光和藍(lán)光敏感。

由于他們都缺乏對(duì)紅光的敏感性，造成了人物臉上的雀斑和皺紋被放大，嘴唇變黑。

所以我們今天來看林肯的原始照片，會(huì)發(fā)現(xiàn)林肯臉上呈現(xiàn)出很多夸張的皺紋：

1907年，對(duì)紅藍(lán)綠都敏感的全色底片誕生。所以1913年采用新技術(shù)拍攝的潘克斯特（時(shí)年55歲），臉部皮膚要干凈和平整得多：

因此，恢復(fù)這些歷史照片不僅要考慮照片的模糊、褪色、噪點(diǎn)、低分辨率等問題，還要考慮不同老照片對(duì)顏色的感光差異。

而這款“穿越相機(jī)”相比之前的方法，在人物的還原上避免了當(dāng)時(shí)技術(shù)造成的失真。

從StyleGAN2出發(fā)

對(duì)于1873年之前的照片，作者使用了藍(lán)光敏感模型，對(duì)于1873年至1907年的照片，手動(dòng)在藍(lán)光敏感和正色底片之間選擇，然后在1907年以后拍攝的照片，則在所有模型中手動(dòng)選擇。

作者利用StyleGAN2框架將舊照片映射到現(xiàn)代高分辨率照片的空間中，從而在統(tǒng)一的框架中實(shí)現(xiàn)所有這些效果。

作者使用其他彩色樣本圖像作為參考，它們與黑白圖像具有相似的面部特征，但包含高頻細(xì)節(jié)以及自然色和照明。為了進(jìn)一步減小輸入圖像和現(xiàn)代人像之間的感知身份差距，他們還設(shè)計(jì)了特別適合于老照片的重建損失。

模型的結(jié)構(gòu)如下：

1、同級(jí)編碼器

以低分辨率灰度參考圖像I作為輸入，生成具有真實(shí)顏色和相似面部特征的同級(jí)圖像Is。

2、同級(jí)顏色和細(xì)節(jié)轉(zhuǎn)換

為了進(jìn)一步限制顏色和皮膚細(xì)節(jié)，使其與同級(jí)圖像匹配，模型引入了顏色轉(zhuǎn)換損失Lcolor強(qiáng)制StyleGAN2的ToRGB層輸出與同級(jí)圖像的相似性。

3、老照片的重建損失

為了進(jìn)一步減小輸入圖像和現(xiàn)代人像之間的感知身份差距，作者特別設(shè)計(jì)了適合于老照片的重建損失Lrecon，它對(duì)老照片的缺陷具有魯棒性。

4、潛在編碼優(yōu)化

將之前的所有損失函數(shù)疊加起來，以此進(jìn)行優(yōu)化，生成最終圖像？。

據(jù)作者介紹，生成這樣一張1024 x 1024的照片，需要在英偉達(dá)Titan X上運(yùn)行10分鐘。

與其他幾種恢復(fù)老照片的方法相比，“穿越相機(jī)”的效果顯然有著更真實(shí)的觀感。

不過，“穿越相機(jī)”現(xiàn)在還存在著一些缺點(diǎn)。

首先是對(duì)在恢復(fù)人物發(fā)行與配飾方面存在著錯(cuò)誤，或者會(huì)丟失細(xì)節(jié)。

另外，生成照片也非常依賴于統(tǒng)計(jì)圖像的選擇，如果選擇了和原照片不一樣的種族或性別，會(huì)造成黑人變白人、女人變男人。

責(zé)任編輯：PSY