DeepMind把GAN又玩出了新花樣！這次推出的是雙視頻判別器GAN，通過對判別器更高效的分解，生成的視頻樣本在長度和分辨率上都遠高于此前最好水平，在多個合成和預測視頻數(shù)據(jù)集上刷新了SOTA。

也許你聽說過FaceApp，這是一款利用AI來改變自拍的移動應用程序，你可能也聽說過“這些人物都不存在”網(wǎng)站，它可以顯示計算機生成的虛構人物照片。但是生成完完全全的新視頻的算法你聽說過嗎？最近，DeepMind的一篇最新論文詳細介紹了AI剪輯生成領域的最新進展。

論文地址：

https://arxiv.org/pdf/1907.06571.pdf

研究人員表示，由于“高效計算”組件和技術的使用，再加上新的定制數(shù)據(jù)集，他們訓練出的最佳性能模型：雙視頻鑒別器GAN（DVD-GAN）可以生成“高保真度”的連貫256 x 256像素視頻，幀數(shù)高達48幀。

DVD-GAN這個簡稱由Ian Goodfellow“欽定”

“生成自然視頻對于生成建模任務來說是一個明顯更困難的挑戰(zhàn)，受到數(shù)據(jù)復雜性和計算要求增加的困擾，”共同作者寫道?！俺鲇谶@個原因，許多關于視頻生成的先前研究都圍繞著相對簡單的數(shù)據(jù)集或可獲得強時間條件信息的任務。我們的研究則關注視頻合成和視頻預測的任務......并將生成圖像模型的成果擴展到視頻領域?！?/p>

研究人員圍繞尖端AI架構構建系統(tǒng)，并專門針對視頻進行了特定的調(diào)整，使其能夠在Kinetics-600上進行訓練，這是一個比常用語料庫大一個數(shù)量級的自然視頻數(shù)據(jù)集。具體來說，研究人員利用擴大的生成對抗網(wǎng)絡（GAN），它已應用于多種轉換任務，比如將字幕轉換為逐個場景的情節(jié)板，生成人造星系的圖像等。本文中采用的是BigGAN，以大批量和數(shù)百萬個參數(shù)而著稱。

DVD-GAN：雙判別器，非約束數(shù)據(jù)集無需擔心過擬合

一組4秒合成視頻剪輯，由Kinetics-600在128×128幀上訓練

DVD-GAN包含兩個判別器：一個空間判別器，通過隨機采樣全分辨率幀并單獨處理，來評判單幀的內(nèi)容和結構，還有一個是時間判別器，負責提供學習信號來生成運動。此外還有一個單獨的模塊：變換器，讓學習到的信息在整個AI模型中傳播。

至于訓練數(shù)據(jù)集（Kinetics-600），這是根據(jù)最初為人類行為識別策劃的500,000個10秒高分辨率YouTube剪輯編制的，研究人員稱該數(shù)據(jù)集具有“多樣化”和“非受限”的特點，他們聲稱這些特征消除了過擬合的風險。（在機器學習中，過擬合是指與特定數(shù)據(jù)集過于緊密對應的模型，因此無法可靠地預測未來的觀測結果。）

該團隊在論文中表示，在經(jīng)過Google加速的第三代TPU訓練12到96小時后，DVD-GAN成功創(chuàng)建了包括目標結構、移動，甚至是復雜紋理的視頻。模型還盡力在更高的分辨率下創(chuàng)建連貫的物體，物體的運動組成像素更多。但研究人員指出，在UCF-101（13,320個人類行為視頻的較小數(shù)據(jù)集）上評估時，DVD-GAN生成的樣本的最好成績分數(shù)為32.97。

“我們希望進一步強調(diào)在大型復雜視頻數(shù)據(jù)集（如Kinetics-600）上訓練生成模型的好處，”論文中寫道?！拔覀兿胪ㄟ^DVD-GAN在此數(shù)據(jù)集上建立的強大基線標準，作為生成建模社區(qū)的參考標桿。雖然在非約束的環(huán)境下，要想始終如一地生成逼真的視頻還有很多工作要做，但我們相信，DVD-GAN是朝這個方向邁出的堅實一步?！?/p>