為了設(shè)計(jì)一部最佳的預(yù)告片、給新電影帶來最佳宣傳效果，美國電影公司20世紀(jì)?？怂闺娪爸破瑥S的研究人員開發(fā)了一種深度學(xué)習(xí)模型，根據(jù)電影預(yù)告片來預(yù)測(cè)哪些觀眾最有可能看這部電影。

簡單地說，這一系統(tǒng)提取了顏色、光線、面部、物體、風(fēng)景等特征，對(duì)現(xiàn)有電影觀眾的預(yù)測(cè)達(dá)到了較高精確度，同時(shí)也在即將上映的電影上做了測(cè)試。公司表示，將深度學(xué)習(xí)應(yīng)用到對(duì)觀眾的預(yù)測(cè)上，這在電影制片領(lǐng)域還是首次。

在論文中，?？怂沟难芯空弑硎荆骸皩?duì)新上映的電影來說，預(yù)告片是宣傳中最重要的因素。好的預(yù)告片會(huì)提升新電影在影迷中的知名度，成為更多的人討論的話題，曝光主演，透露影片的主要?jiǎng)∏橐约盎{(diào)?！?/p>

研究人員在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，在谷歌云上使用了NVIDIA Tesla P100 GPU以及經(jīng)過cuDNN加速的TensorFlow框架，數(shù)據(jù)集是上百部近幾年的電影預(yù)告片以及觀影人數(shù)統(tǒng)計(jì)。

研究人員表示：“通過為這些特征找到合適的表示，以及在將這些特征輸入到經(jīng)過歷年電影數(shù)據(jù)訓(xùn)練過的模型上后，它通常能發(fā)現(xiàn)電影預(yù)告片和上映后預(yù)期的觀眾之間有價(jià)值的聯(lián)系?！?/p>

這樣一來，神經(jīng)網(wǎng)絡(luò)可以幫助電影制作方和行者人員在不同的宣傳階段做出實(shí)際決策。以下是論智對(duì)論文的大致編譯，感興趣的朋友可以根據(jù)文末連接查看原論文。

摘要

在各大電影制片廠中，對(duì)觀眾的估計(jì)一直是一項(xiàng)重要活動(dòng)?，F(xiàn)在隨著技術(shù)的發(fā)展，我們可以使用卷積網(wǎng)絡(luò)的深度模型提取電影預(yù)告片中每幀的特征，然后對(duì)其進(jìn)行合理預(yù)測(cè)。我們用視頻表示訓(xùn)練混合協(xié)同過濾模型，訓(xùn)練出的模型不僅能精準(zhǔn)預(yù)測(cè)觀眾的觀影概率，還能成功地在六至八個(gè)月之前就對(duì)新電影制作合適的預(yù)告片。

模型概覽

Merlin Video的混合推薦模型大致結(jié)構(gòu)。一個(gè)邏輯回歸層將一個(gè)基于距離的CF模型和用戶看電影的頻率和相關(guān)性結(jié)合起來，生成看新電影的概率。模型是以端到端的形式訓(xùn)練的，邏輯回歸的損失函數(shù)是經(jīng)過反向傳播到所有訓(xùn)練因素中的

我們對(duì)每部電影都從他的預(yù)告片中創(chuàng)建一個(gè)視頻向量。然后一個(gè)多層感知器（MLP）經(jīng)過訓(xùn)練后可以將視頻向量映射到新的嵌入空間。該空間中既有電影也有用戶，其中的每個(gè)用戶都由一個(gè)用戶向量表示，該向量結(jié)合了觀眾的是否觀看了電影以及基本信息。而基于距離的混合CF框架用來估計(jì)用戶和電影之間的相關(guān)性，并對(duì)他們之間的距離進(jìn)行編碼。最后，一個(gè)經(jīng)過訓(xùn)練的邏輯回歸層會(huì)將電影和用戶之間的距離與用戶是否最終觀看了電影進(jìn)行結(jié)合，輸出最終用戶會(huì)看電影的概率。

為了讓信息高效地流通，整個(gè)模型以端到端的形式訓(xùn)練，也就是說，邏輯回歸中的損失被反向傳播到模型中每個(gè)可訓(xùn)練的元素上。

性能評(píng)估

我們將Merlin Video模型與此前基于情節(jié)的模型進(jìn)行了對(duì)比，另外還包括Recency-Frequency模型（RF）、Probabilistic Matrix Factorization（PMF）以及Collaborative Deep Learning模型（CDL）。

我們用曲線下面積（AUC）作為評(píng)估指標(biāo)，注意，由于Merlin Video的目標(biāo)是分辨會(huì)去看電影的是哪類觀眾，并為電影制作提供見解，所以那些常用的排名指標(biāo)，例如Top-k召回，在這里不使用。結(jié)果如下：

可以看出，我們之前研發(fā)的模型Merlin Text相較于其他方法都有優(yōu)勢(shì)，CDL在所有基于文字的算法中表現(xiàn)得最好，而RF模型盡管很簡潔，同樣在冷啟動(dòng)的場(chǎng)景中表現(xiàn)出了不錯(cuò)的競(jìng)爭力。

另外，結(jié)果還表明，Merlin Video使用了向量后同樣在in-matrix環(huán)境中表現(xiàn)得不錯(cuò)，但是與其他方法的差別不大。

為了評(píng)估Merlin Video對(duì)觀眾的預(yù)測(cè)是否準(zhǔn)確，當(dāng)電影一上映，我們就開始對(duì)比實(shí)際觀眾名單和預(yù)測(cè)名單。下圖展示了預(yù)測(cè)和實(shí)際名單的對(duì)比，以2017年的電影《馬戲之王（The Greatest Showman）》為例。

高亮出的電影是我們之前準(zhǔn)確預(yù)測(cè)到的電影，從表格中可以看到，第一行基于情節(jié)的預(yù)測(cè)和第二行基于預(yù)告片的預(yù)測(cè)非常不同。例如，根據(jù)基于預(yù)告片的預(yù)測(cè)，看過電影《隱藏人物（Hidden Figures）》的觀眾非常有可能去看《馬戲之王》，但是在基于情節(jié)的預(yù)測(cè)上卻并非如此。但是，兩種方法之間又有相似點(diǎn)，例如二者都認(rèn)為看過電影《美女與野獸（Beauty and the Beast）》的觀眾就可用可能去看《馬戲之王》。

結(jié)語

我們的結(jié)果是基于平均池化的視頻特征，這些特征直接輸入到協(xié)同過濾網(wǎng)絡(luò)中。雖然這需要對(duì)模型進(jìn)行訓(xùn)練，但是平均池化框架會(huì)造成嚴(yán)重的時(shí)態(tài)信息損失。另外，基于文本和視頻的兩種模型都能生成高質(zhì)量的預(yù)測(cè)，但是種類有所不同，這也表明它們可能反應(yīng)的是電影的不同方面。我們現(xiàn)在正探索能夠?qū)⑽淖智楣?jié)數(shù)據(jù)和各幀的特征結(jié)合起來的方法，從而創(chuàng)建能更好反映視頻內(nèi)容的向量。