本文來自Netflix的科技博客，闡述了VMAF的最新應(yīng)用進展，以及VMAF正在做的改進工作。感謝鄧斌的翻譯，及快手相關(guān)同學(xué)的技術(shù)審校。

Netflix會員會如何評價一段視頻的質(zhì)量—— 差、一般或非常好？ 對于同一段視頻，是用A編碼器還是B編碼器進行編碼看起來效果更好？對于一集視頻，同樣是1000 kbps碼率，是應(yīng)該選擇具有一些塊效應(yīng)的高清版本，還是塊效應(yīng)較少的標(biāo)清版本？

這些都是我們在嘗試為Netflix會員提供最佳觀看體驗時會面臨的實際問題。幾年前，我們意識到無法通過簡單地依賴“黃金眼”來有力地解決這些問題。專業(yè)的“黃金眼”的主觀測試并不能在海量內(nèi)容，不同的編碼配置和整體編碼流程之間進行擴展。PSNR和SSIM等這種現(xiàn)有的客觀視頻質(zhì)量評價指標(biāo)雖然可以大規(guī)模部署，但它們無法準(zhǔn)確捕捉人類的主觀感受。因此，我們開啟了一段尋找能夠自動回答 “Netflix會員將如何評價這樣編碼的質(zhì)量？” 這個問題的方法的旅程，這就是VMAF誕生的契機。

視頻多評估方法融合（Video Multi-method Assessment Fusion簡稱VMAF）指標(biāo)是一種將人類視覺模型與機器學(xué)習(xí)相結(jié)合的視頻質(zhì)量評價指標(biāo)。該項目始于我們團隊與來自南加州大學(xué)的C.-C Jay Kuo教授之間的研究合作。他的研究小組之前曾研究過圖像的感知質(zhì)量指標(biāo)，我們跟他們一起將這些想法擴展到視頻。隨著時間的推移，更多的研究團隊加入了我們，如德克薩斯大學(xué)奧斯汀分校的Alan Bovik教授和南特大學(xué)的Patrick Le Callet教授，我們共同的目標(biāo)是提高VMAF模型與人類主觀感知的相關(guān)性，并擴大其范圍以涵蓋更多場景。2016年6月，我們在Github上開源了VMAF，并發(fā)布了第一篇介紹VMAF 的博客文章。在本篇文章中，我們希望分享我們的VMAF旅程。

一、工業(yè)界采用

除了在Netflix公司內(nèi)部，視頻社區(qū)的一些成員也發(fā)現(xiàn)了VMAF作為質(zhì)量評估工具的價值。由于工業(yè)界的采用，該項目受到了研究人員，視頻相關(guān)公司的工程師和開源社區(qū)的成員的廣泛支持。

VMAF已經(jīng)集成到第三方視頻分析工具中（例如，F(xiàn)Fmpeg，Elecard StreamEye，MSU視頻質(zhì)量測量工具和iswecompressedyet），并將其與已得到認(rèn)可的指標(biāo)（如PSNR和SSIM）一同被用作參考指標(biāo)。

在NAB，Video@Scale和Demuxed等展會中，其中的一些demo和演講使用了VMAF指標(biāo)來比較各種編碼技術(shù)的質(zhì)量和效率。

視頻質(zhì)量評價專家組成的國際機構(gòu)視頻質(zhì)量專家組（VQEG）在最近的Los Gatos，Krakow和Madrid VQEG會議上，多次對VMAF模型進行了評估。

我們很高興看到其他研究小組已經(jīng)對VMAF的感知準(zhǔn)確性進行了交叉驗證。Rassool（RealNetworks）確認(rèn)了在4K內(nèi)容上，VMAF和DMOS得分之間的高度相關(guān)性。Barman等人（金斯頓大學(xué)）在游戲內(nèi)容上測試了幾個質(zhì)量評估指標(biāo)，并得出結(jié)論：VMAF在預(yù)測主觀質(zhì)量方面是最好的。Lee等人（延世大學(xué)）應(yīng)用各種視頻質(zhì)量指標(biāo)到多分辨率自適應(yīng)流傳輸方面，結(jié)果表明VMAF和EPSNR與人的感知質(zhì)量的相關(guān)性最高。Gutiérrez等人（Université de Nantes）的研究表明，在高清（HD）和超高清（UHD）內(nèi)容上，VMAF和VQM是表現(xiàn)最佳的兩個質(zhì)量指標(biāo)。此外，我們還注意到了一些研究指出VMAF并沒有達(dá)到預(yù)期效果。對于最新的VMAF模型，我們會邀請行業(yè)專家和研究人員對其進行評估，并鼓勵其與我們分享其中的一些反例和極端情況，用于改進出下一個版本的VMAF模型。我們還將在后面的部分介紹VMAF工具的使用方法，以解決一些實際使用中可能遇到的問題。

當(dāng)然，VMAF指標(biāo)也可用作更好的編碼決策的優(yōu)化標(biāo)準(zhǔn)，我們已經(jīng)看到其他一些公司應(yīng)用VMAF進行優(yōu)化的相關(guān)報告。

二、VMAF在Netflix產(chǎn)品中的應(yīng)用

2.1 編解碼器性能比較

傳統(tǒng)意義上比較編解碼器之間的性能，通常使用這樣的方法：首先，在一套測試條件下（固定分辨率和量化步長）對每個視頻序列進行編碼；然后，對多個視頻序列計算PSNR值；接著，構(gòu)建碼率--質(zhì)量曲線，并計算這些曲線之間的平均差異（BD-rate）。這種比較方法適用于評價不同編解碼器中的簡單區(qū)別，或評估同一編解碼器中的各種工具。對于我們的應(yīng)用場景（視頻流）使用PSNR是不合適的，因為它與感知質(zhì)量的相關(guān)性比較差。

而VMAF的提出填補了這一空白，它可以評估編解碼器之間的具有較大差異的情況，也可以評估視頻的縮放失真，且該指標(biāo)與主觀感知質(zhì)量的相關(guān)性更高。它能夠幫助我們比較出編解碼器中真正重要的部分，即在碼率與主觀質(zhì)量之間找到一個最優(yōu)平衡點。具體而言，比較不同編解碼器和/或不同配置之間的碼率--質(zhì)量曲線，構(gòu)建其對應(yīng)的凸包（https://en.wikipedia.org/wiki/Convex_hull）進而可以得到相應(yīng)的最優(yōu)解帕雷托前沿（ https://blog.csdn.net/u010180815/article/details/78994486）。我們團隊最近關(guān)于編解碼器性能比較的一些工作發(fā)表在基于場景編碼的技術(shù)博客上，以及Picture Coding Symposium 2018 和SPIE Applications of Digital Image Processing XLI學(xué)術(shù)論文中。

2.2 編碼決策

VMAF在我們的整個工作流程中廣泛應(yīng)用，不僅用于衡量編碼的結(jié)果，還用于指導(dǎo)編碼器編碼到最佳質(zhì)量。在編碼中使用VMAF的一個典型例子是我們的動態(tài)優(yōu)化器，其中每個單個場景的編碼決策由每個編碼階段的碼率和質(zhì)量指標(biāo)來指導(dǎo)。在此優(yōu)化過程中，VMAF分?jǐn)?shù)非常重要，主要用于獲得最佳的碼率與質(zhì)量之間的平衡點。

2.3 A / B實驗

不同商業(yè)領(lǐng)域的研究人員——例如電視UI團隊和流媒體客戶團隊——正在不斷創(chuàng)新，以提高流媒體的觀看體驗。借助VMAF模型，我們可以在系統(tǒng)范圍內(nèi)進行A / B測試，并可以量化不同視頻質(zhì)量對用戶的影響。例如，如果研究人員改變自適應(yīng)流傳輸算法或部署新的編碼器，可以進行實驗比較新舊算法或編碼器之間的VMAF分?jǐn)?shù)變化情況。VMAF指標(biāo)非常適合評估這類實驗的效果，因為它對于不同內(nèi)容的有很好的一致性，并且對于反映人類感知質(zhì)量相當(dāng)準(zhǔn)確。例如，對于不同的視頻內(nèi)容，VMAF得分為85意味著視頻主觀質(zhì)量“良好”，但是從碼率的角度卻無法反映視頻主觀質(zhì)量，因為同一個碼率點在不同內(nèi)容中可能對應(yīng)不同的主觀質(zhì)量。

三、我們所為之事

3.1 速度優(yōu)化

2016年6月我們首次在Github上開源VMAF，它的核心特征提取庫用C編寫，控制代碼用Python編寫，主要目標(biāo)是支持算法實驗和快速原型設(shè)計。順應(yīng)用戶的需求，我們很快添加了一個獨立的C ++可執(zhí)行文件，可以在實際環(huán)境中更輕松地部署。2016年12月，我們將AVX優(yōu)化添加到VMAF的卷積函數(shù)（VMAF中計算量最大的操作）中，使得VMAF的執(zhí)行速度提高了大約3倍。在2018年6月，我們增加了幀級多線程，還實現(xiàn)了跳幀功能，允許在每N幀里的一幀上計算VMAF。這使得VMAF指標(biāo)首次能達(dá)到實時計算，即使在4K視頻中也可以（有很小的精度損失）。

3.2 FFmpeg的libvmaf庫

在FFmpeg社區(qū)的幫助下，我們將VMAF模型打包到一個名為libvmaf的C代碼庫中。該庫提供了一個接口，可將VMAF指標(biāo)計算過程添加到自己的C / C ++代碼中。VMAF是作為一個濾波器添加到FFmpeg中。FFmpeg的libvmaf濾波器目前是一個非常便捷的計算壓縮視頻碼流的VMAF指標(biāo)的方法。

3.3 準(zhǔn)確性提高

VMAF項目開源之后，我們一直在不斷提高其預(yù)測準(zhǔn)確性。隨著時間的推移，我們修復(fù)了其中許多基本度量指標(biāo)和機器學(xué)習(xí)模型中的問題，從而在整體上能得到更準(zhǔn)確的預(yù)測。例如，修改了基本度量指標(biāo)可以改進VMAF指標(biāo)與亮度掩蔽特性的一致性；更新場景邊界處的運動得分以避免場景變化帶來的影響； 現(xiàn)在，在高QP區(qū)域，VMAF的單調(diào)性能夠保持。顯然VMAF模型的準(zhǔn)確性在很大程度上取決于用于訓(xùn)練的主觀打分的覆蓋范圍和準(zhǔn)確度。我們建立了一個主觀數(shù)據(jù)集，其范圍比我們以前的數(shù)據(jù)集更廣泛，包括更多樣化的內(nèi)容和采集源失真（如膠片顆粒和相機噪音）以及更全面的編碼分辨率和壓縮參數(shù)。我們還開發(fā)了一個新的數(shù)據(jù)清理技術(shù)來消除原始數(shù)據(jù)中人為偏見和不一致性，并在Github上開源。該方法使用最大似然估計來聯(lián)合優(yōu)化其參數(shù)，消除主觀偏差。

3.4 不同觀看條件下的VMAF模型

VMAF框架支持在特定觀看條件下訓(xùn)練特定的預(yù)測模型，無論是在移動終端上還是在超高清電視上。我們之前開源的VMAF原始模型基于如下觀看條件：觀眾坐在1080p顯示器前面，在類似客廳的環(huán)境中，觀看距離是屏幕高度的3倍（3H）。這組觀看參數(shù)在許多場景中較為常用，然而，在將該模型應(yīng)用于移動端視頻時，我們發(fā)現(xiàn)它并沒有準(zhǔn)確地反映觀看者的視覺感知。特別是在較小的屏幕和相對于屏幕高度較遠(yuǎn)（> 3H）的觀看距離時，即使是觀看高質(zhì)量視頻，觀眾也只能感知到較小的視覺差異。例如，在手機上，與其他設(shè)備相比，720p和1080p視頻之間的區(qū)別較小。考慮到這一點，我們訓(xùn)練并發(fā)布了VMAF手機模型。

上圖展示了VMAF的默認(rèn)模型和手機模型關(guān)于VMAF分?jǐn)?shù)與碼率之間的關(guān)系。一個可行的解釋是，在手機屏幕上觀看時，相同的失真的視頻具有比在高清電視上更高的質(zhì)量，使用手機模型時，720p和1080p視頻之間的VMAF分值差異更小。

最近，我們添加了一個新的4K VMAF模型，該模型可以預(yù)測在1.5H距離下的4K電視上顯示的視頻的主觀質(zhì)量（1.5H的觀看距離是普通觀眾能夠充分感受4K內(nèi)容清晰度的最大距離）。4K模型類似于所給的默認(rèn)模型，因為兩種模型所使用的主觀實驗數(shù)據(jù)都是在1/60（度/像素）的臨界角頻率下的主觀質(zhì)量。不同之處在于，4K模型使用了更寬的視角，會影響受試者的余光和聚焦點的成像。

3.5 對預(yù)測的不確定性進行定量

VMAF模型主要在一些具有代表性的視頻和不同失真類型上進行訓(xùn)練。由于實驗室條件下進行主觀實驗的一些限制，選擇的視頻序列可能無法涵蓋整個視頻感知質(zhì)量空間。因此，VMAF模型的分值預(yù)測可以與置信區(qū)間（CI）相關(guān)聯(lián)，以表征訓(xùn)練過程的內(nèi)在不確定性。因此，我們最近提出了一種可以得出VMAF預(yù)測分?jǐn)?shù)及其95％的置信區(qū)間的方法，從而定量預(yù)測的置信水平。主要通過使用完整的訓(xùn)練數(shù)據(jù)引導(dǎo)預(yù)測殘差來得到置信區(qū)間，從本質(zhì)上講，它通過對預(yù)測的殘差使用“有替換的重采樣”來得到更多模型。每個模型都會引入略有不同的預(yù)測，這些預(yù)測的可變性量化了置信水平——這些預(yù)測越接近，使用完整數(shù)據(jù)的預(yù)測就越可靠。

上面的示例圖基于NFLX公共數(shù)據(jù)集得到了與每個數(shù)據(jù)點相關(guān)聯(lián)的95％置信區(qū)間。值得注意的是，得分較高的一方往往比得分較低的一方具有更小的置信區(qū)間。一個可行的解釋是：在訓(xùn)練VMAF模型的數(shù)據(jù)集中，分?jǐn)?shù)較高的一端比分?jǐn)?shù)較低的一端具有更密集的數(shù)據(jù)點采樣。值得注意的是，引導(dǎo)技術(shù)不一定會提高訓(xùn)練模型的準(zhǔn)確性，但會為其預(yù)測提供一定統(tǒng)計意義。

四、實戰(zhàn)攻略

我們經(jīng)常會被問到用特定方式計算VMAF分?jǐn)?shù)是否合適，或者算得的分?jǐn)?shù)應(yīng)當(dāng)如何解釋。本節(jié)將重點解釋一些使用VMAF的注意事項。

4.1 VMAF分?jǐn)?shù)的解釋

VMAF分?jǐn)?shù)取值范圍為0-100，其中0表示最低質(zhì)量，100表示最高質(zhì)量。理解VMAF分?jǐn)?shù)的一種很好的方法是，將其線性映射到用于訓(xùn)練的主觀測試時的分?jǐn)?shù)域。例如，默認(rèn)模型v0.6.1使用絕對類別評級（ACR）方法收集的分?jǐn)?shù)進行訓(xùn)練，使用1080p顯示器，觀看距離為3H。觀眾在“很差”，“較差”，“一般”，“良好”和“優(yōu)秀”這5個范圍對視頻質(zhì)量進行打分。粗略地說，“很差”映射到VMAF分?jǐn)?shù)的20，“優(yōu)秀”映射到100分。因此，在1080p和3H條件下，普通觀眾可以將VMAF得分70解釋為“良好”和“一般”之間的質(zhì)量。另一個需要注意的是測試者給出的最好和最差分?jǐn)?shù)往往是整套視頻中質(zhì)量最高和最低的視頻（在進行實際測試開始之前，受試者通常習(xí)慣于實驗條件下的視頻質(zhì)量范圍）。在默認(rèn)模型v0.6.1的條件下，最佳和最差視頻分別對應(yīng)的是通過低量化參數(shù)（QP）的1080p壓縮視頻和通過高QP的240p壓縮視頻。

4.2 以正確的分辨率計算VMAF

典型的用于自適應(yīng)流傳輸?shù)木幋a過程一般引入了兩種類型的失真——壓縮失真（編碼器有損壓縮）和縮放失真（對于低碼率，源視頻在壓縮之前被下采樣，并且稍后在顯示設(shè)備上上采樣）。使用VMAF評估感知質(zhì)量時，必須考慮這兩種類型的失真。例如，當(dāng)源視頻為1080p但被編碼為480p時，計算VMAF的正確方法是將編碼后的視頻上采樣至1080p以匹配源視頻的分辨率。反之，如果將源視頻下采樣到480p以匹配編碼后的視頻，則獲得的VMAF分?jǐn)?shù)將無法體現(xiàn)縮放失真。在對不同視頻進行編碼時顯得尤為重要，因為其中凸包的構(gòu)造對于選擇最佳編碼參數(shù)是至關(guān)重要的。

上面的例子說明了正確計算（左）和錯誤計算（右）VMAF時形成的凸包的結(jié)果。當(dāng)對編碼后視頻進行上采樣后計算VMAF，可以很容易地發(fā)現(xiàn)不同分辨率的曲線會交叉而過。另一方面，如果對源視頻進行下采樣，則低分辨率編碼將偏向于高分，并且會發(fā)現(xiàn)曲線之間沒有交叉。

4.3上采樣算法的選取

當(dāng)對編碼進行上采樣以匹配源視頻的分辨率時，可以使用許多上采樣算法，包括雙線性，雙三次，lanczos，甚至更高級的基于神經(jīng)網(wǎng)絡(luò)的方法?！吧喜蓸铀惴ǖ馁|(zhì)量越高對應(yīng)的結(jié)果越好”這個觀點是不正確的。原則上，應(yīng)該選擇能夠最好地匹配顯示設(shè)備的算法。在許多情況下，顯示器中對視頻進行上采樣的硬件是未知的，因此，我們建議使用雙三次上采樣方法的結(jié)果作為一個通用的方法。

4.4 解讀非1080p視頻的VMAF分?jǐn)?shù)

常常有人會問：如果源視頻和編碼后視頻的分辨率都低于1080p，那么1080p模型（例如默認(rèn)的v0.6.1模型）是否仍然適用？默認(rèn)模型反映的是 “1/60（度/像素）”（意味著它假設(shè)在一度的視角內(nèi)具有60個像素）的臨界角頻率對應(yīng)的視頻質(zhì)量的模型。根據(jù)幾何學(xué)知識，可以發(fā)現(xiàn)觀看距離為3H的1080p視頻，與距離為4.5H的720p視頻和距離為6.75H的480p視頻效果基本相同。換句話說，如果將1080p模型應(yīng)用于720p或 480p視頻，則得到的分?jǐn)?shù)可以解釋為分別以4.5H或 6.75H的觀看距離下觀看而得的分?jǐn)?shù)。在這樣遠(yuǎn)的觀看距離下，許多失真人眼無法察覺，因此反而會得到更高的分?jǐn)?shù)。值得注意的是，這種解釋并沒有校準(zhǔn)其他因素，如眼睛焦距，中央凹視力和觀眾對標(biāo)清視頻與高清視頻的心理預(yù)期。

4.5 時域池化操作

VMAF模型會為每幀打出一個分?jǐn)?shù)，在實際應(yīng)用中，通常一個較長持續(xù)時間內(nèi)的綜合分?jǐn)?shù)比較有用，譬如對于幾秒鐘的視頻片段，或者甚至是兩小時的電影。盡管有許多復(fù)雜的在時域池化的技術(shù)，我們的實踐結(jié)果表明，簡單的算術(shù)平均值（AM）是取平均操作的最佳方式，因為它的結(jié)果與主觀分?jǐn)?shù)的相關(guān)性最高。另一種實用的取平均技術(shù)是調(diào)和平均值（HM）。通常情況它的結(jié)果與AM非常相似，除了在存在異常值的情況下，HM更加突出小值的影響。

上面的例子證明了在有無小的異常值情況下AM 和 HM之間的差異。當(dāng)人們想要基于VMAF優(yōu)化質(zhì)量同時避免偶爾的低質(zhì)量視頻編碼時，基于HM的時域池化是有用的。

4.6 A / B測試的度量準(zhǔn)則

為了理解不同操作在A / B測試中的影響，我們需要將幀級VMAF分?jǐn)?shù)綜合為每次測試的結(jié)果（即每次測試一個分?jǐn)?shù)）。自適應(yīng)流傳輸中選擇的最佳碼率受各種因素（例如吞吐量）影響，每次測試將基于每個流播放的時長以及在何時播放對每幀VMAF分值進行不同的“結(jié)合”。要對每次測試的單個VMAF分值進行綜合，我們必須注意：1）確定適當(dāng)?shù)木酆铣潭龋?）使用反映不同方面的感知質(zhì)量指標(biāo)進行聚合。

如果我們將每個流的每幀的VMAF分?jǐn)?shù)進行平均，我們將漏掉在此間發(fā)生的質(zhì)量下降。如果我們不平均，就使用每幀的值，則對于每次測試，最終在綜合每幀分值時的計算復(fù)雜度將會很高。因此，我們建議使用秒為粒度的時間間隔，以在準(zhǔn)確性和易實施性之間達(dá)到一個較好的平衡。

為了理解不同處理方法在A / B測試中的影響，我們建議采用能反映三個方面質(zhì)量的關(guān)鍵指標(biāo)：總體質(zhì)量，開播質(zhì)量和可變性。這三個量可以分別是整個測試中的平均VMAF分值，前N秒的平均VMAF分值，以及VMAF值相對于先前一個值下降到某個閾值以下的次數(shù)。

五、旅程繼續(xù)

從一個公司內(nèi)部項目到成為一個為Netflix的所有會員提供最佳視頻觀看體驗的有效工具，以及到現(xiàn)在的一個開始吸引用戶和社區(qū)貢獻者維護的開源項目，VMAF一直在不斷發(fā)展，不斷尋找新的應(yīng)用領(lǐng)域。我們很高興看到除了在Netflix公司內(nèi)部，VMAF已應(yīng)用于編解碼器的比較、編碼優(yōu)化、A / B實驗、視頻分析和后處理優(yōu)化等諸多方面。此外，我們還看到了獨立的研究人員交叉驗證了VMAF的感知準(zhǔn)確性、開源社區(qū)對VMAF的計算進行了加速、創(chuàng)建了易于使用的界面等，它正在不斷的被優(yōu)化著。

但我們的旅途才剛剛開始～

通過與一些研究人員和VMAF使用者進行交流，我們意識到目前的VMAF模型在很多方面可以改進。舉幾個例子：

VMAF模型只使用了簡單的時域特征，即相鄰幀之間的平均低通濾波差異。進一步，VMAF模型還可以借鑒學(xué)習(xí)更復(fù)雜的時域模型來更好地度量時域感知特征來提升性能；

VMAF模型并沒有完全體現(xiàn)許多編解碼器中的感知優(yōu)化帶來的效果，盡管與PSNR相比，它正朝著正確的方向更進了一步；

目前VMAF尚未使用色度特征，且并不能充分表達(dá)HDR 或 WCG視頻的感知方面的特點；

VMAF模型在時長為幾秒鐘的短視頻中表現(xiàn)最佳，但是它對反映卡頓造成的QoE影響無能為力，同時也無法捕捉(用戶)在長時間觀看后的一些主觀感知特性，比如首因效應(yīng)（primacy effect）和近因效應(yīng)（recency effect）

在未來幾年，我們將繼續(xù)努力改進VMAF模型，并邀請行業(yè)、學(xué)術(shù)界和開源社區(qū)與我們進行合作。

六、致謝

我們要感謝以下個人對VMAF項目的幫助：C.-C Jay Kuo教授（南加州大學(xué)），Joe Yuchieh Lin，Eddy Chi-Hao Wu，Haiqiang Wang，Patrick Le Callet教授（ UniversitédeNantes），Jing Li，Yoann Baveye，Lukas Krasula，Alan Bovik教授（德克薩斯大學(xué)奧斯汀分校），Todd Goodall，Ioannis Katsavounidis，視頻算法團隊成員，Martin Tingley和Lavanya Sharan of Streaming S＆A，以及VMAF項目的開源貢獻者。