本文來自于ATEME研究總監(jiān)兼總監(jiān)米克爾·勞萊特的主題演講。他主要分享了MPEG-2、H.264、H.265、H.265、VVC，以及EVC、LCEVC等較新的編解碼器。我們需要了解HEVC方面的編解碼器授權(quán)，以及VVC標(biāo)準(zhǔn)化的過程。在探索的過程中，我們從Intra-coding和Inter-prediction方法等方面對圖片分割進(jìn)行了詳細(xì)的介紹。在同樣的背景下，我們通過VTM的復(fù)雜性、VVC的通用性以及它們在未來的編解碼器之戰(zhàn)中如何與VVC平衡。

所以，我將介紹從HEVC到VVC，以及今天到來的一些編解碼器。

首先我先說一下ATEME。ATEME從事一家做廣播的編碼公司現(xiàn)在已經(jīng)有20多年了，包括VideoLAN的一些人也在公司里面工作。所有的編解碼器，我們一開始主要是從MPEG開始、VVC標(biāo)準(zhǔn)化，然后VVC競爭者，所有的編解碼器都在一起攻克。其他的都是同時進(jìn)行的，更重要的是我今天要講的這個也是編解碼器的未來進(jìn)展。

我們同時是MPEG和ITU的成員，用我們所有的專業(yè)知識為它做貢獻(xiàn)。但是我們的時間不多，我們主要是在實現(xiàn)編解碼器。我們是AOM開放媒體聯(lián)盟和MC-IF.org的成員，目的是減少我們?yōu)镠EVC獲得的模式問題。今天有一個大的社區(qū)論壇在討論這個問題，同時我們也在VVC的標(biāo)準(zhǔn)化中活躍著。 與此同時，我們還有一個法國項目正在進(jìn)行中，我們正在與VideoLabs即VideoLAN公司合作。我們會有VVC的全面交付，我們計劃在今年的IBC上做一個演示。

在Ateme，我們主要實現(xiàn)的是綠色樹時間線里的編碼技術(shù)，從MPEG-2、H.264、H.265未來可能還有VVC。同時，有一個開源社區(qū)也是同步啟動的，今天最知名的編解碼器是VP9，而正在向開源編解碼器靠攏的是來自AOM聯(lián)盟，就是AV1。今天，他們正在討論的是AV1的第二個版本，也就是AV2。 與VVC相同級別的還有另外兩種編解碼器EVC和LCEVC。LCEVC來自于日內(nèi)瓦，而EVC則是由華為、高通、三星等一些公司的MPEG改編的。

MPEG格式化的思路是，與前者相比，要達(dá)到2倍的減少。每當(dāng)我們得到一個特定編解碼器的成功嘗試，每隔10年就會有一次。2016年谷歌的演講是說我們可以每隔18個月就能推出新的編解碼器，而AV1和AV2并不是這樣。它們的進(jìn)展很慢但就MPEG而言，我們在2013年就有了一個，現(xiàn)在我們在2020年得到下一個版本。 目前，我們從HEVC比VVC提高了37%。他們聲稱主觀上比HEVC有50%的改進(jìn)。我們在復(fù)雜度方面比HEVC有6-10倍的復(fù)雜度，所以這也是我們在ATEME中要做的工作，因為我們要做的是實時性編碼。

關(guān)于HEVC有一點，在HEVC標(biāo)準(zhǔn)化之后我們得到了很多專利池，這些專利池是在HEVC過程中出現(xiàn)的。之前只有一個單一的專利池主要是一些前標(biāo)準(zhǔn)公司擁有這個技術(shù)。后來到了MPEG LA出現(xiàn)了更多的HEVC專利池，這就給HEVC今天的部署增加了一些麻煩。

然后，我們再來看看HEVC的反應(yīng)也是對AV1的反應(yīng)。在MPEG組織他們希望編解碼器的定義是自己的，他們希望從MPEG那里得到而不是從其他協(xié)會或聯(lián)盟那里得到。我們從MPEG那里得到的反應(yīng)是創(chuàng)建了MPEG-5的第1部分叫EssentialVideo Coding（EVC）;有兩種版本文件一個是免版稅的源自AVC的改進(jìn)型，另一種是不免版稅的但隨著HEVC的改進(jìn)它針對版稅也更加友好。。 同時，我們有針對VVC的媒體編碼行業(yè)論壇（MC-IF），目的是為了管理VVC內(nèi)部的專利。大家可以看到VVC里面的專利會比HEVC多。同樣這將是一個噩夢，但是VVC也有一個特殊性，你可以把里面有專利的工具去掉，可能會把你的技術(shù)中不想用的工具去掉。

只是給大家介紹一些關(guān)于VVC的情況，他們在2015年就開始了一個探索階段。2017年的時候有一個聯(lián)合征集方案，他們做了一個實驗軟件基于HEVC的基礎(chǔ)上，他們做了一個實驗軟件比HEVC提高了34%性能提升。 后來他們認(rèn)為可以在3年的時間內(nèi)停止規(guī)范化進(jìn)程。他們聲稱可以比HEVC有50%的進(jìn)步。他們從一開始就想把目標(biāo)鎖定在HDR 和360°VR；標(biāo)準(zhǔn)化也將在2020年7月完成項目發(fā)布。

我們從這個幻燈片上看到了完整的過程。國際標(biāo)準(zhǔn)會在2020年7月發(fā)布，我們預(yù)計2021年或2022年有第一批硬件支持編解碼。

VVC內(nèi)部沒有革命，這是一個非常高級的圖表，我們對每個編解碼器都使用了它。它使用幀內(nèi)預(yù)測、幀間預(yù)測以及介于這兩者之間的反饋。我們今天所擁有的是，我們在它們的每一個中都得到了越來越復(fù)雜的錯誤。基本上和以前的編解碼器一樣沒有什么變革。

這里我們來看看HEVC和VVC的對比，左邊是VVC，右邊是HEVC。我們得到了更多的模式，更大的編碼單元可達(dá)128x128。其中有不規(guī)則的形狀，我們可以在下一張幻燈片上看到。另外，我們還有更多的DCT。

這是一張將AVC與HEVC和VVC進(jìn)行比較的圖片。我們可以看到你在VVC中有更大的塊，還有一些我們在HEVC和AVC上不能有的矩形形式來帶來改進(jìn)。

從AVC開始我們只有9種模式。在HEVC中我們得到了35種模式的預(yù)測塊，而在VVC中我們得到了67種模式！

今天在HEVC中，我們在以前的編解碼器中沒有的更多的東西是，我們有了一些六邊形、三角形的形式，不再是矩形或四邊形。這就是這個編解碼器中真正新的部分。

以上是VVC對比HEVC的性能結(jié)果。你可以看到編碼部分的復(fù)雜度高達(dá)8倍，我們記錄的復(fù)雜度，在MPEG的目標(biāo)是解碼器不爆炸。另外，大家還可以看到VVC比HEVC的圖表對比。

有趣的事情是我們在標(biāo)準(zhǔn)化過程開始時的復(fù)雜度。編碼器的復(fù)雜度達(dá)到了2，現(xiàn)在我們的復(fù)雜度達(dá)到了9，但是我們的復(fù)雜度也從10%提高到了37%。我們看到解碼器越來越停滯不前，我們正在為解碼器本身找到更接近HEVC的東西。

VVC和HEVC之間的一個很大的區(qū)別是我們對HEVC做了幾個修改，其實是對HEVC進(jìn)行了擴(kuò)展。因此，您有一些擴(kuò)展配置文件，Scalable HEVC(SHVC)和Screen Content Coding Extension(SCC)。 VVC的第一個版本從一開始就會有這一點，基本上，你不會一個接一個地得到。到2020年7月你應(yīng)該在一個編解碼器中提供所有這些功能，這將加快編解碼器的可用性。

現(xiàn)在我們還有另外3個編解碼器要出來，其中一個已經(jīng)完成了。

可以理解為那就是AV1。你可以看到一些大公司參與到這個標(biāo)準(zhǔn)化活動中來。我們的想法是要有一些互操作性和開放性的東西，是專門針對網(wǎng)絡(luò)邊界的OTT傳輸進(jìn)行優(yōu)化。 至少比VP9有20%的壓縮收益，這是他們可以比擬的。存儲沒有增加，它使用了一些基于經(jīng)典結(jié)構(gòu)的工具，也使用了一些新的工具。更有趣的是，他們在解碼器中使用了膠片顆粒合成，而HEVC則沒有，它又回來了，為VVC。而且是的，他們可以擴(kuò)展性和SCC。

HEVC和AV1比較，你有更大的編碼塊，這是他們比HEVC得到改進(jìn)的地方。他們得到了更多的預(yù)測，他們有其他的方式來做時態(tài)預(yù)測。

我們比較了HEVC和AV1，因為它們沒有使用我們在MPEG中使用的通用測試條件，所以很容易在MPEG編解碼器之間進(jìn)行比較，但是在Alliance和MPEG編解碼器之間進(jìn)行比較就變得越來越困難。 我們嘗試將一些工具限制在AV1中，一般來說AV1的碼率比HEVC更低。同時你可以看到曲線是交叉的，所以最終很難得到改善。我們看到HEVC有10%的改進(jìn)，但谷歌最近聲稱幾乎與VVC處于同一水平。 我們目前的實現(xiàn)比HEVC慢2到3倍，所以它并不比HM慢50倍。它現(xiàn)在更快了，但仍然不比HEVC快。

我要進(jìn)入下一個MPEG-5第1部分，然后我將完成MPEG-5第2部分。 對于VVC，他們稍后開始活動，但MPEG的總體目標(biāo)是與AV1和免版權(quán)費編解碼器抗衡。這個想法是為了獲得免版稅的產(chǎn)品，并且對于Baseline配置文件來說確實非?？臁Ｎ覀兛梢詾橹饕渲梦募芾硪恍┚哂辛己锰卦S權(quán)使用費的產(chǎn)品，并且得到了三星，華為和高通公司的支持。 可以預(yù)期的時間表是，我們將在與VVC相同的日期之前獲得國際標(biāo)準(zhǔn)的最終草案，基本上，一切都將在同一時間準(zhǔn)備就緒。

綠框是基準(zhǔn)配置文件，可能它們重用了MPEG-2組件以能夠執(zhí)行基準(zhǔn)配置文件。一些工具也是免版稅的，它們主要是對熵編碼進(jìn)行的。他們使用了HEVC的QT結(jié)構(gòu)使之免版稅。藍(lán)色框是主要配置文件之一，大多數(shù)工具都與VVC兼容。這是在某一個特定的時間點上對VVC的提煉。

對于baseline profile，我們比H.264提升了40％。這點確實接近HEVC可以實現(xiàn)的目標(biāo)。對于main profile我們的目標(biāo)是比HEVC提高30％。您可以看到EVC baseline的編碼器復(fù)雜度甚至比AVC還要快，而EVC則要慢4倍。

最新的是V-Nova的Perseus專有編解碼器。他們來到MPEG提出他們的解決方案，baseline是典型的MPEG標(biāo)準(zhǔn)。他們可以使用AVC、HEVC或MPEG-2。然后，他們在技術(shù)之上添加了自己的技術(shù)，以提高視頻質(zhì)量。它將同時嘗試完成，它將獲得V-Nova的更多許可，因為它們是它的唯一貢獻(xiàn)者。 最新的是V-Nova公司的Perseus專有編解碼器。他們來到MPEG提出了他們的解決方案，其baseline是典型的MPEG標(biāo)準(zhǔn)。他們可以使用AVC、HEVC或者M(jìn)PEG-2。然后他們會在基礎(chǔ)上加入他們的技術(shù)來提高視頻質(zhì)量。它將在同一時間初步完成，它將有更多的授權(quán)給V-Nova因為他們是唯一的貢獻(xiàn)者。

在底層，將運用到傳統(tǒng)的編解碼器。你可以添加一些其他層來改善這一點。LCEVC是上層，但基礎(chǔ)層是標(biāo)準(zhǔn)編解碼器。我們在此處看到的那樣它們正在降低圖像的分辨率，因此基礎(chǔ)層確實很小，并且它們在基于子層編解碼器的基礎(chǔ)上增加了分辨率以及質(zhì)量。

這就是組件所要求的，因此我們具有這些不重疊的漂亮曲線。與H.264相比，我們的技術(shù)之間有了很大的進(jìn)步。我們使用他們的參考軟件進(jìn)行了相同的分析，我們也在ATEME產(chǎn)品上做出了貢獻(xiàn)，說LCEVC與傳統(tǒng)編解碼器之間存在誤解。 目前，我們團(tuán)隊正在努力改善常見的測試條件，以確保我們可以復(fù)制并實現(xiàn)每一處。我們在這方面做出了貢獻(xiàn)，只是為了澄清他們的目標(biāo)，以便能夠復(fù)制他們聲稱擁有的決議。

在這里，我們幾乎同時使用了3個編解碼器。明年將發(fā)布。我們也許應(yīng)該從所有這些硬件中獲取一些硬件，至少我們知道三星將推動EVC。我們一定會努力推動VVC。 在2020年大家應(yīng)該擁有第一個硬件，也是我們在2020年1月發(fā)布的第一個AV2代碼庫。我們期望在2026年（也許更早）發(fā)布一些AV2。

只是一個簡短的摘要，我不會花太多時間在此上。我們將在幻燈片的末尾顯示所有編解碼器之間的差異。

作為演示文稿的摘要，我們有3個主要的編解碼器同時相互對抗-VVC，EVC和AV1。我也沒有提到對于AV1，我與Jean-Baptiste（VideoLAN）達(dá)成共識，我們在VideoLAN中獲得了第一個軟件實現(xiàn)，但與此同時，它們是今年將要推出的第一個硬件。 這樣我們就能在IBC上演示哪種HD，HDR。大多數(shù)電視廠商將在2020年1月的CES上宣布他們將在其電視上支持AV1。我們還應(yīng)該擁有到2020年支持AV1的電視。在2020年，我們將擁有兩個編解碼器，它們的硬件在2020年也可能會上市。 迄今為止，最好的仍然是VVC。EVC至少在專利問題上具有良好的權(quán)衡。我們?yōu)镋VC基準(zhǔn)提供了低端編解碼器。這可能是AVC的成功，但AVC會在某個時候免費提供，是的，我們即將免費提供AV3。 有什么用嗎？這就是問題所在。相反，我們的LCEVC似乎有不錯的結(jié)果，但目前無法復(fù)制。我們希望對此特定編解碼器進(jìn)行澄清。在我們這方面，由于對VVC的需求更高，因此我們現(xiàn)在很可能會與VVC合作。 但是，如果需要，我們已經(jīng)準(zhǔn)備好過渡到EVC，并且我們已經(jīng)有了AV1編解碼器。