CloudImagine

大家好，我是阿里云視頻云的陳高星，今天和大家分享的主題是“多”維演進(jìn)：智能化編碼架構(gòu)的研究與實(shí)踐。 本次分享分為四部分：首先是視頻編碼與增強(qiáng)方向的業(yè)界趨勢(shì)，其次是對(duì)在該背景下衍生的阿里云視頻云智能編碼架構(gòu)進(jìn)行介紹，以及其中關(guān)于“多”維演進(jìn)的技術(shù)細(xì)節(jié)，最后是我們對(duì)于智能編碼的一些思考和探索。

01

視頻編碼與增強(qiáng)方向的業(yè)界趨勢(shì)

首先介紹視頻編碼與增強(qiáng)方向的業(yè)界趨勢(shì)。視頻技術(shù)發(fā)展的趨勢(shì)始終在追求更高清、更實(shí)時(shí)、更互動(dòng)、更低成本以及更智能。 過(guò)去幾年直至2022年，雖然從“高清化”的角度圍繞AR/VR、沉浸式8K這些概念的話題熱度有所降低，但隨著2023年上半年蘋(píng)果VisionPro的推出，VR的熱度再次升高。除概念化炒作外，視頻“高清化”也是實(shí)實(shí)在在的趨勢(shì)。舉個(gè)例子，相較于2018年世界杯直播，可以發(fā)現(xiàn)新一屆2022年直播視頻的碼率和分辨率明顯提升，預(yù)計(jì)下一屆還會(huì)進(jìn)一步提升。 圍繞更“高清化”的趨勢(shì)，我們能看到近年各大企業(yè)都在陸續(xù)推出自研的下一代編碼器，包括266、AV1，甚至是私有標(biāo)準(zhǔn)的編碼器。同時(shí)，我們也在智能編碼和增強(qiáng)上看到不少的需求。為了降低“高清化”帶來(lái)的成本壓力，視頻編碼的軟硬異構(gòu)方案成為熱點(diǎn)，包括阿里云的倚天710 ARM異構(gòu)和多個(gè)友商在ASIC硬件轉(zhuǎn)碼方案上的布局。 從“低時(shí)延”的角度，隨著5G基礎(chǔ)設(shè)施的普及，毫秒級(jí)的延遲技術(shù)逐步趨于成熟，并在多個(gè)場(chǎng)景得到了應(yīng)用和落地。阿里云視頻云支持的2022年6月央視云考古節(jié)目《三星堆奇幻之旅》以及2023年春晚推出的央博“新春云廟會(huì)”都用到了相關(guān)的超低延時(shí)云渲染技術(shù)。在2022年世界杯期間，超低時(shí)延的直播RTS也在逐步上量。當(dāng)然，以大趨勢(shì)來(lái)看，目前“超低延時(shí)”直播僅在個(gè)別領(lǐng)域和場(chǎng)景是剛需，真正的爆發(fā)還需依賴更多的實(shí)際應(yīng)用場(chǎng)景。 在更“智能化”方面，我們觀察到在編碼內(nèi)核的基礎(chǔ)上，工業(yè)界持續(xù)聚焦利用AI能力提升視頻編碼壓縮率，包括運(yùn)用視頻編碼和處理的結(jié)合，視頻編碼與質(zhì)量評(píng)價(jià)結(jié)合，視頻編碼與AI生成結(jié)合，以及端云聯(lián)合優(yōu)化來(lái)持續(xù)提升視頻編碼主客觀壓縮率。在近年來(lái)大家關(guān)注的“視頻增強(qiáng)”和“內(nèi)容自適應(yīng)編碼”等領(lǐng)域，也能看到基于GAN的細(xì)節(jié)修復(fù)生成技術(shù)不斷落地。 隨著2023年ChatGPT和大語(yǔ)言模型的爆發(fā)，AIGC成為目前的技術(shù)熱點(diǎn)。MidJourney等一眾繪圖軟件的風(fēng)靡，以及Stable Diffusion等開(kāi)源模型的快速發(fā)展讓我們看到了AIGC在圖片領(lǐng)域的巨大實(shí)力，同時(shí)文生視頻技術(shù)也在逐步興起。

那么，伴隨著更高清、更實(shí)時(shí)、更高效、更智能的編碼需求，我們也面臨許多技術(shù)與當(dāng)前需求的矛盾。 隨著AR/VR時(shí)代的到來(lái)，視頻的分辨率、幀率以及色域都會(huì)不斷的擴(kuò)大，單一視頻的信息量將會(huì)成倍的增加。低時(shí)延意味著對(duì)編碼速度的更高要求，而CPU芯片處理能力不再遵循摩爾定律快速增長(zhǎng)，清晰度、帶寬、計(jì)算成本和編碼速度的矛盾會(huì)越來(lái)越嚴(yán)重，主要體現(xiàn)為以下四點(diǎn)： 第一，編碼標(biāo)準(zhǔn)升級(jí)速度遠(yuǎn)慢于視頻信息量膨脹的速度。編碼標(biāo)準(zhǔn)歷經(jīng)過(guò)去十年的發(fā)展僅帶來(lái)了50%壓縮率的提升，這遠(yuǎn)遠(yuǎn)落后于視頻化和體驗(yàn)升級(jí)帶來(lái)的流量增長(zhǎng)。 第二，新編碼標(biāo)準(zhǔn)壓縮率的提升速度遠(yuǎn)低于視頻幀率、分辨率提升的速度。從720P 30fps到8k 60fps，視頻信息量將增加72倍，這與編碼標(biāo)準(zhǔn)的發(fā)展速度出現(xiàn)了較大矛盾。 第三，新編碼標(biāo)準(zhǔn)復(fù)雜度的增加遠(yuǎn)高于CPU性能增長(zhǎng)。從264到266，每一代編碼標(biāo)準(zhǔn)相較上代大多增加10倍以上的復(fù)雜度，遠(yuǎn)高于CPU處理能力的增加。 第四，單一編碼標(biāo)準(zhǔn)難以覆蓋多種應(yīng)用需求。隨著視頻在更多應(yīng)用場(chǎng)景的擴(kuò)展深化，如VR場(chǎng)景所需的沉浸式編碼標(biāo)準(zhǔn)，以及面向機(jī)器視覺(jué)任務(wù)的VCM視頻編碼標(biāo)準(zhǔn)，更需要對(duì)編碼標(biāo)準(zhǔn)進(jìn)行特定場(chǎng)景下的優(yōu)化。

在以上看似難以調(diào)和的矛盾背景下，如果想實(shí)現(xiàn)“魚(yú)與熊掌兼得”，以下五個(gè)問(wèn)題值得討論。 首先，除了碼率和質(zhì)量，視頻編碼還可以關(guān)注哪些指標(biāo)？例如不同內(nèi)容的質(zhì)量穩(wěn)定性，保證序列級(jí)或者是序列片段，甚至是序列到Gop之間的質(zhì)量穩(wěn)定性，從客觀到主觀上，以及從資源消耗的角度去考慮編碼復(fù)雜度的穩(wěn)定性。 第二，如何用好現(xiàn)有的編碼標(biāo)準(zhǔn)？現(xiàn)有的各種標(biāo)準(zhǔn)，例如前述的VR沉浸式標(biāo)準(zhǔn)、 VCM等，雖然具有開(kāi)源代碼，但從多年來(lái)MSU比賽的結(jié)果可以看到，它們還存在很大優(yōu)化空間。因此，研發(fā)多標(biāo)準(zhǔn)的編碼器也是業(yè)界一直關(guān)注和研究的方向。 第三，視頻編碼標(biāo)準(zhǔn)本身覆蓋不到的維度有哪些？其實(shí)從每一代的標(biāo)準(zhǔn)來(lái)看，視頻編碼追求的目標(biāo)都是盡可能與“源”一致，所以多數(shù)情況下純編碼器優(yōu)化使用有源的客觀指標(biāo)作為參考標(biāo)準(zhǔn)，但這種方式對(duì)低畫(huà)質(zhì)場(chǎng)景并不適用。 鑒于編碼后的視頻還是為人眼觀看服務(wù)的，雖然人眼主觀評(píng)價(jià)較為耗時(shí)費(fèi)力，但實(shí)際上它是能夠給客戶帶來(lái)價(jià)值的方向。因此，將人眼評(píng)價(jià)引入視頻智能增強(qiáng)來(lái)提升畫(huà)質(zhì)，也是我們的主要研究方向之一。 第四，在編碼標(biāo)準(zhǔn)上，現(xiàn)有標(biāo)準(zhǔn)對(duì)視覺(jué)冗余的挖掘和場(chǎng)景自適應(yīng)能力還有不足?，F(xiàn)有標(biāo)準(zhǔn)其實(shí)只定義了大概的工具集以及解碼器，但是如果能夠引入多級(jí)的自適應(yīng)編碼，進(jìn)一步挖掘各個(gè)模塊之間的“耦合”能力，實(shí)際上可以進(jìn)一步提升編碼器的質(zhì)量上限。 第五，如何打破資源堆疊，置換視頻壓縮效率提升的技術(shù)思維慣性。從復(fù)雜度的角度，其實(shí)我們不用單純從硬件角度考慮，例如：僅通過(guò)硬件資源的堆疊的實(shí)現(xiàn)編碼普惠的效果。我們可以通過(guò)多平臺(tái)的支持，比如與底層架構(gòu)的深度耦合或者將部分模塊硬化的方式，兼顧軟件的“靈活性”和硬件的“高效性”，達(dá)到算法普惠化。 因此阿里云視頻云針對(duì)以上五個(gè)問(wèn)題的解法就是右側(cè)的五大“多”維。

02

智能編碼架構(gòu)介紹

如圖所示，我們的智能編碼架構(gòu)主要體現(xiàn)在五個(gè)維度。 傳統(tǒng)編碼架構(gòu)的編碼流程是從視頻源開(kāi)始，通過(guò)可選的視頻處理模塊進(jìn)入編碼的碼控和內(nèi)核部分，然后輸出碼流。 智能編碼架構(gòu)最顯著的特點(diǎn)是“多級(jí)自適應(yīng)編碼能力”。它會(huì)對(duì)視頻源進(jìn)行分析，基于源評(píng)估編碼流程中的處理、碼控、內(nèi)核等環(huán)節(jié)對(duì)于最終輸出的影響，自適應(yīng)決策模塊內(nèi)部的參數(shù)和工具組合。 同時(shí)，為了實(shí)現(xiàn)多級(jí)自適應(yīng)編碼，我們?cè)谝曨l處理、碼控和內(nèi)核上提供了多方位的編碼工具和能力。最后，這個(gè)編碼架構(gòu)需要能夠自適應(yīng)的模塊化，使其能夠自適應(yīng)地從軟編到不同硬編平臺(tái)。

五個(gè)維度具體的原子能力如上圖所示。多級(jí)自適應(yīng)編碼除業(yè)務(wù)場(chǎng)景和視頻熱度等分類外，還包括基于場(chǎng)景內(nèi)容和片源質(zhì)量的語(yǔ)義級(jí)自適應(yīng)；而內(nèi)容自適應(yīng)則包含：基于不同編碼目標(biāo)的前處理Pre-coding、以及基于人眼的JND、ROI等；工具自適應(yīng)則是聯(lián)合各個(gè)編碼模塊，包括碼控和內(nèi)核模塊。 在視頻處理方面，“多”維智能視頻增強(qiáng)包括畫(huà)質(zhì)增強(qiáng)、視頻降噪、細(xì)節(jié)修復(fù)生成、去壓縮失真以及時(shí)域和空域的SR和FRC技術(shù)。 在編碼碼控上，多目標(biāo)編碼能力兼容在除碼率、質(zhì)量外，還包括針對(duì)目標(biāo)編碼復(fù)雜度、質(zhì)量波動(dòng)，以及一些CV任務(wù)的多目標(biāo)編碼兼容。 在內(nèi)核上，我們有自研的多標(biāo)準(zhǔn)編碼器，覆蓋264、265、266、AVS3、AV1以及VCM編碼器。 在多平臺(tái)支持方面，我們的架構(gòu)能夠支持從軟編的X86、ARM架構(gòu)到部分使用硬編的聯(lián)合優(yōu)化平臺(tái)。

03

智能編碼架構(gòu)的“多”維演進(jìn)

接下來(lái)，將對(duì)智能編碼架構(gòu)的“多”維演進(jìn)進(jìn)行詳細(xì)介紹。首先是多級(jí)自適應(yīng)編碼，它的關(guān)鍵是基于片源質(zhì)量的內(nèi)容自適應(yīng)，因?yàn)槠促|(zhì)量是視頻處理和編碼非常重要的決策特征。 我們基于大量客戶場(chǎng)景數(shù)據(jù)，對(duì)片源進(jìn)行多個(gè)維度的分類，除了片源的語(yǔ)義級(jí)質(zhì)量之外，還有如上圖所示的對(duì)時(shí)空域復(fù)雜度的評(píng)價(jià)，考慮編碼影響進(jìn)行R/D斜率分析，以及針對(duì)序列級(jí)中的不同序列進(jìn)行智能的碼率分配。 質(zhì)量分析模塊至關(guān)重要，在視頻質(zhì)量方面，充分了解視頻是否有噪聲、壓縮或者傳輸帶來(lái)的質(zhì)量損失對(duì)后續(xù)的處理和增強(qiáng)將起到關(guān)鍵指導(dǎo)作用。特別是在需要使用一些低成本的增強(qiáng)和編碼方案時(shí)，我們很難用一個(gè)模塊去自適應(yīng)處理所有的質(zhì)量退化。因此，加入質(zhì)量分析模塊可以幫助我們更好的獲取編碼的質(zhì)量上限。對(duì)于質(zhì)量好的源，能有少量或者適中的增強(qiáng)效果。對(duì)于質(zhì)量差的源，可以提升更多的質(zhì)量。 另外，視頻源的質(zhì)量也會(huì)影響編碼的決策。如果視頻源的某一片段比較復(fù)雜，那在低碼率的情況下很可能會(huì)出現(xiàn)大量的“塊效應(yīng)”，因此在該場(chǎng)景下我們會(huì)傾向于分配更多的碼率。

內(nèi)容自適應(yīng)的另一部分是基于人眼的JND和saliency map。JND對(duì)工業(yè)界來(lái)說(shuō)是一個(gè)非常重要的方向。傳統(tǒng)的視頻編碼是基于信息論的，它從預(yù)測(cè)結(jié)構(gòu)的角度減小時(shí)域冗余、空間冗余、統(tǒng)計(jì)冗余等的冗余，從而實(shí)現(xiàn)對(duì)視頻的壓縮，但對(duì)視覺(jué)冗余的挖掘還遠(yuǎn)遠(yuǎn)不夠。 JND的基本原理如上圖所示，傳統(tǒng)視頻編碼使用的RDO曲線是連續(xù)的凸曲線，但人眼實(shí)際感知到的是非連續(xù)的階梯狀線。如果利用階梯狀曲線替換凸曲線，在相同失真的情況下可以使用更少的碼率。 傳統(tǒng)的JND方案分為“自頂向下”和“自底向上”兩種方式。我們更多選擇“自底向上”方式，對(duì)視覺(jué)皮層的視覺(jué)特征來(lái)進(jìn)行表征，如顏色、亮度、對(duì)比度、運(yùn)動(dòng)等方式。從空域上考慮亮度掩蔽、對(duì)比度掩蔽，從時(shí)域上考慮基于運(yùn)動(dòng)的掩蔽。 我們會(huì)引入深度學(xué)習(xí)方法預(yù)測(cè)JND模塊對(duì)人眼主觀的影響，然后結(jié)合編碼內(nèi)部的碼控模塊計(jì)算當(dāng)前每一塊可以進(jìn)一步擴(kuò)大量化步長(zhǎng)的空間。目前，我們的JND模塊在通用場(chǎng)景，同等主觀下，能節(jié)省30%以上碼率，在一些垂直場(chǎng)景下甚至可以節(jié)省50%以上。

除了JND, 挖掘人眼視覺(jué)冗余的另一個(gè)重要技術(shù)就是saliency map。我們?cè)趕aliency map上布局了兩個(gè)方向：一是低成本的基于人臉的ROI，為了能用在更普惠的直播以及超低時(shí)延場(chǎng)景，我們針對(duì)人臉開(kāi)發(fā)了該工具。它結(jié)合檢測(cè)與跟蹤算法，對(duì)于檢測(cè)到的人臉區(qū)域綜合JND以及周圍的像素塊進(jìn)行調(diào)整，保證在提高主觀畫(huà)質(zhì)的同時(shí)降低ROI區(qū)域和非ROI區(qū)域的邊界感。 二是saliency map技術(shù)，如上圖展示的一些體育場(chǎng)景以及UGC場(chǎng)景。我們利用眼動(dòng)儀采集時(shí)域注意力等信息，通過(guò)采集兩千多個(gè)視頻，收集10億以上的注視點(diǎn)，構(gòu)建了一套人眼注意力模型。 上圖中突出顯示的區(qū)域代表了人眼主要關(guān)注的區(qū)域，它會(huì)隨著時(shí)間的變化發(fā)生一些變動(dòng)。該模型與編碼器相結(jié)合，針對(duì)不同的區(qū)域進(jìn)行碼率分配。在連續(xù)觀看下，能夠提升主觀畫(huà)質(zhì)。

接下來(lái)介紹被應(yīng)用于編碼器內(nèi)部的工具自適應(yīng)技術(shù)。我們認(rèn)為傳統(tǒng)的率失真理論是基于客觀的，在多數(shù)低碼率的情況下會(huì)放大塊效應(yīng)。如低碼率下選擇skip或DC模式很容易出現(xiàn)塊效應(yīng)。 雖然編碼標(biāo)準(zhǔn)中存在諸如deblocking filter等工具，但是它的強(qiáng)度不足以彌補(bǔ)實(shí)際產(chǎn)生的塊效應(yīng)。從主觀上看，如果針對(duì)平坦區(qū)域增加一點(diǎn)噪聲和模糊，帶來(lái)的主觀感受反而更好。 我們采用兩種方式進(jìn)行了主觀優(yōu)化，一種是單向的，基于源內(nèi)容以及編碼后信息預(yù)測(cè)，該區(qū)域后續(xù)是否容易出現(xiàn)塊效應(yīng)，并對(duì)后續(xù)區(qū)域進(jìn)行針對(duì)性碼率保護(hù)，同時(shí)也會(huì)區(qū)分塊效應(yīng)是片源自帶還是編碼導(dǎo)致的。第二種是針對(duì)點(diǎn)播場(chǎng)景的2pass編碼，可以依據(jù)first pass的實(shí)際編碼結(jié)果進(jìn)行二次處理。

上圖展示了主觀對(duì)比結(jié)果，并排對(duì)比圖中右側(cè)為開(kāi)啟工具后效果，可以看到塊效應(yīng)在人臉區(qū)域明顯減少，這一幀的碼率大概增加了5%。由于從編碼器碼控角度，保證序列整體碼率不變的提升上限有限，可以看到圖中人體的手臂位置還較為模糊。

對(duì)于多維度視頻增強(qiáng)部分我們將主要介紹自研的窄帶高清品牌。阿里云早在2015年便已經(jīng)提出了“窄帶高清”概念，在2016年正式推出窄帶高清技術(shù)品牌并進(jìn)行產(chǎn)品化。目前通過(guò)多輪篩選和討論，沉淀為窄帶高清1.0和窄帶高清2.0兩個(gè)方向。

窄帶高清1.0是均衡版，主要作用是使用最少的成本實(shí)現(xiàn)自適應(yīng)內(nèi)容處理和編碼，在節(jié)省碼率的同時(shí)實(shí)現(xiàn)畫(huà)質(zhì)的提升。它會(huì)充分利用編碼器內(nèi)的信息幫助視頻處理，即用成本很小的前處理方法實(shí)現(xiàn)低成本的內(nèi)容自適應(yīng)。 窄道高清1.0在視頻處理上分為兩個(gè)細(xì)分檔位，一種是計(jì)算復(fù)雜度相對(duì)較低的無(wú)差別銳化增強(qiáng)。另一種，會(huì)基于片源質(zhì)量進(jìn)行de-artifacts和deblur自適應(yīng)銳化增強(qiáng)。對(duì)質(zhì)量較差的片源，相應(yīng)的deartifacts權(quán)重較大。 窄帶高清2.0經(jīng)過(guò)多次技術(shù)選型，最終定義為空間維度細(xì)節(jié)修復(fù)，解決視頻生產(chǎn)鏈路造成的畫(huà)質(zhì)損失，即多次編碼壓縮導(dǎo)致的畫(huà)質(zhì)損失。在編碼上也會(huì)增加更多自適應(yīng)能力，包括JND、ROI、SDR+等等。

上圖展示了窄帶高清2.0的增強(qiáng)效果。常規(guī)CNN模型對(duì)編碼壓縮造成的塊效應(yīng)、邊緣鋸齒、毛刺等artifacts有比較好的平滑作用，可以使整個(gè)畫(huà)面看起來(lái)更加干凈，但會(huì)造成一種磨皮效果。窄帶高清2.0選擇基于GAN的細(xì)節(jié)增強(qiáng)，以提升畫(huà)面質(zhì)感，如眼角、嘴唇等等。

窄帶高清2.0細(xì)節(jié)修復(fù)生成核心技術(shù)模塊包括以下7個(gè)方面：

一是訓(xùn)練樣本多樣性：建立類型豐富的高畫(huà)質(zhì)視頻庫(kù)作為模型訓(xùn)練樣本，訓(xùn)練樣本包含多樣的紋理特征，對(duì)GAN生成紋理的真實(shí)感有很大的幫助；

二是通過(guò)精細(xì)化建模不斷優(yōu)化訓(xùn)練數(shù)據(jù)，基于對(duì)業(yè)務(wù)場(chǎng)景面臨的畫(huà)質(zhì)問(wèn)題進(jìn)行深入分析，貼合場(chǎng)景不斷優(yōu)化訓(xùn)練樣本，以達(dá)到精細(xì)化建模效果；

三是探索更有效的模型訓(xùn)練策略，包括訓(xùn)練損失函數(shù)配置調(diào)優(yōu)，例如perceptual loss使用不同layer的feature會(huì)影響生成紋理的顆粒度，不同loss的權(quán)重配比也會(huì)影響紋理生成的效果。我們?cè)谀Ｐ陀?xùn)練過(guò)程使用了一種名為NoGAN/漸進(jìn)式訓(xùn)練策略。一方面可以提升模型的處理效果，另一方面對(duì)模型生成效果的穩(wěn)定性也有幫助。

四是為了提高模型對(duì)片源質(zhì)量的自適應(yīng)能力，我們?cè)谟?xùn)練輸入樣本質(zhì)量的多樣性和訓(xùn)練流程方面做了很多工作。最終對(duì)中低質(zhì)量的源有明顯的增強(qiáng)效果，對(duì)高質(zhì)量源有中等增強(qiáng)效果。

五是根據(jù)學(xué)術(shù)界的經(jīng)驗(yàn)，處理目標(biāo)先驗(yàn)信息越明確，GAN的生成能力越強(qiáng)。因此為了提升GAN對(duì)不同場(chǎng)景的處理效果，我們采用了一種1+N的處理模式，即一個(gè)具備溫和生成能力的通用場(chǎng)景模型+N個(gè)具備激進(jìn)生成能力的垂直細(xì)分場(chǎng)景模型，如足球的草地細(xì)節(jié)、動(dòng)畫(huà)場(chǎng)景的邊緣線條、綜藝場(chǎng)景的人像。

六是高效可控的模型推理，經(jīng)過(guò)模型蒸餾/輕量化，同時(shí)基于阿里云神龍HRT GPU推理框架，GAN細(xì)節(jié)生成模型在單卡V100上，處理效率可達(dá)1080P 60fps。

七是為了保證GAN模型生成效果的幀間一致性，避免幀間不連續(xù)帶來(lái)的視覺(jué)閃爍和編碼負(fù)擔(dān)，阿里云視頻云通過(guò)與高校合作，提出一種即插即用的幀間一致性增強(qiáng)模型。

接下來(lái)介紹幾個(gè)具體的客戶案例。第一個(gè)是2022年江蘇移動(dòng)的世界杯轉(zhuǎn)碼。針對(duì)該場(chǎng)景主要用到了前述的細(xì)節(jié)修復(fù)生成能力。對(duì)比圖左側(cè)為經(jīng)過(guò)修復(fù)生成并編碼后的效果，右側(cè)為片源。放大后可以看到，人體毛發(fā)細(xì)節(jié)和文字邊緣銳度都獲得了明顯提升。

同樣，在BesTV的NBA直播轉(zhuǎn)碼上也能達(dá)到類似效果。對(duì)比窄高編碼后畫(huà)面和片源可以看到，文字區(qū)域、球衣細(xì)節(jié)和地板紋理更加豐富。

除了體育場(chǎng)景外，我們還支持了《理想之途》演唱會(huì)場(chǎng)景，它的特點(diǎn)是片源質(zhì)量較差（現(xiàn)場(chǎng)是暗場(chǎng)，伴隨著燈光、煙霧和場(chǎng)景的頻繁切換），可以看到畫(huà)面有明顯的塊效應(yīng)。針對(duì)該場(chǎng)景，除了窄帶高清2.0外，我們同時(shí)使用了人像定制模板和基于語(yǔ)義的分割引導(dǎo)技術(shù)對(duì)圖像進(jìn)行還原。

上圖展示了轉(zhuǎn)碼圖與原圖的效果對(duì)比，可以看到人物背后煙霧的塊效應(yīng)得到改善，人臉、毛發(fā)等細(xì)節(jié)也得到提升。右圖是觀眾反饋，對(duì)直播畫(huà)面的清晰度評(píng)價(jià)很高。

除了前述的體育直播和演唱會(huì)場(chǎng)景外，我們對(duì)一些沉浸式場(chǎng)景也進(jìn)行了優(yōu)化，例如對(duì)VR場(chǎng)景窄高采用基于VR視角和經(jīng)緯度的JND和saliency map技術(shù)。 為了進(jìn)一步優(yōu)化沉浸式體驗(yàn)，我們還提供了能夠呈現(xiàn)聲源空間方位的空間音頻技術(shù)，使用戶能夠在聽(tīng)的過(guò)程中感受到聲源的變換，使實(shí)時(shí)互動(dòng)從“在線”變成 “在場(chǎng)”。

接下來(lái)介紹多目標(biāo)編碼能力兼容。除了常規(guī)關(guān)注的碼率和質(zhì)量外，我們還考慮了目標(biāo)復(fù)雜度和目標(biāo)質(zhì)量編碼。

首先是目標(biāo)復(fù)雜度編碼。傳統(tǒng)編碼器編碼速度、機(jī)器資源消耗隨視頻內(nèi)容改變而改變，導(dǎo)致多數(shù)情況下編碼水位相對(duì)不可控。因此在實(shí)際使用中我們對(duì)編碼器也會(huì)有復(fù)雜度限制的使用需求。 復(fù)雜度分配具體從序列級(jí)到GOP級(jí)到幀級(jí)到塊級(jí)進(jìn)行反饋，反饋的內(nèi)容包括編碼質(zhì)量、速度以及前述的一些自行分析內(nèi)容。這使得簡(jiǎn)單場(chǎng)景下可以利用更多計(jì)算資源換取主客觀質(zhì)量提升。復(fù)雜場(chǎng)景下類似于碼控VBV的概念，可以在避免降低主客觀質(zhì)量的同時(shí)限制編碼復(fù)雜度。 其次是目標(biāo)質(zhì)量編碼，在此以VMAF為例。傳統(tǒng)ABR/CRF碼控?zé)o法在同一碼控參數(shù)設(shè)置下，保障不同序列VMAF分恒定。同時(shí)，也無(wú)法快速通過(guò)目標(biāo)VMAF分獲得應(yīng)設(shè)置的目標(biāo)碼率或CRF參數(shù)。 雖然CRF是質(zhì)量較為穩(wěn)定的碼控方式，但具體到某一個(gè)特定指標(biāo)，不同序列的分?jǐn)?shù)波動(dòng)仍然較大?；谝陨媳尘埃覀冮_(kāi)發(fā)了目標(biāo)質(zhì)量編碼工具，右下圖是工具開(kāi)啟前后的對(duì)比圖，可以看到代表開(kāi)啟工具后的橙色線，不同序列間的質(zhì)量分方差明顯變小。

接下來(lái)介紹架構(gòu)中的多標(biāo)準(zhǔn)自研編碼內(nèi)核。首先是我們自研的三大編碼器：S264、S265和Ali266，每種都基于客觀、主觀及場(chǎng)景約束研發(fā)了100+的算法，覆蓋直播，點(diǎn)播，RTC場(chǎng)景，以及云端，終端，自然場(chǎng)景，SCC場(chǎng)景。

性能上，S264、S265相對(duì)開(kāi)源編碼器，在全場(chǎng)景下可提升20%～60%壓縮率，特別是針對(duì)超高清，低延時(shí)場(chǎng)景進(jìn)行了更深度優(yōu)化。優(yōu)化方式包括預(yù)處理（MCTF、Scene Detection、SCC Detection、GOP size自適應(yīng)）、快速算法（塊劃分、模式?jīng)Q策、運(yùn)動(dòng)估計(jì)、SAO/ALF）、碼率控制（CUTree、AQ、lambda優(yōu)化、CTU級(jí)碼控）和工程優(yōu)化（多線程并行、代碼重構(gòu)、訪存優(yōu)化、SIMD優(yōu)化）。 S264、S265于2022年參加了世界編碼器Cloud比賽，共獲得19項(xiàng)第一，相較于大賽指定的基準(zhǔn)編碼器AWS可節(jié)省63%的碼率，從轉(zhuǎn)碼效率的角度，相較友商也擁有2～6倍的優(yōu)勢(shì)。

Ali266于2021年首次參加世界編碼器codec大賽，在客觀比賽獲得8項(xiàng)第一，相比于參考編碼器x265，在相同PSNR客觀質(zhì)量下可節(jié)省51%的碼率，同時(shí)它在主觀比賽中評(píng)分第一。 在Ali266的落地方面，阿里云視頻云與達(dá)摩院緊密合作，推動(dòng)Ali266在媒體處理、直播轉(zhuǎn)碼等產(chǎn)品的商用落地。2022年1月，Ali266在優(yōu)酷正式上線，在成本和用戶體驗(yàn)上獲得顯著受益。

為了完善和推動(dòng)Ali266的生態(tài)化，我們也優(yōu)化了Ali266的解碼器，方案包括多線程加速、匯編優(yōu)化、內(nèi)存&緩存優(yōu)化。優(yōu)化后解碼性能相較于開(kāi)源解碼器達(dá)到了40%～105%的提升，內(nèi)存占用下降30%以上，支持超過(guò)九成移動(dòng)端設(shè)備的高清實(shí)時(shí)解碼。

接下來(lái)介紹關(guān)于多平臺(tái)的支持。

首先，是阿里云視頻云與平頭哥解決方案團(tuán)隊(duì)合作的，基于倚天ARM服務(wù)器的優(yōu)化。我們?cè)谝刑?10上，主要針對(duì)S264、S265進(jìn)行了架構(gòu)的深度優(yōu)化，主要包括三個(gè)方向，一是計(jì)算函數(shù)的匯編優(yōu)化，使得總體性能提升40%；二是計(jì)算函數(shù)并行優(yōu)化，也實(shí)現(xiàn)了約40%的性能提升；三是偏控制函數(shù)優(yōu)化，將算法設(shè)計(jì)與優(yōu)化相結(jié)合，再提升了20%的性能。最終結(jié)果是，S264和S265倚天相對(duì)于C7性能提升了30%以上，并已在視頻云點(diǎn)播場(chǎng)景大規(guī)模商用。

如圖所示，展示了云渲染場(chǎng)景的一個(gè)案例：央博新春云廟會(huì)。它要求低時(shí)延并自帶Nvidia inc編碼器。我們通過(guò)接管該編碼器的碼控模塊，融合自研的JND和基于空域特征碼率分配的AQ算法，加上前處理增強(qiáng)技術(shù)，最終實(shí)現(xiàn)了窄高落地在云渲染場(chǎng)景的落地。并列圖中右側(cè)為窄高優(yōu)化后的效果，可以看到實(shí)現(xiàn)了豐富的細(xì)節(jié)提升效果。

04

智能編碼的思考和探索

最后，分享一些在智能編碼上的實(shí)踐和思考。首先，是我們?cè)诿鎸?duì)主客觀優(yōu)化的矛盾時(shí)，如何去定義“好”？現(xiàn)在的編碼方向已經(jīng)愈發(fā)從“客觀”向“主觀”靠攏。無(wú)論是以“人”為中心還是從最終的用戶體驗(yàn)出發(fā)，視頻都應(yīng)該關(guān)注主觀體驗(yàn)的。 在研發(fā)過(guò)程中，如果單純考慮編碼器優(yōu)化，我們通常依賴如PSNR、SSIM、VMAF-NEG這樣的有源客觀指標(biāo)。但當(dāng)優(yōu)化目標(biāo)類似于窄高，是出于提升主觀質(zhì)量，那么客觀指標(biāo)分?jǐn)?shù)的提升就不一定能反映到主觀質(zhì)量上。 更進(jìn)一步來(lái)說(shuō)，使用單一客觀指標(biāo)衡量視頻質(zhì)量也存在問(wèn)題，從編碼標(biāo)準(zhǔn)方面看，使用標(biāo)準(zhǔn)自帶的SAO和DB工具，對(duì)PSNR和SSIM影響不大，但會(huì)導(dǎo)致VMAF分?jǐn)?shù)降低；從開(kāi)源軟件方面看，X265編碼器的PSY工具能夠在主觀上增加一些高頻細(xì)節(jié)，但對(duì)客觀指標(biāo)也有不良影響；我們自研的基于編碼反饋的主觀優(yōu)化反映的客觀指標(biāo)同樣不佳；前面提到的JND也是一樣，明顯在客觀指標(biāo)上反饋不好； 在前處理增強(qiáng)上，可以明顯看到SRGAN中清晰而錯(cuò)誤的紋理相較于模糊的細(xì)節(jié)主觀表現(xiàn)更優(yōu)，但PSNR和SSIM更差。 這是我們當(dāng)下在編碼優(yōu)化中的一個(gè)困境。

另一方面，是我們?cè)贏I for coding方面的一些相關(guān)實(shí)踐，我們始終關(guān)注AI Codec在視頻編碼方向的發(fā)展。目前可以看到，它確實(shí)能夠持續(xù)提升視頻客觀質(zhì)量，在前處理以及編碼方向能利用GAN以及Diffusion Model等生成技術(shù)提升主觀質(zhì)量。這也是我們正在研究的重要方向。

關(guān)于沉浸式編碼標(biāo)準(zhǔn)，我們目前在持續(xù)關(guān)注基于“點(diǎn)云”的編碼標(biāo)準(zhǔn)以及基于沉浸式的MIV編碼標(biāo)準(zhǔn)，后續(xù)根據(jù)落地情況也會(huì)加入到多自研標(biāo)準(zhǔn)的編碼器中。

最后關(guān)于Coding for AI，目前主要在關(guān)注VCM，它在同等信息量下，壓縮率相比傳統(tǒng)編碼能提高2-3倍，可直接利用結(jié)構(gòu)化的碼流進(jìn)行視覺(jué)任務(wù)，同時(shí)支持多種多媒體任務(wù)。具體應(yīng)用上，我們正在明廚亮灶、自動(dòng)駕駛、AI監(jiān)考方向進(jìn)行相關(guān)實(shí)踐和探索。