chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

為什么編解碼器需要解碼器模型

LiveVideoStack ? 來(lái)源:LiveVideoStack ? 作者:Andrey Norkin ? 2020-08-10 16:50 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

這篇文章可以作為AV1規(guī)范中與解碼器型號(hào)和級(jí)別有關(guān)的部分的簡(jiǎn)介,本文的其余部分描述了一些AV1基本概念,AV1解碼器模型,并提供了開(kāi)發(fā)它時(shí)做出決策的原因。有關(guān)解碼器模型的更多詳細(xì)信息,請(qǐng)閱讀AV1規(guī)范。

為什么編解碼器需要解碼器模型

大多數(shù)現(xiàn)代視頻編解碼器都具有某種形式的解碼器模型。在MPEG-2中,它被稱為視頻緩沖驗(yàn)證器(VBV);在H.264 / AVC和HEVC / H.265中,它可以稱為假設(shè)參考解碼器(HRD)。解碼器模型提高了互操作性。解碼器模型允許確認(rèn)一個(gè)比特流是否可以被一個(gè)特定的解碼器解碼。這些模型還可以向解碼器提供關(guān)于何時(shí)開(kāi)始解碼幀以能夠及時(shí)顯示它的指令。 通常來(lái)說(shuō),視頻解碼器聲明支持某個(gè)配置文件和級(jí)別。配置文件可以指定有關(guān)比特深度和色度二次采樣的視頻格式,以及解碼器需要支持的以解碼比特流的一組編碼工具。級(jí)別描述了視頻比特流的定量特征,例如分辨率,幀速率和比特率。對(duì)于視頻編解碼器生態(tài)系統(tǒng)而言至關(guān)重要的一點(diǎn)是,表明支持某個(gè)級(jí)別的解碼器是否能夠解碼符合該級(jí)別要求的任何比特流,并且內(nèi)容提供商和編碼器制造商可以檢查其生成的流是否符合這些要求。 為了實(shí)現(xiàn)這些目標(biāo),由開(kāi)放媒體聯(lián)盟(AOM)開(kāi)發(fā)的AV1規(guī)范定義了與配置文件和級(jí)別系統(tǒng)耦合的解碼器模型。AV1解碼器模型包括平滑/位流緩沖區(qū),解碼過(guò)程以及對(duì)解碼后的幀緩沖區(qū)的操作。這篇文章可以作為AV1規(guī)范中與解碼器型號(hào)和級(jí)別有關(guān)的部分的簡(jiǎn)介。本文的其余部分描述了一些AV1基本概念,AV1解碼器模型,并提供了開(kāi)發(fā)它時(shí)做出決策的原因。有關(guān)解碼器模型的更多詳細(xì)信息,請(qǐng)閱讀AV1規(guī)范。

AV1比特流的高級(jí)結(jié)構(gòu)

在更高級(jí)別上,AV1結(jié)構(gòu)以開(kāi)放比特流單元(OBU)打包。每個(gè)OBU都有一個(gè)標(biāo)頭,該標(biāo)頭提供標(biāo)識(shí)其有效負(fù)載的信息(請(qǐng)參見(jiàn)圖1)??梢栽贏V1視頻比特流中出現(xiàn)的OBU類型的示例是序列頭OBU,幀頭OBU,元數(shù)據(jù)OBU,時(shí)間定界符OBU和圖塊組OBU。幀OBU由打包到一個(gè)OBU中的幀頭和圖塊組OBU組成,以提供一種通用結(jié)構(gòu)的更有效表示,其中幀頭數(shù)據(jù)后緊跟著幀或圖塊組數(shù)據(jù)。 根據(jù)語(yǔ)法元素show_existing_frame的值,AV1幀頭可以分為兩種主要類型。

show_existing_frame等于0的幀頭是需要解碼的常規(guī)幀。show_existing_frame等于1的幀頭指定了在該幀頭中指定的顯示時(shí)間顯示先前解碼的幀(由frame_to_show_map_idx表示)的命令。當(dāng)解碼順序與顯示順序不同時(shí),該機(jī)制有助于幀重新排序。 另一個(gè)AV1概念是時(shí)間單元(TU),它由時(shí)間定界符OBU和在此之后且在下一個(gè)時(shí)間定界符OBU之前的所有OBU組成。TU始終遵循遞增的顯示順序。如果未使用可伸縮性,則TU僅包含一個(gè)顯示幀,即show_existing_frame等于1或show_frame等于1的幀。如果使用了可伸縮性,則TU中來(lái)自不同可伸縮層的所有顯示幀都對(duì)應(yīng)于相同的呈現(xiàn)時(shí)間。 一個(gè)TU也可以包含show_frame標(biāo)志等于0的幀。此類幀會(huì)被解碼但不會(huì)立即顯示。它們用于支持如上所述的幀重排序。類似地,也可以發(fā)送覆蓋幀,該覆蓋幀會(huì)對(duì)先前解碼的幀(稱為替代參考幀(ARF))與源幀之間的差異進(jìn)行編碼。AV1比特流的這一方面類似于VP9編解碼器中的超幀。 在圖2中顯示出了將比特流劃分為時(shí)間單元的示例。在該圖中,幀編號(hào)按照顯示順序編號(hào)。比特流使用具有三個(gè)時(shí)間層的4幀的雙向?qū)蛹?jí)預(yù)測(cè)結(jié)構(gòu)。show_frame等于0的幀顯示為青色框,show_frame等于1的幀顯示為深綠色框。FrameHdr 2是show_existing_frame標(biāo)志等于1的幀頭,該幀指向先前解碼的Frame 2。

平滑緩沖

平滑緩沖器是AV1解碼器的一部分,用于存儲(chǔ)AV1比特流,直到壓縮數(shù)據(jù)被解碼器解碼完畢為止。緩沖區(qū)由所謂的“漏桶”模型構(gòu)成。漏桶的類比和編碼器的操作有關(guān),在壓縮器中,壓縮幀被分塊轉(zhuǎn)儲(chǔ)到緩沖區(qū)中,并且數(shù)據(jù)以恒定速率連續(xù)離開(kāi)緩沖區(qū)。解碼器緩沖區(qū)是編碼器之一的對(duì)應(yīng)部分。注意,平滑緩沖器是解碼器內(nèi)部的。通常來(lái)說(shuō),解碼系統(tǒng)會(huì)在更高級(jí)別上具有其他緩沖區(qū),這些緩沖區(qū)不在AV1規(guī)范的范圍內(nèi)。從解碼器模型的角度來(lái)看,可以將較高級(jí)別的緩沖區(qū)視為傳輸通道中造成總延遲的一部分。例如,從解碼器的角度來(lái)看,與自適應(yīng)流式傳輸有關(guān)的緩沖將被視為傳輸通道的一部分,在本文中不再討論。而且,可能經(jīng)常出現(xiàn)預(yù)先準(zhǔn)備編碼的比特流,而這會(huì)使延遲相當(dāng)長(zhǎng)。但是,對(duì)于模型而言,這樣的長(zhǎng)延遲通常不是問(wèn)題,因?yàn)樗诜匠淌街斜坏窒恕? 平滑緩沖區(qū)可確保解碼器具有足夠的內(nèi)部存儲(chǔ)器來(lái)存儲(chǔ)到達(dá)(或讀?。┑奈涣鞯臄?shù)據(jù)。當(dāng)解碼器需要時(shí),它還確保下一幀的壓縮數(shù)據(jù)在緩沖區(qū)中。平滑緩沖器的大小限制了瞬時(shí)比特率的變化,并限制了幀數(shù)據(jù)消耗的時(shí)序。 AV1解碼器模型僅支持可變比特率(VBR)操作模式,而不支持恒定比特率(CBR)模式。解碼器模型的VBR模式是一種抽象模式,其中速率在最大級(jí)別比特率和零之間交替。聽(tīng)起來(lái)可能有限制。但是,此模型足以確保在最壞的情況下確保比特流與解碼器功能匹配。 平滑緩沖區(qū)充滿度隨時(shí)間變化的示意圖如圖3所示。時(shí)鐘從與幀0有關(guān)的第一個(gè)比特的到達(dá)開(kāi)始。斜線的斜率與比特到達(dá)的速率相對(duì)應(yīng)。Removal [i]對(duì)應(yīng)于從緩沖區(qū)中刪除幀i的數(shù)據(jù)并開(kāi)始解碼幀i的時(shí)刻。注意,可能會(huì)有一段時(shí)間沒(méi)有新的比特到達(dá),例如Removal [1]之后的時(shí)間。這與編碼器沒(méi)有要發(fā)送的位(即編碼器緩沖區(qū)為空)的時(shí)間段匹配。

幀i的removal [i]是根據(jù)兩種解碼模式之一來(lái)定義的。在解碼調(diào)度模式下,這些值在比特流中用信號(hào)發(fā)送。在資源可用性模式下,根據(jù)解碼器操作導(dǎo)出Removal [i]。解碼的開(kāi)始,即Removal [0],由兩種模式中的變量decoder_buffer_delay確定。 在時(shí)間Removal [i]時(shí)從解碼緩沖區(qū)中刪除的比特屬于可解碼幀組(DFG)i,即與幀i ? 1相關(guān)的最后一個(gè)OBU的末尾與與幀i相關(guān)的最后一個(gè)OBU的末尾之間的所有OBU 。DFG中的OBU可以包括序列頭OBU,幀和圖塊組OBU,幀頭OBU和元數(shù)據(jù)OBU。 DFG i的第一位到達(dá)平滑緩沖區(qū)由FirstBitArrival [i]確定,該值如下所示:

關(guān)于后一個(gè)表達(dá)式中coder_buffer_delay和decoder_buffer_delay之間關(guān)系以及其他有用的信息可以從Ribas-Corbera et al, 2003中找到很好的解釋。該模型假設(shè)一個(gè)編碼器具有一個(gè)以恒定速率發(fā)送比特的平滑緩沖器,并且一個(gè)解碼器帶有一個(gè)以該比特率接收比特的平滑緩沖器。通常來(lái)說(shuō),encoder_buffer_delay和decoder_buffer_delay的作用是確定幀的編碼和解碼之間的延遲,因此限制了比特流存儲(chǔ)在解碼器緩沖區(qū)中的“窗口”(通過(guò)網(wǎng)絡(luò)/信道進(jìn)行的傳輸是排除在外的)。由于緩沖區(qū)大小設(shè)置為比特流在最大級(jí)別比特率下的1秒,因此建議不要將這兩個(gè)變量的總和超過(guò)90 000,這相當(dāng)于時(shí)鐘頻率的1秒。 當(dāng)low_delay_mode標(biāo)志等于1時(shí),解碼器在低延遲模式下運(yùn)行,在該模式下,幀數(shù)據(jù)在預(yù)定的移除時(shí)間可能還不在緩沖區(qū),在這種情況下,移除時(shí)間會(huì)延遲,直到數(shù)據(jù)到達(dá)緩沖區(qū)。 除非處于低延遲模式,否則平滑緩沖區(qū)不應(yīng)下溢。平滑緩沖區(qū)也不應(yīng)溢出。這些限制適用于所有一致的比特流。

解碼幀緩沖區(qū)

幀緩沖器用于存儲(chǔ)解碼后的幀,以便可以將它們用于幀間預(yù)測(cè)或之后的顯示。AV1定義了一個(gè)緩沖池,該緩沖池代表幀緩沖區(qū)的存儲(chǔ)區(qū)域。AV1幀緩沖區(qū)的管理示意圖如圖4所示。AV1規(guī)范要求解碼器支持10個(gè)物理幀緩沖區(qū)。幀緩沖器的時(shí)隙應(yīng)能夠以對(duì)應(yīng)級(jí)別的最大分辨率存儲(chǔ)幀。虛擬緩沖器索引(VBI)用于指向圖片間預(yù)測(cè)中的幀。VBI可以在幀緩沖池中存儲(chǔ)8個(gè)幀索引。并且允許不同的VBI條目指向同一緩沖區(qū)。空的VBI條目值為-1。當(dāng)前幀緩沖區(qū)索引(cfbi)將索引存儲(chǔ)到正在解碼當(dāng)前幀的幀緩沖區(qū)。注意,有一個(gè)“額外的”物理幀緩沖區(qū),可用于保存幀以用于顯示。

數(shù)組DecoderRefCount和PlayerRefCount(圖4中的前兩行)分別跟蹤解碼和顯示過(guò)程是否仍需要幀緩沖區(qū)。DecoderRefCount跟蹤對(duì)VBI中的幀緩沖區(qū)的引用數(shù),并由語(yǔ)法元素refresh_frame_flags更新,而當(dāng)幀在上次演示時(shí)已顯示時(shí),PlayerRefCount設(shè)置為0??諑彌_區(qū)和相應(yīng)的計(jì)數(shù)器在圖4中顯示為白色方塊。 幀緩沖器對(duì)視頻幀的解碼和表示施加了限制,從而限制了編碼器可以使用哪些預(yù)測(cè)結(jié)構(gòu)和幀的重新排序。通常來(lái)說(shuō),10個(gè)幀緩沖區(qū)允許支持相當(dāng)復(fù)雜的預(yù)測(cè)結(jié)構(gòu)。解碼器模型在應(yīng)顯示該幀時(shí)會(huì)驗(yàn)證該幀是否可用,并且在應(yīng)解碼一幀時(shí)在緩沖池中有一個(gè)空閑位置。

解碼過(guò)程

AV1解碼器模型的解碼過(guò)程將對(duì)平滑緩沖區(qū)和解碼器幀緩沖區(qū)的操作聯(lián)系在一起。特別地,解碼器模型確定何時(shí)開(kāi)始幀解碼以及從平滑緩沖器中移除幀比特,這立即使平滑緩沖器的飽和度降低了相應(yīng)的量。解碼器模型還會(huì)計(jì)算解碼何時(shí)完成,并將解碼后的幀添加到幀緩沖區(qū)。它還確定何時(shí)為顯示輸出幀并將其從緩沖區(qū)中移除。 AV1的一個(gè)特點(diǎn)是廣泛使用替代參考幀(ARF),即用作預(yù)測(cè)參考但從未顯示過(guò)的幀。此外,AV1在主配置文件中支持參考圖片的縮放和可伸縮性。這意味著該模型應(yīng)適應(yīng)幀解碼所需的不同時(shí)間,并支持不同的幀解碼和顯示速率。請(qǐng)注意,即使H.264和HEVC允許顯示不可顯示的圖片,但這并不是這些編解碼器的典型用法,而在AV1中,這是一種典型的使用情況,需要解碼器模型很好地支持。

圖5中展示了使用ARF進(jìn)行編碼的示例。該圖顯示了sub-GOP大小為4的雙向?qū)蛹?jí)結(jié)構(gòu)編碼。可顯示的幀顯示為灰色矩形。不顯示的替代參考幀(ARF),用白色矩形表示。通常,該幀是在相同時(shí)間位置的幀的濾波版本,這為幀間預(yù)測(cè)帶來(lái)了優(yōu)勢(shì)。由于對(duì)ARF進(jìn)行了低通濾波,因此可以使用ARF作為預(yù)測(cè)因子對(duì)覆蓋幀(圖5中的OL)進(jìn)行編碼。覆蓋幀會(huì)添加高頻和紋理信息。 為了支持替代參考幀和不同分辨率的幀,AV1解碼器模型引入了以下功能: l在解碼器中使用不同數(shù)量的時(shí)間單位并顯示時(shí)鐘節(jié)拍的可能性。注意,圖5中的顯示時(shí)鐘節(jié)拍(DispCT)和解碼時(shí)鐘節(jié)拍(DecCT)具有不同的長(zhǎng)度,因?yàn)榻獯a和顯示速率不同。解碼器和顯示刻度均使用相同的時(shí)標(biāo),并且時(shí)鐘已同步l幀不會(huì)立即解碼,并且根據(jù)幀分辨率和其他因素,可以有不同的時(shí)間可以看到,圖5中的解碼和顯示時(shí)間軸使用了不同的時(shí)鐘節(jié)拍。顯然,在顯示幀之前需要完成每個(gè)幀的解碼。為了確保將來(lái)有可用的幀,編碼器可以使用initial_display_delay_minus_1,該參數(shù)對(duì)應(yīng)已解碼的幀數(shù)減去在顯示第一幀之前幀緩沖區(qū)中應(yīng)可用的幀數(shù)。此參數(shù)相對(duì)于解碼偏移了顯示過(guò)程。如果未發(fā)信號(hào),則將initial_display_delay_minus_1的值推斷為BUFFER_POOL_MAX_SIZE ?1??偟娘@示延遲包括coder_buffer_delay,它與圖3中的變量相同,是從第一個(gè)比特到達(dá)到開(kāi)始解碼幀0之間的時(shí)間,即Removal [0]。 解碼幀i所需的時(shí)間確定為: TimeToDecode [i] = lumaSamples [i]÷MaxDecodeRate, 其中,MaxDecodeRate以樣本/秒為單位進(jìn)行測(cè)量,并由每個(gè)解碼器級(jí)別指定。依次為幀內(nèi)預(yù)測(cè)幀計(jì)算lumaSamples,如下所示: lumaSamples [i] = UpscaledWidth [i] * FrameHeight [i]。 UpscaledWidth是使用可選的超分辨率工具后的幀的寬度。對(duì)于幀間預(yù)測(cè)幀,在參考圖片重采樣的情況下,考慮到來(lái)自分辨率更高的幀的可能運(yùn)動(dòng)補(bǔ)償,可以確定此數(shù)量,如下所示 lumaSamples [i] = max_frame_width * max_frame_height。 在可伸縮比特流中,將lumaSamples確定為當(dāng)前可伸縮層的最大寬度和高度的乘積。 除了知道幀解碼需要花費(fèi)多長(zhǎng)時(shí)間之外,解碼器模型還需要確定何時(shí)開(kāi)始解碼以及從平滑緩沖區(qū)中刪除壓縮幀,即Removal [i]。關(guān)于如何計(jì)算Removal [i],AV1具有兩種不同的模式。這兩種模式是以下描述的資源可用性模式和解碼調(diào)度模式。

資源可用性模式

在資源可用性模式中,如果在解碼的幀緩沖區(qū)中有可用的空閑位置,則在完成前一幀解碼之后立即解碼一幀。否則,在一個(gè)位置釋放后對(duì)幀進(jìn)行解碼。如果比特流低于解碼器的最大級(jí)別限制,則逐幀解碼這些幀,直到它們填滿所有可用的幀緩沖區(qū),此后解碼速度會(huì)減慢。然后,僅在解碼的幀緩沖區(qū)釋放后,才進(jìn)行下一幀的解碼。幀0的刪除時(shí)間由decoder_buffer_delay確定: Removal[ 0 ] =decoder_buffer_delay÷ 90000 要使用資源可用性模式,應(yīng)在比特流中設(shè)置以下參數(shù):Timing_info_present_flag = 1,decoder_model_info_present_flag = 0,并且equal_picture_interval =1。標(biāo)志equal_picture_interval等于1表示使用了恒定的幀速率,并且不發(fā)送顯示時(shí)間。而是從幀速率和initial_display_delay_minus_1得出顯示時(shí)間。解碼定時(shí)Removal [i]由解碼的幀緩沖器可用時(shí)的時(shí)刻來(lái)決定,并且也不發(fā)信號(hào)通知。一些解碼器模型參數(shù)在資源可用性模式下采用默認(rèn)值,例如,encoder_buffer_delay = 20 000,decoder_buffer_delay = 70 000,low_delay_mode_flag = 0。

解碼調(diào)度模式

在解碼調(diào)度模式下,除了幀顯示時(shí)間之外,還在視頻比特流中用信號(hào)發(fā)送解碼時(shí)間Removal [i]。該模型靈活地定義了何時(shí)從平滑緩沖區(qū)中刪除幀并對(duì)其進(jìn)行解碼,以及何時(shí)顯示該幀。除了使用恒定的幀速率外,該模型還可以通過(guò)顯式發(fā)送幀表示時(shí)間來(lái)支持變化的幀速率。除此之外,解碼器時(shí)鐘節(jié)拍DecCT以及decoder_buffer_delay,encoder_buffer_delay和ScheduledRemovalTiming [i]也以這種解碼模式發(fā)送信號(hào)。 在這種模式下,幀i的計(jì)劃刪除時(shí)間如下所示。 ScheduledRemovalTiming [0] = encoder_buffer_delay÷90 000。 ScheduledRemovalTiming [i] = ScheduledRemovalTiming [PrevRap] + buffer_removal_time [i] * DecCT, 其中PrevRap是先前的隨機(jī)訪問(wèn)點(diǎn)(RAP)。如果幀i對(duì)應(yīng)于RAP,但不是比特流中的第一幀,則PrevRAP對(duì)應(yīng)于先前的RAP。這里的隨機(jī)訪問(wèn)點(diǎn)是指比特流中的一個(gè)位置,可以從中解碼該比特流。它通常對(duì)應(yīng)于一個(gè)關(guān)鍵幀,并且應(yīng)包含所有開(kāi)始解碼位流所需的信息,包括序列頭。 除非解碼器在低延遲模式下運(yùn)行,否則刪除時(shí)間與計(jì)劃的刪除時(shí)間一致 Removal [i] = ScheduledRemovalTiming [i]。 為了支持可伸縮性,解碼器模型針對(duì)每個(gè)工作點(diǎn)(OP)單獨(dú)發(fā)出信號(hào)。工作點(diǎn)與某個(gè)可伸縮層的解碼及其解碼所需的較低可伸縮層有關(guān)。比特流中較高的工作點(diǎn)可能需要使用符合較高級(jí)別的解碼器。

解碼器模型的兩種模式之間的差異

可以注意到,解碼調(diào)度模式下的解碼器操作是資源可用性模式下的解碼器操作的超集。編碼器應(yīng)該有可能用信號(hào)通知在資源可用性模式中可能已經(jīng)導(dǎo)出的相同Removal [i]。解碼時(shí)間表模式也可以用于控制幀解碼時(shí)間表。圖6示出了當(dāng)比特流需求低于最大等級(jí)能力時(shí)的情形。在資源可用性模式下,將幀依次解碼,并且當(dāng)幀緩沖區(qū)中沒(méi)有剩余空閑時(shí)隙時(shí),解碼速度會(huì)變慢。在解碼調(diào)度模式下,可以以恒定速度解碼比特流。注意,當(dāng)解碼器接近其最大能力工作時(shí)(例如,比特流接近于等級(jí)限制的分辨率和幀率),兩種模式下的解碼器操作是相似的。

另外,可以使用解碼調(diào)度模式來(lái)更好地控制平滑緩沖區(qū)的飽和度(見(jiàn)圖7)。該圖說(shuō)明了平滑緩沖區(qū)充滿度如何隨時(shí)間變化,取決于參數(shù)coder_buffer_delay和decoder_buffer_delay的值。該圖使用1920×1080的視頻,每秒24幀,編碼為4.0級(jí)AV1比特流。選擇符合8幀分層預(yù)測(cè)結(jié)構(gòu)的幀大??;該示例已構(gòu)建,并不代表任何特定的視頻編碼。最大的平滑緩沖區(qū)容量由水平虛線顯示。

圖7(a)顯示了encoder_buffer_delay = 20 000,decoder_buffer_delay = 70 000時(shí)隨時(shí)間變化的緩沖區(qū)充滿度,它們等于資源可用性模式中使用的默認(rèn)值。

通過(guò)減少coder_buffer_delay,可以更早開(kāi)始解碼,這在圖7(b)中通過(guò)使用encoder_buffer_delay和decoder_buffer_delay均等于45 000進(jìn)行了演示。請(qǐng)注意,encoder_buffer_delay與decoder_buffer_delay的總和等于90 000,這對(duì)應(yīng)于1秒,即平滑緩沖區(qū)可以保持的最大級(jí)別比特率下的比特流持續(xù)時(shí)間。

通過(guò)使用參數(shù)coder_buffer_delay = 10000,decoder_buffer_delay = 45000,也可以將緩沖區(qū)充滿度保持在較低水平,如圖7(c)所示。

顯示時(shí)間

AV1的顯示時(shí)間通過(guò)frame_presentation_time語(yǔ)法元素發(fā)出信號(hào)。實(shí)際的顯示時(shí)間還取決于InitialPresentationDelay,其計(jì)算方式如下: PresentationTime [0] = InitialPresentationDelay, PresentationTime [j] = PresentationTime [PrevPresent] + frame_presentation_time [j] * DispCT, 其中,如果前一個(gè)RAP是關(guān)鍵幀RAP,則PrevPresent對(duì)應(yīng)于與最后一個(gè)關(guān)鍵幀隨機(jī)接入點(diǎn)(RAP)關(guān)聯(lián)的索引;如果前一個(gè)RAP是延遲RAP,則PrevPresent對(duì)應(yīng)于延遲恢復(fù)點(diǎn)(即對(duì)應(yīng)于前向關(guān)鍵幀/open-GOP)。延遲的恢復(fù)點(diǎn)對(duì)應(yīng)于open-GOP中的關(guān)鍵幀的顯示時(shí)間。 InitialPresentationDelay依次確定如下: InitialPresentationDelay =Removal[initial_display_delay_minus_1] + TimeToDecode [initial_display_delay_minus_1]。 換句話說(shuō),InitialPresentationDelay是幀緩沖區(qū)中存在initial_display_delay_minus_1 + 1個(gè)解碼幀的時(shí)間。 當(dāng)equal_picture_interval等于1時(shí),使用恒定幀率模式,并且大于0的幀j的顯示時(shí)間推導(dǎo)如下: PresentationTime [j] = PresentationTime [j ? 1] +(num_ticks_per_picture_minus_1 + 1)* DispCT, 其中PresentationTime [j-1]指的是顯示順序中的前一幀。如上導(dǎo)出PresentationTime [0]。

解碼器模型信令

解碼器模型參數(shù)主要在序列和幀級(jí)別上發(fā)出信號(hào)。序列標(biāo)頭可以包括Timing_info()結(jié)構(gòu),該結(jié)構(gòu)包含顯示時(shí)序信息?;镜慕獯a器模型信息位于decoder_model_info()結(jié)構(gòu)中。除此之外,還可以在序列頭中用信號(hào)發(fā)送一個(gè)或多個(gè)操作點(diǎn)(OP),以實(shí)現(xiàn)可伸縮的比特流。每個(gè)OP對(duì)應(yīng)于解碼該OP所必需的解碼器級(jí)別,并且可以可選地被分配一組解碼器模型參數(shù)。 Timing_info()結(jié)構(gòu)包含時(shí)間刻度和顯示刻度號(hào)num_units_in_display_tick中的時(shí)間單位數(shù),而coder_model_info()結(jié)構(gòu)包含解碼器刻度號(hào)num_units_in_decoding_tick中的單位數(shù)以及其他解碼器模型語(yǔ)法元素的長(zhǎng)度。這兩個(gè)語(yǔ)法元素將DispCT和DecCT變量的持續(xù)時(shí)間定義為: DispCT = num_units_in_display_tick÷time_scale, DecCT = num_units_in_decoding_tick÷time_scale。 operating_parameters_info()結(jié)構(gòu)包含用于操作點(diǎn)的 encoder_buffer_delay 和decoder_buffer_delay 以及低延遲模式標(biāo)志。如果使用解碼器模型,則可以在幀頭中為選定的工作點(diǎn)發(fā)信號(hào)通知以解碼時(shí)鐘節(jié)拍為單位的buffer_removal_time。幀頭中的temporal_point_info()結(jié)構(gòu)包含frame_presentation_time語(yǔ)法元素,該元素以顯示時(shí)鐘節(jié)拍表示信號(hào)的顯示時(shí)間。

AV1等級(jí)

在撰寫(xiě)本文時(shí),AV1規(guī)范定義了2.0到6.3級(jí),該級(jí)別大致涵蓋了將視頻從426×240 @ 30fps解碼到7680×4320 @ 120fps所需的解碼器功能。解碼器模型將比特流和解碼器一致性統(tǒng)一到了一定水平。AV1級(jí)別聲明支持某種幀分辨率(一幀中的樣本數(shù)),解碼以及顯示的采樣率。與解碼器模型相關(guān)的其他級(jí)別參數(shù)包括最大比特率和幀頭速率。級(jí)別可以屬于兩個(gè)級(jí)別(主級(jí)別和高級(jí)級(jí)別)之一,其中高級(jí)級(jí)別具有比主級(jí)別更高的最大比特率,并且面向?qū)I(yè)和特殊應(yīng)用。 最大比特率直接定義了平滑緩沖區(qū)的大小,該平滑緩沖區(qū)應(yīng)能夠以最大級(jí)別的比特率保持最多1秒的壓縮流。由于對(duì)一致的比特流不允許緩沖區(qū)上溢或下溢,因此這對(duì)峰值比特率施加了限制。除此之外,還規(guī)定了幀的最小壓縮率。 聲稱符合某個(gè)級(jí)別的比特流,如果通過(guò)解碼器模型,則不應(yīng)違反約束。順便說(shuō)一句,相應(yīng)的解碼器應(yīng)能夠解碼相同或更低級(jí)別的任何順應(yīng)性比特流,只要該比特流符合AV1規(guī)范(包括通過(guò)相應(yīng)級(jí)別的解碼器模型測(cè)試)即可。 可以在此Wikipedia鏈接上找到AV1級(jí)別的表,盡管通常推薦的來(lái)源是AV1規(guī)范。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 解碼器
    +關(guān)注

    關(guān)注

    9

    文章

    1202

    瀏覽量

    42840
  • 視頻解碼器
    +關(guān)注

    關(guān)注

    0

    文章

    83

    瀏覽量

    20249
  • OBU
    OBU
    +關(guān)注

    關(guān)注

    0

    文章

    18

    瀏覽量

    12951

原文標(biāo)題:AV1解碼器模型

文章出處:【微信號(hào):livevideostack,微信公眾號(hào):LiveVideoStack】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    基于E203 RISC-V的音頻信號(hào)處理系統(tǒng) -CODEC(音頻編解碼器)配置

    CODEC介紹 本設(shè)計(jì)采用的音頻編解碼器是WM8731,該編解碼器可以通過(guò)I2C進(jìn)行寄存配置,可以調(diào)節(jié)主從模式、數(shù)據(jù)位數(shù)可設(shè)置為16bit、24bit、32bit。可以設(shè)置的傳輸模式為I2S、DSP等模式。 寄存
    發(fā)表于 10-28 06:29

    新唐科技推出低延遲音頻編解碼器NAU88L21C

    Audio CODEC (Audio Coder-Decoder) 是音頻“編解碼器”,主要功能是進(jìn)行音頻信號(hào)的編碼(壓縮)和解碼(解壓)。在音頻信號(hào)處理過(guò)程中,信號(hào)的采集處理,編碼,解碼都是
    的頭像 發(fā)表于 09-30 09:25 ?5221次閱讀
    新唐科技推出低延遲音頻<b class='flag-5'>編解碼器</b>NAU88L21C

    增強(qiáng)T-BOX設(shè)計(jì),新唐編解碼器的重要作用

    、遠(yuǎn)程異常維護(hù)和更新。 數(shù)據(jù)收集和傳輸:安全保護(hù)和隱私加密。 多接口擴(kuò)展:可定制的功能和軟件應(yīng)用程序。 在T-BOX中,編解碼器(編碼-解碼器)起著至關(guān)重要的作用,充當(dāng)主要的通信橋梁。其基本功能包括
    發(fā)表于 09-05 06:26

    如何使用 M487 微控制和外部音頻編解碼器NAU88L25將 AMR 格式的聲音錄制到 MicroSD 卡中?

    使用 M487 微控制和外部音頻編解碼器NAU88L25將 AMR 格式的聲音錄制到 MicroSD 卡中
    發(fā)表于 08-20 06:28

    Texas Instruments TAC5x42接口編解碼器數(shù)據(jù)手冊(cè)

    Texas Instruments TAC5x42接口編解碼器包括低功耗立體聲音頻模數(shù)轉(zhuǎn)換 (ADC) 和音頻數(shù)模轉(zhuǎn)換 (DAC),集成了豐富的功能。這些支持時(shí)分復(fù)用 (TDM)、左對(duì)齊 (LJ
    的頭像 發(fā)表于 07-14 14:43 ?552次閱讀
    Texas Instruments TAC5x42接口<b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊(cè)

    Texas Instruments TAC5311-Q1汽車單聲道音頻編解碼器數(shù)據(jù)手冊(cè)

    Texas Instruments TAC5311-Q1汽車單聲道音頻編解碼器是一款低功耗單聲道編解碼器,具有10V~RMS ~差分輸入、104dB ADC和2V~RMS~ 差分輸出、114dB
    的頭像 發(fā)表于 07-09 15:35 ?651次閱讀
    Texas Instruments TAC5311-Q1汽車單聲道音頻<b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊(cè)

    CYW20721內(nèi)置的所有編解碼器類型有哪些?

    您能告訴我們 CYW20721 內(nèi)置的所有編解碼器類型嗎? LDAC、LC3(LE 音頻)、AAC、SBC 等。
    發(fā)表于 06-27 08:03

    AI玩具爆發(fā),音頻編解碼器如何滿足語(yǔ)音交互需求

    電子發(fā)燒友網(wǎng)綜合報(bào)道,在AI玩具已經(jīng)開(kāi)始逐漸爆發(fā)的當(dāng)下,人機(jī)交互已經(jīng)成為標(biāo)配功能,而最重要的便是語(yǔ)音控制。而語(yǔ)音控制的第一步,便需要讓AI玩具聽(tīng)懂你在說(shuō)什么這就需要用到音頻編解碼器。 ? 音頻
    的頭像 發(fā)表于 06-20 01:07 ?6889次閱讀

    TWL6040 用于便攜式應(yīng)用的 8 通道高質(zhì)量低功耗音頻編解碼器數(shù)據(jù)手冊(cè)

    TWL6040 設(shè)備是具有高集成度的音頻編碼/解碼器編解碼器),可為便攜式應(yīng)用程序提供模擬音頻編解碼器功能,如 所示。該設(shè)備包含多個(gè)音頻模擬輸入和輸出,以及麥克風(fēng)偏置和附件檢測(cè)。該
    的頭像 發(fā)表于 04-27 17:52 ?739次閱讀
    TWL6040 用于便攜式應(yīng)用的 8 通道高質(zhì)量低功耗音頻<b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊(cè)

    EE-96:將兩個(gè)AD73311編解碼器與ADSP-218x接口

    電子發(fā)燒友網(wǎng)站提供《EE-96:將兩個(gè)AD73311編解碼器與ADSP-218x接口.pdf》資料免費(fèi)下載
    發(fā)表于 01-13 16:32 ?0次下載
    EE-96:將兩個(gè)AD73311<b class='flag-5'>編解碼器</b>與ADSP-218x接口

    國(guó)芯思辰| 單聲道音頻編解碼器SC2601應(yīng)用于錄音筆,替換ES8311

    國(guó)芯思辰| 單聲道音頻編解碼器SC2601應(yīng)用于錄音筆,替換ES8311
    的頭像 發(fā)表于 01-07 10:33 ?1110次閱讀
    國(guó)芯思辰| 單聲道音頻<b class='flag-5'>編解碼器</b>SC2601應(yīng)用于錄音筆,替換ES8311

    ADSP-21065L SHARC DSP與AD1819A AC-97 SoundPort編解碼器的接口

    電子發(fā)燒友網(wǎng)站提供《ADSP-21065L SHARC DSP與AD1819A AC-97 SoundPort編解碼器的接口.pdf》資料免費(fèi)下載
    發(fā)表于 01-06 15:33 ?0次下載
    ADSP-21065L SHARC DSP與AD1819A AC-97 SoundPort<b class='flag-5'>編解碼器</b>的接口

    EE-193:ADSP-BF535 Blackfin處理與AD73322L編解碼器接口

    電子發(fā)燒友網(wǎng)站提供《EE-193:ADSP-BF535 Blackfin處理與AD73322L編解碼器接口.pdf》資料免費(fèi)下載
    發(fā)表于 01-06 14:17 ?0次下載
    EE-193:ADSP-BF535 Blackfin處理<b class='flag-5'>器</b>與AD73322L<b class='flag-5'>編解碼器</b>接口

    TLV320AIC28音頻編解碼器評(píng)估模塊

    電子發(fā)燒友網(wǎng)站提供《TLV320AIC28音頻編解碼器評(píng)估模塊.pdf》資料免費(fèi)下載
    發(fā)表于 12-20 16:02 ?0次下載
    TLV320AIC28音頻<b class='flag-5'>編解碼器</b>評(píng)估模塊

    TAS25xx編解碼器控制EVM手冊(cè)

    電子發(fā)燒友網(wǎng)站提供《TAS25xx編解碼器控制EVM手冊(cè).pdf》資料免費(fèi)下載
    發(fā)表于 12-10 14:14 ?0次下載
    TAS25xx<b class='flag-5'>編解碼器</b>控制EVM手冊(cè)