chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

為什么做一款抗丟包音頻編解碼器?

BYXG_shengwang ? 來源:聲網(wǎng)Agora ? 2019-11-19 16:06 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

10 月 24 日,RTC 2019 第五屆實時互聯(lián)網(wǎng)大會在北京悠唐皇冠假日酒店如期舉行。在下午的編解碼技術(shù)專場上,聲網(wǎng)Agora技術(shù)VP高澤華正式宣布,開源聲網(wǎng)自研抗丟包音頻編解碼器Agora SOLO。

目前,編解碼器的源代碼已經(jīng)開源在 Github

為什么做一款抗丟包音頻編解碼器?

在近些年比較火的應用場景有這么幾類:游戲,比如多人在線對戰(zhàn)游戲、狼人殺等,多人組隊,還需要實時語音;互動直播,比如主播與觀眾連麥、主播與其他主播進行跨直播間連麥,需要實時的互動;在線教育,其中有很多細分的場景,1 對 1、1 對多、雙師等,在當前互動網(wǎng)絡(luò)教育中最難解決的問題還是實時性,就是老師跟學生怎么能夠更好的互動。 以上這些實時互動場景,在當前網(wǎng)絡(luò)環(huán)境下,給技術(shù)提出了更高的要求,既要低延時,又要實現(xiàn)高質(zhì)量的音視頻互動。但是,如果承載信息的包沒有按時到達,即出現(xiàn)丟包,就會產(chǎn)生聲音斷斷續(xù)續(xù)、音質(zhì)低等情況,直接影響實時互動的質(zhì)量。然而,傳統(tǒng)的抗丟包策略不是會浪費帶寬,就是會影響音頻質(zhì)量,所以我們結(jié)合信源和信道編碼的特點,利用充分包交換網(wǎng)絡(luò)的特性,基于此,研發(fā)出了聲網(wǎng)新的編解碼器——Agora SOLO。

Agora SOLO 是什么?

Agora SOLO(以下簡稱“SOLO”)是由聲網(wǎng)Agora自主研發(fā)的一款面向不穩(wěn)定網(wǎng)絡(luò)的音頻編解碼器,它以 Silk 為基礎(chǔ),融合了帶寬擴展(BWE)和多描述編碼(MDC)等技術(shù),使其能在較低復雜度下?lián)碛腥蹙W(wǎng)對抗能力。SOLO 編解碼器兼容WebRTC,可集成到基于 WebRTC 自主研發(fā)的產(chǎn)品中。

圖 1. SOLO編碼器架構(gòu)

圖2. SOLO解碼器架構(gòu)

SOLO的抗丟包策略與傳統(tǒng)方法不同。從通信原理來說,信源編碼是盡可能去追求高壓縮比,去冗余。而信道編碼是追求強糾錯,靠加冗余來實現(xiàn)糾錯。Agora SOLO就是把加冗余和減冗余結(jié)合起來,不重要的地方減冗余,重要的地方加冗余。 在傳輸過程中,它會將一個包拆分為兩個進行傳輸,如果對端收到其中一個,則解碼恢復出一個有限失真的信號;如果對端收到兩個包,則可解碼恢復出一個高質(zhì)量的信號。即 SOLO不需要等待對當前網(wǎng)絡(luò)丟包狀態(tài)的統(tǒng)計,只需要直接把抗丟包做到編解碼內(nèi)部。好處有三點:1.可實現(xiàn)更低延時;2.可實現(xiàn)更高質(zhì)量,當收到一個包時質(zhì)量達到的普通編解碼器水平,收到兩個包達到高質(zhì)量編解碼水平;3. 可面向多人環(huán)境。

SOLO 關(guān)鍵技術(shù)

01 帶寬擴展

SOLO 使用帶寬擴展的主要原因是希望減少計算復雜度,在 Silk WB 模式中,16khz 的信號都會進入后續(xù)處理模塊,而對于語音來說,8khz 以上的信息是非常少的,這部分信息進入到后續(xù)處理模塊,會帶來一定的計算資源浪費。MDC 因為要引入額外分析模塊處理多條碼流,又會引入額外的復雜度,這是 MDC 在近些年來落地不順暢的重要原因之一。為了減少復雜度,我們在編碼寬帶信號前,將其分為 0-8k 的窄帶信息和 8-16k 的高頻信息。只有窄帶信息會進入到后續(xù)正常分析、編碼流程中,這樣后續(xù)的計算量就減少了一半,同時得益于帶寬擴展算法,整體質(zhì)量不會有明顯下降。高頻信息部分,SOLO 使用獨立的分析與編碼模塊,默認將高頻信息壓縮成 1.6kbps 的碼流。這部分高頻信息可以在解碼器內(nèi)結(jié)合低頻信號恢復出高頻信號。

02 結(jié)合 delay-decision 的 MDC

在 Silk 中,delay-decision 模塊是一個滯后計算編碼誤差的模塊,它可以從多個候選碼流中選擇誤差最小的碼流作為編碼輸出,一定程度上來說,它使得標量量化擁有了矢量量化的性能。SOLO 利用 delay-decision 模塊,實現(xiàn)了多描述碼流的分析與構(gòu)建。SOLO 的MDC主要作用于濾波器輸出的殘差信號, SOLO 會根據(jù)當前信號狀態(tài),對殘差信號做多增益控制:計算出 MD 增益 a(0

圖 3. 多描述殘差信號產(chǎn)生

隨后,這兩段殘差信號會進入到新的 delay-decision 模塊中,每個殘差信號使用不同的抖動和量化方法,一共可以產(chǎn)生 8 種不同的備選狀態(tài),兩兩組合起來共有 64 種備選合成狀態(tài),新的 delay-decision 模塊會對每個殘差信號的獨立誤差和兩個殘差信號的合成誤差進行加權(quán)求和,決定出最佳的兩個殘差信號進入到編碼模塊。

03 輸出碼流組包

圖 4. 編碼器碼流整合及組包

SOLO 默認配置為每次輸入 40ms(2 幀),輸出兩段互補的多描述碼流,解碼器接收到任一段碼流,即可解碼出 40ms 的信號。為了方便接收端區(qū)分碼流的順序,碼流第一個字節(jié)的右數(shù)第 4 個 bit 是碼流順序標志位,第一段碼流標志位的值是 0,第二段碼流標志位的值是 1。接收端在進行碼流處理時,可依據(jù)此標志位進行碼流順序判斷。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 解碼器
    +關(guān)注

    關(guān)注

    9

    文章

    1199

    瀏覽量

    42565
  • 音頻
    +關(guān)注

    關(guān)注

    31

    文章

    3099

    瀏覽量

    84524

原文標題:聲網(wǎng)Agora開源抗丟包音頻編解碼器Agora SOLO

文章出處:【微信號:shengwang-agora,微信公眾號:聲網(wǎng)Agora】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    集成了32位RISC處理和SPDIF音頻接口的音頻編解碼

    音頻編解碼器的工作原理主要涉及將音頻信號轉(zhuǎn)換為數(shù)字格式并進行壓縮處理,以實現(xiàn)高效存儲和傳輸。
    的頭像 發(fā)表于 10-11 09:52 ?312次閱讀
    集成了32位RISC處理<b class='flag-5'>器</b>和SPDIF<b class='flag-5'>音頻</b>接口的<b class='flag-5'>音頻</b><b class='flag-5'>編解碼</b>

    新唐科技推出低延遲音頻編解碼器NAU88L21C

    Audio CODEC (Audio Coder-Decoder) 是音頻編解碼器”,主要功能是進行音頻信號的編碼(壓縮)和解碼(解壓)。在音頻
    的頭像 發(fā)表于 09-30 09:25 ?3241次閱讀
    新唐科技推出低延遲<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>NAU88L21C

    增強T-BOX設(shè)計,新唐編解碼器的重要作用

    。 T-BOX音頻架構(gòu): T-BOX 音頻架構(gòu)的主要特點包括: 獨立電源管理系統(tǒng) 雙麥克風音頻處理 編解碼器、D類音頻放大器和車載信
    發(fā)表于 09-05 06:26

    如何使用 M487 微控制和外部音頻編解碼器NAU88L25將 AMR 格式的聲音錄制到 MicroSD 卡中?

    使用 M487 微控制和外部音頻編解碼器NAU88L25將 AMR 格式的聲音錄制到 MicroSD 卡中
    發(fā)表于 08-20 06:28

    一款低功耗、高質(zhì)量的24位立體聲編解碼器-CJC8972

    24位立體聲編解碼器通過數(shù)字信號處理實現(xiàn)高精度音頻編碼與解碼,核心在于對立體聲信號的數(shù)字化處理及還原。
    的頭像 發(fā)表于 08-07 09:22 ?693次閱讀
    <b class='flag-5'>一款</b>低功耗、高質(zhì)量的24位立體聲<b class='flag-5'>編解碼器</b>-CJC8972

    Texas Instruments TAC5x42接口編解碼器數(shù)據(jù)手冊

    Texas Instruments TAC5x42接口編解碼器包括低功耗立體聲音頻模數(shù)轉(zhuǎn)換 (ADC) 和音頻數(shù)模轉(zhuǎn)換器 (DAC),集成了豐富的功能。這些支持時分復用 (TDM)、
    的頭像 發(fā)表于 07-14 14:43 ?431次閱讀
    Texas Instruments TAC5x42接口<b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊

    Texas Instruments TAC5311-Q1汽車單聲道音頻編解碼器數(shù)據(jù)手冊

    Texas Instruments TAC5311-Q1汽車單聲道音頻編解碼器一款低功耗單聲道編解碼器,具有10V~RMS ~差分輸入、104dB ADC和2V~RMS~ 差分輸出、
    的頭像 發(fā)表于 07-09 15:35 ?525次閱讀
    Texas Instruments TAC5311-Q1汽車單聲道<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊

    CYW20721內(nèi)置的所有編解碼器類型有哪些?

    您能告訴我們 CYW20721 內(nèi)置的所有編解碼器類型嗎? LDAC、LC3(LE 音頻)、AAC、SBC 等。
    發(fā)表于 06-27 08:03

    AI玩具爆發(fā),音頻編解碼器如何滿足語音交互需求

    電子發(fā)燒友網(wǎng)綜合報道,在AI玩具已經(jīng)開始逐漸爆發(fā)的當下,人機交互已經(jīng)成為標配功能,而最重要的便是語音控制。而語音控制的第步,便需要讓AI玩具聽懂你在說什么這就需要用到音頻編解碼器。 ? 音頻
    的頭像 發(fā)表于 06-20 01:07 ?6691次閱讀

    TPS65950 集成電源管理 IC (PMIC),具有 3 個 DC/DC、11 個 LDO、音頻編解碼器、USB HS收發(fā)數(shù)據(jù)手冊

    TPS65950 器件是一款高度集成的電源管理和音頻編碼/解碼器編解碼器)集成電路 (IC),支持 OMAP? 應用處理
    的頭像 發(fā)表于 04-28 14:38 ?498次閱讀
    TPS65950 集成電源管理 IC (PMIC),具有 3 個 DC/DC、11 個 LDO、<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>、USB HS收發(fā)<b class='flag-5'>器</b>數(shù)據(jù)手冊

    TWL6040 用于便攜式應用的 8 通道高質(zhì)量低功耗音頻編解碼器數(shù)據(jù)手冊

    TWL6040 設(shè)備是具有高集成度的音頻編碼/解碼器編解碼器),可為便攜式應用程序提供模擬音頻編解碼
    的頭像 發(fā)表于 04-27 17:52 ?631次閱讀
    TWL6040 用于便攜式應用的 8 通道高質(zhì)量低功耗<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊

    TWL6041 用于便攜式應用的 8 通道高質(zhì)量低功耗音頻編解碼器數(shù)據(jù)手冊

    TWL6041 是種具有高集成度的音頻編解碼器,為便攜式應用程序提供模擬音頻編解碼器功能,如 所示。該設(shè)備包含多個
    的頭像 發(fā)表于 04-27 14:55 ?656次閱讀
    TWL6041 用于便攜式應用的 8 通道高質(zhì)量低功耗<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>數(shù)據(jù)手冊

    國芯思辰| 單聲道音頻編解碼器SC2601應用于錄音筆,替換ES8311

    國芯思辰| 單聲道音頻編解碼器SC2601應用于錄音筆,替換ES8311
    的頭像 發(fā)表于 01-07 10:33 ?970次閱讀
    國芯思辰| 單聲道<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>SC2601應用于錄音筆,替換ES8311

    TLV320AIC28音頻編解碼器評估模塊

    電子發(fā)燒友網(wǎng)站提供《TLV320AIC28音頻編解碼器評估模塊.pdf》資料免費下載
    發(fā)表于 12-20 16:02 ?0次下載
    TLV320AIC28<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>評估模塊

    替換ES8311,音頻編解碼器SC2601在行車記錄儀中的應用

    替換ES8311,音頻編解碼器SC2601在行車記錄儀中的應用
    的頭像 發(fā)表于 11-29 10:07 ?1353次閱讀
    替換ES8311,<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>SC2601在行車記錄儀中的應用