從編解碼到 WebRTC，實(shí)時(shí)互聯(lián)網(wǎng)技術(shù)標(biāo)準(zhǔn)的演進(jìn)，影響著行業(yè)里每個(gè)公司的戰(zhàn)略與技術(shù)選型。盡管 H.264 仍然是覆蓋最廣的主流標(biāo)準(zhǔn)，但 HEVC 、VP9、AV1 在編碼效率上都更具優(yōu)勢(shì)。

在過(guò)去一年里，H.265/HEVC 正式推出已是第5年個(gè)年頭，盡管 Apple 將它添加到 HLS，但其還會(huì)面對(duì)哪些機(jī)遇？今年3月以草案形式發(fā)布的AV1，在行業(yè)中備受關(guān)注，其實(shí)際應(yīng)用效果如何？有哪些實(shí)踐案例？國(guó)內(nèi) AVS 標(biāo)準(zhǔn)，相比其它編解碼技術(shù)有哪些優(yōu)勢(shì)？WebRTC 1.0 之后將面對(duì)哪些挑戰(zhàn)？

關(guān)于編解碼與 WebRTC 最新的技術(shù)實(shí)踐與演進(jìn)趨勢(shì)，在本屆 RTC 2018 實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)上，你將聽(tīng)到最官方的解答。

01

四大亮點(diǎn)話題，不虛此行

亮點(diǎn)一：臨境通信與智能交互中的聲信號(hào)獲取、處理與重構(gòu)

語(yǔ)音通信與人機(jī)語(yǔ)音交互原本是兩個(gè)不同的領(lǐng)域，但隨著技術(shù)的發(fā)展，這兩個(gè)領(lǐng)域無(wú)論是在自身的技術(shù)需求還是在面對(duì)應(yīng)用的需求方面都出現(xiàn)了高度交叉，尤其是在聲信號(hào)獲取、處理與重構(gòu)方面，兩者均需要在復(fù)雜場(chǎng)景下實(shí)現(xiàn)高保真、高質(zhì)量的遠(yuǎn)場(chǎng)拾音，并保留和重構(gòu)信號(hào)及其空間信息。

信號(hào)處理領(lǐng)域首屈一指的科學(xué)家將和大家分享聲信號(hào)感知、處理與重構(gòu)的一般過(guò)程和這個(gè)過(guò)程中所要解決的主要科學(xué)難題，及關(guān)鍵技術(shù)的現(xiàn)狀，并一同探討在復(fù)雜、遠(yuǎn)場(chǎng)拾音環(huán)境下聲信號(hào)感知、獲取、處理、傳輸與重構(gòu)所面臨的主要挑戰(zhàn)。

亮點(diǎn)二：新編碼時(shí)代，AVS2 音視頻標(biāo)準(zhǔn)演進(jìn)及應(yīng)用實(shí)例

AVS2 已經(jīng)開(kāi)始應(yīng)用于電影、電視和視頻行業(yè)。而AVS2 關(guān)鍵技術(shù)、相對(duì)優(yōu)勢(shì)是什么？應(yīng)用實(shí)踐中有哪些經(jīng)驗(yàn)？未來(lái)計(jì)劃又是如何？可能很多人并不了解。

來(lái)自 AVS 標(biāo)準(zhǔn)委員會(huì)音頻組、測(cè)試組和視頻組的組長(zhǎng)，不僅將解答這些問(wèn)題，還將分享國(guó)際/國(guó)內(nèi)新一代視頻編碼標(biāo)準(zhǔn)的最新進(jìn)展，點(diǎn)云、光場(chǎng)等新興沉浸式媒體編碼，以及深度學(xué)習(xí)在視頻編碼領(lǐng)域的應(yīng)用等內(nèi)容。

亮點(diǎn)三：新一代視頻編碼，在互動(dòng)直播服務(wù)的抉擇困境與機(jī)遇

互動(dòng)直播相對(duì)于點(diǎn)播（VOD）以及傳統(tǒng)線性電視（地面電視、有線電視、IPTV）在播放平臺(tái)、后臺(tái)架構(gòu)、技術(shù)要求等，存在諸多緯度的差異?；谶@些特殊性連帶上游視頻編碼行業(yè)近期的劇烈下滑，互動(dòng)直播平臺(tái)對(duì)于上線新編碼格式面臨著前所未有的技術(shù)挑戰(zhàn)。事實(shí)上，在全球范圍內(nèi)部署H.264以外編碼格式的直播平臺(tái)寥寥無(wú)幾。與此同時(shí)，HEVC、VP9、AV1相對(duì)H.264都有非常明顯的編碼效率優(yōu)勢(shì)。

Twitch 目前是日活躍用戶達(dá)1500萬(wàn)，高峰并發(fā)觀眾超250萬(wàn)的互動(dòng)直播平臺(tái)。來(lái)自 Twitch 的首席研發(fā)工程師將從前后臺(tái)兩方面分析播放平臺(tái)的兼容性和高畫(huà)質(zhì)實(shí)時(shí)編碼的可行性，從而大致勾勒出主講人對(duì)于未來(lái)5年內(nèi)編碼格式演進(jìn)的預(yù)測(cè)。此外，也會(huì)重點(diǎn)解析AV1中SWITCH_FRAME的設(shè)計(jì)，對(duì)于SWITCH_FRAME進(jìn)一步降低直播時(shí)延的計(jì)劃。

亮點(diǎn)四：WebRTC 1.0 與未來(lái)的演進(jìn)

在過(guò)去的一年里，WebRTC實(shí)現(xiàn)了瀏覽器端上的統(tǒng)一，并推出了業(yè)界標(biāo)準(zhǔn)WebRTC 1.0。而 WebRTC 新版本的標(biāo)準(zhǔn)制定工作已經(jīng)開(kāi)始。我們?cè)诖酥耙餐嘎哆^(guò)一部分信息。在本屆大會(huì)上，來(lái)自 Google 的 WebRTC 產(chǎn)品經(jīng)理和 WebRTC 標(biāo)準(zhǔn)委員會(huì)成員們，將帶來(lái)更進(jìn)一步的分享。

02

將有誰(shuí)來(lái)分享？

這位信號(hào)處理領(lǐng)域的科學(xué)家的技術(shù)經(jīng)歷豐富，由于篇幅有限，我們僅分享一部分。

他先后在日本國(guó)際電氣通信基礎(chǔ)技術(shù)研究所(ATR)和澳大利亞的格里菲斯大學(xué)從事過(guò)信號(hào)處理、語(yǔ)音合成、語(yǔ)音識(shí)別等領(lǐng)域的研究工作。

也在美國(guó)的貝爾實(shí)驗(yàn)室從事過(guò)自適應(yīng)信號(hào)處理、陣列及MIMO信號(hào)處理和語(yǔ)音信號(hào)處理與通信等領(lǐng)域的研發(fā)工作。

還曾擔(dān)任WeVoice公司的首席科學(xué)家。2010年回國(guó)，入選第三批國(guó)家“千人計(jì)劃”，后加入西北工業(yè)大學(xué)任“智能聲學(xué)與臨境通信中心”主任兼首席科學(xué)家，所開(kāi)發(fā)的部分技術(shù)已成功用于無(wú)線通訊、電話會(huì)議、遠(yuǎn)程協(xié)作、智能音箱、車載等語(yǔ)音通信系統(tǒng)之中。

得過(guò)國(guó)際IEEE信號(hào)處理學(xué)會(huì)最佳論文獎(jiǎng)，兩次獲得貝爾實(shí)驗(yàn)室模范團(tuán)隊(duì)獎(jiǎng)，兩次榮獲 NASA技術(shù)創(chuàng)新獎(jiǎng)，現(xiàn)已出版專著12部、在信號(hào)處理領(lǐng)域的國(guó)際著名學(xué)術(shù)刊物和會(huì)議上發(fā)表論文近200篇。

沈悅時(shí)博士在 Twitch 帶領(lǐng)的研發(fā)團(tuán)隊(duì)負(fù)責(zé)Twitch核心視頻技術(shù)的研發(fā)，職責(zé)涵蓋直播視頻轉(zhuǎn)碼、ABR播放算法、多平臺(tái)播放兼容性、畫(huà)面質(zhì)量、時(shí)延等。

沈博士同時(shí)還是 AllianceofOpenmedia 視頻編碼協(xié)議 AV1 中 SWITCH_FRAME 的發(fā)明者，他發(fā)表、申請(qǐng)超過(guò)15項(xiàng)技術(shù)專利。

在加入Twitch之前，沈博士分別就職、服務(wù)于多個(gè)數(shù)字電視設(shè)備公司（GDMediware，Ambarella，Harmonic，EricssonTV）以及開(kāi)創(chuàng)云游戲產(chǎn)業(yè)的初創(chuàng)企業(yè)OnLive。在這些公司，他主導(dǎo)、參與開(kāi)發(fā)多個(gè)廣泛應(yīng)用的H.264編碼、轉(zhuǎn)碼、非線性編輯和實(shí)時(shí)廣告插播產(chǎn)品，以及在公共互聯(lián)網(wǎng)上超低時(shí)延視頻傳輸?shù)脑朴螒蚝诵募夹g(shù)。

北京大學(xué)信息科學(xué)技術(shù)學(xué)院教授，2005年博士畢業(yè)于中國(guó)科學(xué)院計(jì)算技術(shù)研究所。2005年至2007年在美國(guó)南加州大學(xué)攻讀博士后，之后到北大工作至今。主要研究方向?yàn)橐曨l編碼及處理，已發(fā)表論文200余篇，已獲授權(quán)發(fā)明專利40多項(xiàng)。擔(dān)任IEEETransactionsonCircuitsandSystemforVideoTechnolgoy(TCSVT)、JournalofVisualCommunicationandRepresentation(JVCIR)期刊編委(AE)、中國(guó)圖象圖形學(xué)學(xué)會(huì)理事、AVS視頻組聯(lián)合組長(zhǎng)等。自2002年起，陸續(xù)參與組織AVS1、AVS+、AVS2一系列國(guó)家標(biāo)準(zhǔn)的制定，曾獲國(guó)家技術(shù)發(fā)明獎(jiǎng)二等獎(jiǎng)、國(guó)家科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)等獎(jiǎng)勵(lì)。

潘興德博士，北京郵電大學(xué)博士，全景聲科技&天籟K歌創(chuàng)始人，AVS音頻組、測(cè)試組聯(lián)合組長(zhǎng)。長(zhǎng)期從事音頻編解碼技術(shù)、聲場(chǎng)技術(shù)和音效技術(shù)的研究和應(yīng)用。主持或參與了EVD、AVS和IEEEP1857等標(biāo)準(zhǔn)的制定工作，在音頻技術(shù)領(lǐng)域申請(qǐng)了近百項(xiàng)發(fā)明專利，并被各項(xiàng)音頻技術(shù)標(biāo)準(zhǔn)廣泛采用。

目前，全景聲科技的中國(guó)全景聲技術(shù)（WANOS）已經(jīng)作為全球二套全景聲技術(shù)標(biāo)準(zhǔn)，在電影制作和發(fā)行放映獲得廣泛應(yīng)用，并已逐步進(jìn)入OTT電視等網(wǎng)絡(luò)應(yīng)用領(lǐng)域。除了AVS音頻組聯(lián)合組長(zhǎng)、測(cè)試組聯(lián)合組長(zhǎng)，現(xiàn)在還兼任IEEEVR 音頻標(biāo)準(zhǔn)召集人、IEEE、AES、電子學(xué)會(huì)和聲學(xué)學(xué)會(huì)員等職位。

陳誠(chéng)本科畢業(yè)于清華大學(xué)自動(dòng)化系，后在美國(guó)愛(ài)荷華大學(xué)獲得博士學(xué)位，現(xiàn)就職于谷歌，隸屬于視頻壓縮核心算法組，從事VP9與AV1視頻壓縮標(biāo)準(zhǔn)的研發(fā)和軟件開(kāi)發(fā)，主要貢獻(xiàn)包括AV1標(biāo)準(zhǔn)中去方塊濾波器的擴(kuò)展，基于相對(duì)距離的幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)方法，VP9/AV1編碼優(yōu)化，等。除視頻壓縮技術(shù)外，研究興趣還包括圖像壓縮，機(jī)器學(xué)習(xí)算法及其在圖像和視頻領(lǐng)域的應(yīng)用。

Zoe Liu（劉宇新）是Visionular（微幀科技）的聯(lián)合創(chuàng)始人、董事長(zhǎng)兼首席科學(xué)家。

在此之前的5年，Zoe曾任Google Chrome Media團(tuán)隊(duì)軟件工程師一職，并作為開(kāi)源視頻編解碼標(biāo)準(zhǔn)AOM/AV1的核心成員參與研發(fā)與標(biāo)準(zhǔn)制定。

她在清華大學(xué)獲得了學(xué)士、碩士與博士學(xué)位，并在美國(guó)普度大學(xué)獲得了第二個(gè)博士學(xué)位。

不論作為主要貢獻(xiàn)者還是技術(shù)負(fù)責(zé)人，Zoe在多個(gè)音視頻產(chǎn)品的設(shè)計(jì)與研發(fā)工作中都有突出貢獻(xiàn)，包括蘋(píng)果FaceTime、Tango視頻電話、Google Glass視頻電話等。Zoe還在多個(gè)著名研究實(shí)驗(yàn)室有多年的創(chuàng)新研究經(jīng)驗(yàn)，包括貝爾實(shí)驗(yàn)室、諾基亞研究中心、太陽(yáng)微處理器中心實(shí)驗(yàn)室、惠普實(shí)驗(yàn)室等。

Daniel C. Burnett在計(jì)算機(jī)標(biāo)準(zhǔn)領(lǐng)域已經(jīng)工作了十年有余，作為PeerConnection和getUserMedia W3C WEBRTC規(guī)范的編輯者，以及國(guó)際互聯(lián)網(wǎng)工程任務(wù)組（IETF）的參與者，Daniel從一開(kāi)始便投身于這個(gè)激動(dòng)人心的新領(lǐng)域中。他所編寫(xiě)的W3C標(biāo)準(zhǔn)目前廣泛應(yīng)用于大部分自動(dòng)交互式語(yǔ)音應(yīng)答（IVR）系統(tǒng)之中。 由于其在自動(dòng)語(yǔ)音識(shí)別領(lǐng)域標(biāo)準(zhǔn)上的卓越貢獻(xiàn)，Daniel曾兩度榮獲在業(yè)界久負(fù)盛名的“語(yǔ)音杰出人物獎(jiǎng)”（由《語(yǔ)音技術(shù)雜志》（Speech Tech Magazine頒發(fā)）。

Huib現(xiàn)任職Google產(chǎn)品經(jīng)理，在瀏覽器行業(yè)有著豐富經(jīng)驗(yàn)，目前帶領(lǐng)團(tuán)隊(duì)從事 Chrome 中WebRTC 1.0 的研發(fā)工作。在加入Google之前，他一直在Opera領(lǐng)導(dǎo)工程師團(tuán)隊(duì)。他為瀏覽器體驗(yàn)創(chuàng)新做出了巨大貢獻(xiàn)，并與工程師團(tuán)隊(duì)在Opera中集成了WebRTC。在瑞典，Huib與Google 的其它工程師一同進(jìn)行WebRTC項(xiàng)目的研發(fā)工作。曾在Philips研究院共同參與發(fā)明了多項(xiàng)專利，比如因蘋(píng)果手機(jī)而流行的多點(diǎn)觸控。

掌握 RTC 技術(shù)標(biāo)準(zhǔn)未來(lái)動(dòng)向，從這里開(kāi)始