第二十八屆中國國際廣播電視信息網(wǎng)絡(luò)展覽會(huì)(以下簡稱CCBN2021)于2021年5月28日至30日在北京中國國際展覽中心（靜安莊館）舉行。思必馳IoT家電線產(chǎn)品總監(jiān)于鵬偉受邀參加并帶來了精彩主題分享，全面展示思必馳語音技術(shù)情況以及多模態(tài)技術(shù)在帶屏終端的應(yīng)用與經(jīng)驗(yàn)。

CCBN2021展會(huì)展覽面積60,000平米，設(shè)置專業(yè)展區(qū)20余個(gè)，舉辦會(huì)議論壇和專項(xiàng)活動(dòng)30余場(chǎng)，同步進(jìn)行線上展覽和會(huì)議交流。在5月28日同期舉辦的CCBN BDF2021智慧廣電+系列論壇——智能終端篇上，思必馳IoT家電線產(chǎn)品總監(jiān)于鵬偉進(jìn)行了題為《帶屏終端場(chǎng)景下的多模態(tài)交互》的主題分享，全面展示了思必馳語音技術(shù)情況以及多模態(tài)技術(shù)在帶屏終端的應(yīng)用與經(jīng)驗(yàn)。

在2021世界超高清視頻（4K/8K）產(chǎn)業(yè)發(fā)展大會(huì)上，工業(yè)和信息化部部長肖亞慶表示，過去一年中，國內(nèi)4K超高清電視的市場(chǎng)占比超過了70%，同時(shí)8K電視也開始加速滲透。

自去年以來，受疫情影響，民眾居家娛樂需求提升，使得4K電視加速普及。據(jù)資料顯示，2020年國內(nèi)4K電視總銷量約為3338萬臺(tái)，銷售額超過千億元。中國電子信息產(chǎn)業(yè)發(fā)展研究院院長張立介紹稱，未來8K電視將成為電視廠商旗艦產(chǎn)品的主流配置。

據(jù)Strategy Analytics統(tǒng)計(jì)，2020年全球8K電視的銷量低于預(yù)期，僅為35萬臺(tái)。但到了2021年，這個(gè)數(shù)字有望突破百萬。到2025年，8K電視將進(jìn)入全球范圍內(nèi)超過7200萬個(gè)家庭之中，其中以北美和亞太地區(qū)占比最高。

于鵬偉在分享中提到，智能電視作為「客廳經(jīng)濟(jì)」中的核心代表產(chǎn)品，占據(jù)客廳場(chǎng)景最大的流量入口，一直是各大家電廠商爭(zhēng)奪的核心領(lǐng)域。思必馳依托智能語音行業(yè)深耕多年的經(jīng)驗(yàn)及關(guān)鍵技術(shù)優(yōu)勢(shì)，為智能電視打造流暢自然的語音入口+輸出，同時(shí)背靠DUI平臺(tái)，打通了超過300家第三方資源接口，為用戶提供全屋家居控制、交通出行、新聞資訊、生活?yuàn)蕵返雀黝I(lǐng)域內(nèi)容服務(wù)。除此之外，于鵬偉還分別介紹了思必馳的AMAEC技術(shù)、TH1520芯片和多模態(tài)交互技術(shù)的應(yīng)用。

AMAEC，杜比全景聲效的最佳搭檔

AMAEC（AISpeech Multichannel Acoustic?Echo?Cancellation）是思必馳推出的多通道回聲消除技術(shù)，采用傳統(tǒng)信號(hào)處理方法結(jié)合深度學(xué)習(xí)網(wǎng)絡(luò)，對(duì)每一獨(dú)立的發(fā)聲通道建立專有濾波系統(tǒng)，使得多揚(yáng)聲器系統(tǒng)的回聲消除達(dá)到極佳效果。

思必馳AMAEC，適配4/6/8麥+N回路場(chǎng)景，保障中高端電視杜比全景聲效下的語音交互無障礙進(jìn)行。流暢自然智能語音交互與杜比全景聲絕妙體驗(yàn)雙管齊下，實(shí)為中高端智能電視更優(yōu)之選。

目前思必馳與電視領(lǐng)域頭部企業(yè)海信達(dá)成深度合作，海信及其子品牌東芝高端電視型號(hào)已全面搭載思必馳AMAEC技術(shù)，包括海信85U9E、海信75U9G Pro、海信85U7G max、東芝940、東芝840、東芝740等。

TH1520，系統(tǒng)CPU高占用的救星

TH1520是一款A(yù)I專用的雙核增強(qiáng)型低功耗DSP芯片。大容量片內(nèi)靜態(tài)存儲(chǔ)，多通道音頻解碼支持廣域采樣率，可以為上層SOC端的工作減輕壓力。另外，芯片支持低功耗模式和全速模式，實(shí)現(xiàn)毫瓦級(jí)待機(jī)功耗和百毫瓦級(jí)的全速工作功耗。

TH1520集成思必馳語音算法，家居噪音環(huán)境下可以實(shí)現(xiàn)5米遠(yuǎn)場(chǎng)喚醒率>95%，識(shí)別準(zhǔn)確率>92%，誤喚醒僅1次/48h（國際認(rèn)可1次/24h為優(yōu)秀水平）；支持喚醒詞自定義，可內(nèi)置本地指令數(shù)百條，響應(yīng)時(shí)間<500ms；背靠DUI平臺(tái)，可自選對(duì)接天氣、音樂、故事、百科、新聞等海量技能，云端服務(wù)無限制。

目前海信S7F社交電視、近日發(fā)布的樂視GS系列電視，也同樣搭載了TH1520語音專用芯片，在未來幾個(gè)月還會(huì)有大批搭載TH1520芯片的智能電視發(fā)布出貨。

多模態(tài)交互技術(shù)的應(yīng)用

于鵬偉表示，思必馳全鏈路語音交互技術(shù)在一般家居場(chǎng)景底下能夠?yàn)橛脩籼峁┝鲿车慕换ンw驗(yàn)。

在一些特殊的場(chǎng)景底下，比如多位用戶在激烈的玩電子游戲、親朋好友聚會(huì)等，很容易出現(xiàn)多人同時(shí)交互的情況出現(xiàn)，此時(shí)純語音交互則很難對(duì)聲源進(jìn)行精準(zhǔn)判斷，交互成功率會(huì)直線下降。

針對(duì)周邊嘈雜干擾大、多人密集同時(shí)交互的情況，思必馳結(jié)合全鏈路語音交互技術(shù)及自研計(jì)算機(jī)視覺技術(shù)，推出多模態(tài)交互技術(shù)方案，根據(jù)視覺和音頻特征，通過多模態(tài)融合VAD分離出說話人的目標(biāo)語音，拒識(shí)其他說話人的聲音，從而實(shí)現(xiàn)輔助降噪、提高聲源定位的精準(zhǔn)度，即使說話人在移動(dòng)狀態(tài)下也不受影響。

思必馳多模態(tài)交互技術(shù)方案還可以應(yīng)用在會(huì)議大屏、商場(chǎng)顯示大屏、地鐵購票機(jī)等商用帶屏顯示設(shè)備中，目前此技術(shù)已在全國多個(gè)地區(qū)地鐵的購票設(shè)備中落地。思必馳始終堅(jiān)持技術(shù)源頭創(chuàng)新，結(jié)合行業(yè)最新動(dòng)態(tài)，為企業(yè)提供更優(yōu)質(zhì)的自然語言交互解決方案，為用戶帶來更自然的人機(jī)交互體驗(yàn)。

原文標(biāo)題：CCBN | 思必馳：帶屏終端場(chǎng)景下的多模態(tài)交互

文章出處：【微信公眾號(hào)：思必馳】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq