2020年AI多模態(tài)交互技術(shù)將會(huì)迎來(lái)較大爆發(fā)。12月19日，在炬芯科技第四屆Techlife炬芯2019多模態(tài)交互技術(shù)開(kāi)發(fā)者大會(huì)上，來(lái)自喜馬拉雅、達(dá)摩院、玩瞳科技、IP方CEVA的行業(yè)大咖們，從內(nèi)容賦能、語(yǔ)音賦能到視覺(jué)算法賦能、IP加速等多角度，共同探討多模態(tài)交互在教育上的落地情況。

多模態(tài)交互技術(shù)賦能新智能硬件

喜馬拉雅今年的用戶突破6億，擁有7000萬(wàn)以上的主播，其中100萬(wàn)以上是認(rèn)證主播，在整個(gè)音頻行業(yè)的覆蓋率73%，每個(gè)用戶平均每天的播放時(shí)長(zhǎng)超過(guò)170分鐘，喜馬拉雅硬件生態(tài)事業(yè)部總經(jīng)理余濤表示，“我們的目標(biāo)是，提供高度粘性，給用戶提供有價(jià)值的產(chǎn)品?！?/p>

喜馬拉雅硬件生態(tài)事業(yè)部總經(jīng)理余濤

硬件生態(tài)事業(yè)部主要做內(nèi)容賦能，喜馬拉雅希望通過(guò)內(nèi)容賦能，讓大家能夠把產(chǎn)品的體驗(yàn)做得更好。在余濤看來(lái)，人們擁有很多碎片化的時(shí)間，從古代到現(xiàn)代，人本質(zhì)上的需求是不會(huì)變的，而變的是我們以怎樣的方式去實(shí)現(xiàn)人們的需求。就像喜馬拉雅現(xiàn)在做的音頻的產(chǎn)業(yè)一直是存在的，而必須求變的是，需要通過(guò)怎樣的交互，生意模式，去給大家?guī)?lái)更多的思考。

為此，喜馬拉雅接下來(lái)將會(huì)基于場(chǎng)景化，給大家?guī)?lái)不同場(chǎng)景化的東西。怎么做呢？即基于場(chǎng)景，讓人們?cè)诓煌乃槠瑫r(shí)間，可以有不同碎片時(shí)間的音頻的享受。所以我們?cè)诟鞣N場(chǎng)景下，對(duì)內(nèi)容做了篩選，比如從現(xiàn)在的故事維度到教課維度，把所有的內(nèi)容分為10個(gè)大類(lèi)，包括博學(xué)、英語(yǔ)到科普，從不同維度輸出內(nèi)容。

實(shí)際上，所有的硬件廠商，未來(lái)也是一樣。如何讓用戶把愛(ài)不釋手的硬件拿到手，那就是要能為這些用戶提供更多的價(jià)值。

喜馬拉雅正在打造深圳硬件生態(tài)，已經(jīng)為很多頭部廠商輸出內(nèi)容，比如為阿里、天貓、小米里面的喜馬專(zhuān)區(qū)，小米、小天才、華為的手表，三星、聯(lián)想的手機(jī)的內(nèi)容。此外，喜馬拉雅硬件事業(yè)創(chuàng)業(yè)部2020年提出了一個(gè)雙百計(jì)劃，即三年內(nèi)，有一百個(gè)年收入分成超過(guò)一百萬(wàn)的企業(yè)，這是接下來(lái)的目標(biāo)。

相信，喜馬拉雅的內(nèi)容在更多的智能產(chǎn)品中出現(xiàn)，豐富的內(nèi)容體系將在多模態(tài)交互技術(shù)賦能的新智能硬件中煥發(fā)更蓬勃的生命力。

“阿里巴巴在語(yǔ)音助手方面，比谷歌更好?！?/h3>

“談到達(dá)摩院語(yǔ)音實(shí)驗(yàn)室的時(shí)候，經(jīng)常有朋友很驚訝的問(wèn)到，阿里巴巴還做語(yǔ)音嗎，那做得怎么樣呢？”阿里巴巴達(dá)摩院語(yǔ)音實(shí)驗(yàn)室資深算法專(zhuān)家高杰在會(huì)上說(shuō)到。事實(shí)上，阿里巴巴達(dá)摩院的語(yǔ)音技術(shù)的表現(xiàn)已經(jīng)相當(dāng)優(yōu)秀，今年MIT Technology Review中講到2019年十大技術(shù)突破，有一點(diǎn)提到語(yǔ)音助手技術(shù)，是這么說(shuō)的，“阿里巴巴在語(yǔ)音助手方面，比谷歌更好。”這個(gè)評(píng)論是針對(duì)，阿里菜鳥(niǎo)送貨電話機(jī)器人去做的。高杰表示，在我們擅長(zhǎng)的小小領(lǐng)域，比如電商客服，送貨，人工智能對(duì)話方面是實(shí)實(shí)在在做得最好的。

圖：阿里巴巴達(dá)摩院語(yǔ)音實(shí)驗(yàn)室資深算法專(zhuān)家高杰

圖：MIT Technology Review 2019提到“阿里巴巴在語(yǔ)音助手方面，比谷歌更好?！?/em>

高杰還從三個(gè)方面談到了達(dá)摩院的語(yǔ)音能力和優(yōu)勢(shì)，他說(shuō)，“數(shù)據(jù)積累、算法和計(jì)算能力是語(yǔ)音AI三大基石。在數(shù)據(jù)積累方面，達(dá)摩院語(yǔ)音技術(shù)連續(xù)4年，每年識(shí)別阿里巴巴集團(tuán)內(nèi)超過(guò)1億通的電話，還提供手機(jī)淘寶、支付寶、手機(jī)高德等阿里巴巴集團(tuán)內(nèi)所有App的語(yǔ)音識(shí)別相關(guān)功能，具有電視、車(chē)載、兒童教育、公共空間等多領(lǐng)域的語(yǔ)音交互數(shù)據(jù)，具備多語(yǔ)音、重口音、方言能力；在算法方面，具有三國(guó)五地精英齊聚的百人精英團(tuán)隊(duì)，具備信號(hào)處理、語(yǔ)音識(shí)別、語(yǔ)音合成、對(duì)話處理的能力；在計(jì)算能力方面，背靠阿里云，彈性計(jì)算百萬(wàn)并發(fā)經(jīng)受雙十一考驗(yàn)，語(yǔ)音識(shí)別使業(yè)內(nèi)最先進(jìn)的CTC-LFR建模技術(shù)提速3倍以上?！?/p>

在會(huì)上，高杰重點(diǎn)介紹兩款產(chǎn)品，語(yǔ)音原子產(chǎn)品和語(yǔ)音交互產(chǎn)品。語(yǔ)音原子產(chǎn)品，包含語(yǔ)音識(shí)別和語(yǔ)音合成，具有自學(xué)習(xí)、彈性計(jì)算、穩(wěn)定、方便接入的特點(diǎn)。語(yǔ)音交互產(chǎn)品旨在讓每臺(tái)設(shè)備都能聽(tīng)會(huì)說(shuō)懂你，該產(chǎn)品從2015年到2018年，已經(jīng)在手機(jī)、汽車(chē)、電視、智能家居等場(chǎng)景中應(yīng)用，包括支付寶、蝦米音樂(lè)、多模態(tài)地鐵售票機(jī)、手機(jī)高德APP、兒童機(jī)器人、榮威系列、海爾遠(yuǎn)場(chǎng)景語(yǔ)音電視等等。

高杰表示，達(dá)摩院語(yǔ)音實(shí)驗(yàn)室的愿景是為阿里巴巴經(jīng)濟(jì)體提供無(wú)處不在的語(yǔ)音交互能力。語(yǔ)音技術(shù)作為多模態(tài)中發(fā)展最成熟，也是最重要的一環(huán)，我們期待語(yǔ)音技術(shù)在多模態(tài)交互場(chǎng)景中有著更多的亮眼表現(xiàn)。

視覺(jué)將是下一代機(jī)器人的基本能力

玩瞳科技VisionTal專(zhuān)注于實(shí)體學(xué)習(xí)桌面的智能視覺(jué)分析，旨在打造多模態(tài)的智能學(xué)習(xí)體驗(yàn)。在會(huì)上，玩瞳科技CTO潘鑫表示，政策利好產(chǎn)業(yè)發(fā)展，2018年，中國(guó)發(fā)布的《教育信息2.0行動(dòng)計(jì)劃》強(qiáng)調(diào)“智慧教育創(chuàng)新發(fā)展行動(dòng)”要加強(qiáng)智能教學(xué)助手、教育機(jī)器人、智能學(xué)伴、語(yǔ)音文字信息化等關(guān)鍵技術(shù)研究與應(yīng)用。教育機(jī)器人作為機(jī)器人應(yīng)用于教育領(lǐng)域的代表，將成為智慧學(xué)習(xí)環(huán)境的重要組成部分。

玩瞳科技CTO潘鑫

在談到下一代機(jī)器人的發(fā)展方向時(shí)，潘鑫認(rèn)為，視覺(jué)將是下一代機(jī)器人的基本能力。視覺(jué)的能力將使機(jī)器人改變以往的被動(dòng)服務(wù)形式，邁向主動(dòng)服務(wù)。從而為使用者提供更好的服務(wù)體驗(yàn)。

玩瞳科技在教育視覺(jué)領(lǐng)域深耕多年，在視覺(jué)識(shí)別算法上走在行業(yè)前列，在完整的技術(shù)體系支持下，推出了多款視覺(jué)識(shí)別的教育硬件產(chǎn)品，并且和機(jī)器人/故事機(jī)、教育電子、互聯(lián)網(wǎng)巨頭、垂直教育多領(lǐng)域合作，積累了豐富的實(shí)踐經(jīng)驗(yàn)。

讓教育硬件從聽(tīng)到到看，多模態(tài)的交互趨勢(shì)，玩瞳已做好準(zhǔn)備。

CEVA DSP一站式解決方案助力極速開(kāi)發(fā)產(chǎn)品

CEVA是一家以色列的IP授權(quán)公司，在DSP領(lǐng)域處于領(lǐng)先地位，客戶遍布全球各地，行業(yè)應(yīng)用覆蓋非常廣，包括計(jì)算機(jī)視覺(jué)、AI、通訊等領(lǐng)域。CEVAKeyAccountsMananger田元在會(huì)上表示，CEVA每年出貨量非?？捎^，有CEVAinside的終端產(chǎn)品出貨超過(guò)10億臺(tái)。

CEVA Key Accounts Mananger 田元

在會(huì)上，田元重點(diǎn)談到音頻相關(guān)的應(yīng)用，重點(diǎn)講到智能音箱和TWS耳機(jī)，調(diào)研機(jī)構(gòu)數(shù)據(jù)顯示，接下來(lái)幾年，TWS耳機(jī)每年都有500—800 milion的出貨量，智能音箱市場(chǎng)表現(xiàn)更為穩(wěn)定，接下來(lái)幾年會(huì)維持大概200 milion的出貨量，在田元看來(lái)，未來(lái)幾年，整個(gè)市場(chǎng)需求相當(dāng)可觀。

那么，面對(duì)如此大的市場(chǎng)需求，為什么用DSP而不是通用處理器來(lái)處理跟語(yǔ)音相關(guān)的東西？田元解釋道，DSP，即數(shù)字信號(hào)處理器，語(yǔ)音作為數(shù)字信號(hào)，天然需要用DSP處理。那么又為什么用CEVA的DSP？田元說(shuō)，“CEVA可以同時(shí)提供低功耗產(chǎn)品和高性能產(chǎn)品，此外，還和軟件合作伙伴們一起，打造非常完備的生態(tài)系統(tǒng)，可以保證開(kāi)發(fā)者、芯片客戶、終端用戶，快速開(kāi)發(fā)產(chǎn)品，快速落地。CEVA除了提供DSPIP本身之外，還提供整套一站式解決方案，涵蓋DSP IP、跟音頻相關(guān)的軟件等等。”

CEVA還會(huì)陣對(duì)不同的場(chǎng)景需求，提供不同的解決方案，這樣，IC設(shè)計(jì)公司可以有更多的選擇。以炬芯的芯片為例，超低功耗的解決方案對(duì)應(yīng)炬芯ATS283X平臺(tái)，高性能解決方案對(duì)應(yīng)ATS3609D平臺(tái)，優(yōu)質(zhì)的芯片集成的優(yōu)質(zhì)IP，可為終端智能硬件的產(chǎn)生做好充足準(zhǔn)備。

AI多模態(tài)交互技術(shù)智啟新教育

人機(jī)交互正在從鍵盤(pán)鼠標(biāo)的交互轉(zhuǎn)變成語(yǔ)音視覺(jué)等多模態(tài)交互。交互門(mén)檻的不斷降低，給交互體驗(yàn)帶來(lái)了明顯提升。炬芯科技產(chǎn)品總監(jiān)肖凱平表示，語(yǔ)音和視覺(jué)是AI交互主要的交互手段，語(yǔ)音方面，不同的產(chǎn)品，要求會(huì)有不同，但體驗(yàn)一定要“過(guò)門(mén)檻”，2mic是入門(mén)級(jí)要求，需要在本地完成AFE+WMC所有的計(jì)算；視覺(jué)方面，算法的計(jì)算量很大，本地化NN的性價(jià)比不夠，在本地完成一部分計(jì)算，大部分工作在“云”完成。

炬芯科技產(chǎn)品總監(jiān)肖凱平

為實(shí)現(xiàn)更優(yōu)質(zhì)交互體驗(yàn)，炬芯作為一家芯片設(shè)計(jì)廠商的也在持續(xù)深耕技術(shù)，希望用更優(yōu)質(zhì)產(chǎn)品給智能機(jī)器賦能。炬芯科技推出了ATS3607、ATS3607D、ATS3609、ATS3609D四款多模態(tài)智能交互芯片，充足的算力、超低的功耗、強(qiáng)大的可擴(kuò)展性，將賦予機(jī)器更多的可能性。

圖：炬芯多模態(tài)交互AI芯片平臺(tái)ATS3609D

據(jù)肖凱平介紹，炬芯多模態(tài)交互AI芯片平臺(tái)ATS3609D，具有語(yǔ)音+圖像智能、音視頻能力、教育內(nèi)容等，其中語(yǔ)音+圖像智能更適用“重”語(yǔ)音，“輕”圖像雙模交互的場(chǎng)景；音視頻能力雙向視頻通話，應(yīng)用在線教育產(chǎn)品；教育+AI，可以給傳統(tǒng)教育提供不一樣的體驗(yàn)。

圖：炬芯多MIC語(yǔ)音芯片平臺(tái)ATS3607D，可應(yīng)用于車(chē)載、家電、辦公領(lǐng)域