隨著智能體時(shí)代到來(lái)，云知聲在“山海·Atlas”通用智算基座持續(xù)演進(jìn)基礎(chǔ)上，年前實(shí)現(xiàn)了“山?！ぶt(yī)”5.0醫(yī)療大模型升級(jí)，今天迎來(lái)了“山?！ぶ簟?.0的重磅發(fā)布，正在完成“一基兩翼”技術(shù)戰(zhàn)略升級(jí)的能力拼圖。

“山?！ぶ簟贝竽Ｐ?2.0——依托“山?！tlas”的多模態(tài)、跨語(yǔ)言基座能力，讓“山?！ぶt(yī)”等垂直專業(yè)智能體，惠及千家萬(wàn)戶——聽懂專業(yè)與鄉(xiāng)音、聊出親情與溫度、極致機(jī)敏反應(yīng)，是本次升級(jí)的三大能力進(jìn)化。

1聽懂專業(yè)與鄉(xiāng)音——ASR全景升級(jí)

此次模型ASR能力在公開測(cè)試集和自有全場(chǎng)景測(cè)試集中，均顯現(xiàn)了領(lǐng)先的語(yǔ)音識(shí)別能力，在評(píng)測(cè)中實(shí)現(xiàn)了從通用到極端全面的領(lǐng)先水平，超過(guò)了國(guó)內(nèi)主流的開源和閉源語(yǔ)音大模型，達(dá)到業(yè)界最高水平。特別是在高難度的復(fù)雜噪音與方言口音場(chǎng)景下，相比主流ASR模型性能提升了2.5%至3.6%，在復(fù)雜背景音環(huán)境下識(shí)別準(zhǔn)確率更是在業(yè)內(nèi)首次突破90%。

公開測(cè)試集

自有測(cè)試集

案例展示1：高噪環(huán)境下精準(zhǔn)識(shí)別——商場(chǎng)購(gòu)物

真實(shí)的語(yǔ)音識(shí)別環(huán)境中，還經(jīng)常會(huì)面臨專業(yè)術(shù)語(yǔ)識(shí)別不清、邏輯混亂等挑戰(zhàn)。作為此次升級(jí)中最大的亮點(diǎn)，即模型“能夠聽得懂專業(yè)話”，它可結(jié)合上下文和行業(yè)術(shù)語(yǔ)，聽懂專業(yè)場(chǎng)景中的每一個(gè)術(shù)語(yǔ)與指令，識(shí)別精度提升 30%。“它不是在‘聽字’，而是在‘理解事’”。

例如在汽車4S店試駕場(chǎng)景中，當(dāng)銷售提及“方向盤”相關(guān)描述時(shí)，即使上下文未明確出現(xiàn)“半幅方向盤”，模型仍能通過(guò)邏輯推理準(zhǔn)確識(shí)別。

案例展示2：上下文理解——汽車4S店試駕

而在嚴(yán)肅的醫(yī)療場(chǎng)景，模型能顯式注入“依帕司他”“二甲雙胍”等術(shù)語(yǔ)進(jìn)行定向增強(qiáng)，確保識(shí)別結(jié)果更精準(zhǔn)。

案例展示3：專業(yè)知識(shí)庫(kù)——醫(yī)療對(duì)話錄音轉(zhuǎn)寫

同時(shí)，模型支持30余種中文方言及14種國(guó)際語(yǔ)言的識(shí)別轉(zhuǎn)寫，無(wú)論是晦澀的粵語(yǔ)、閩南語(yǔ)、上海話，還是英、日、韓、法、德、泰等國(guó)際語(yǔ)言，均能實(shí)現(xiàn)精準(zhǔn)轉(zhuǎn)寫。更進(jìn)一步，模型還能融合講義等視覺語(yǔ)義，構(gòu)建“視聽融合”閉環(huán)交互，進(jìn)一步提升識(shí)別結(jié)果。

案例展示4：多方言語(yǔ)種混切——商務(wù)會(huì)議

2聊出親情與溫度——TTS聲動(dòng)進(jìn)化

如果說(shuō)ASR能力是“耳朵”，那么TTS能力便是“嘴巴”。山?！ぶ?TTS以“高度擬人+創(chuàng)意多元”為核心，讓語(yǔ)音合成兼具真實(shí)感與創(chuàng)造力，使科技更有溫度。

它目前支持12種方言(粵語(yǔ)、四川話、上海話全拿下)+ 10種外語(yǔ)，清嗓、笑聲、呼吸聲都自然還原，甚至能切換 12種普通話風(fēng)格，溫柔、干練、親切隨你選?！翱萍疾辉摳吒咴谏希撚媚阕钍娣姆绞秸f(shuō)話。”

案例展示5：細(xì)膩情感表達(dá)——AI電商直播

山?！ぶ?.0-TTS合成文本

高興：“家人們!下一個(gè)品!魔法保溫杯!矮油厲害啦!倒進(jìn)去的開水，只要60秒!一分鐘的時(shí)間，就變55度溫泉水!再倒杯冰美式進(jìn)去，半小時(shí)還是透心涼!哎淺嘗一下!”

咳嗽：“咳咳…對(duì)、對(duì)不起啊…太激動(dòng)了嗆到了…”

沉穩(wěn)：“呃，等一下等一下等一下…這個(gè)杯底怎么在漏水啊?不是吧剛開播就翻車?我打開看下啊，害，是我剛才試用的時(shí)候把密封圈給碰歪了。啊沒事，調(diào)一下，真金不怕火煉啊!這就沒問(wèn)題啦!”

大聲：“哎，但是家人們福利來(lái)了啊!品牌方剛說(shuō)了：看過(guò)剛才翻車的各位，只要您下單，立享三年只換不修!上鏈接!”

目前模型已支持粵語(yǔ)、四川話、上海話等12種方言，以及日語(yǔ)、韓語(yǔ)、泰語(yǔ)等10種外語(yǔ)。可實(shí)現(xiàn)跨方言、跨語(yǔ)種、跨情感的組合生成，針對(duì)小語(yǔ)種的語(yǔ)音韻律也進(jìn)行了專項(xiàng)優(yōu)化——如日語(yǔ)的“促音”、泰語(yǔ)的“聲調(diào)變化”，合成自然度接近母語(yǔ)使用者。

案例展示6：多語(yǔ)種、方言支持——文旅宣傳

山?！ぶ?.0-TTS合成文本

這就是上海，等你來(lái)解鎖更多精彩。

此外，還支持一句話聲音復(fù)刻以及播客級(jí)長(zhǎng)文本合成，賦能有聲內(nèi)容創(chuàng)作與互動(dòng)娛樂。

案例展示7：一句話聲音復(fù)刻——視頻配音

結(jié)合樣音1的音色與樣音2的情感特征，生成目標(biāo)文本的音頻

山?！ぶ?.0-TTS合成文本

什么?還要我等三十分鐘?一天有多少個(gè)三十分鐘?這天都快黑了，誰(shuí)愛等誰(shuí)等。

案例展示8：音色復(fù)刻——兒童伴讀

山海·知音2.0-TTS合成文本

在遠(yuǎn)離城市燈火的地方，有一處“靜語(yǔ)森林”。這里的樹葉會(huì)在傍晚唱起輕柔的搖籃曲，溪水會(huì)隨著月光流淌出銀色的旋律。在森林最深處住著一只名叫小絨的松鼠，她有一個(gè)特別的身份——她是這片森林的星光編織師。

案例展示9：播客級(jí)長(zhǎng)文本合成——播客

山海·知音2.0-TTS合成文本

A:哎，你有沒有注意到，長(zhǎng)大后我們學(xué)到的那些最關(guān)鍵的生存技能，其實(shí)根本不是學(xué)校里教的那些東西?

B:呵，你是說(shuō)…職場(chǎng)摸魚?

A:呵呵，太膚淺了!呵!其實(shí)是“如何體面地結(jié)束一場(chǎng)你不想繼續(xù)的對(duì)話”。這可是門藝術(shù)啊!

B:對(duì)對(duì)對(duì)!我最懂這種感受!

A:從電梯里被話癆同事攔住，到家庭聚會(huì)上應(yīng)付催婚的親戚…

B:哦——!我知道了!還有就是，接到那些討厭的推銷電話時(shí)，如何不讓對(duì)方覺得你是個(gè)壞人，卻又能干脆利落地把它掛掉!

基于大模型的語(yǔ)音合成通常采用流匹配(Flow Matching)將大語(yǔ)言模型預(yù)測(cè)的語(yǔ)音Token轉(zhuǎn)換為梅爾譜，再通過(guò)神經(jīng)聲碼器(Neural Vocoder)重建為最終語(yǔ)音。但該方案普遍存在延遲較高的問(wèn)題。業(yè)界常通過(guò)流匹配分段處理來(lái)降低延遲，但效果有限，且容易犧牲音質(zhì)。

為實(shí)現(xiàn)真正高質(zhì)量、低延遲的流式語(yǔ)音生成，云知聲創(chuàng)新性地設(shè)計(jì)了基于純因果注意力機(jī)制的流匹配模塊，并與神經(jīng)聲碼器進(jìn)行聯(lián)合優(yōu)化，構(gòu)建出端到端的純流式推理架構(gòu)。該方案在不損失合成質(zhì)量的前提下，顯著降低系統(tǒng)延遲——在低并發(fā)場(chǎng)景下，首包延遲已壓縮至90毫秒以內(nèi)，達(dá)到業(yè)界領(lǐng)先的實(shí)時(shí)交互水平。

因果注意力機(jī)制

3極致機(jī)敏反應(yīng)——端到端全雙工交互

真正的智能交互，在于“理解語(yǔ)境、感受情緒、自然回應(yīng)”。端到端模型實(shí)現(xiàn)流暢全雙工面臨的核心挑戰(zhàn)是：需在流式收聲時(shí)同步完成理解、決策與生成，并在任意打斷瞬間保持對(duì)話狀態(tài)連貫。山?！ぶ?.0基于端到端交互大腦攻克了這一難題，將全雙工能力提升至新高度。

支持隨時(shí)打斷、即時(shí)接話、連貫追問(wèn)，就像和一個(gè)真正聰明的朋友聊天，行云流水，毫無(wú)卡頓。“這不是問(wèn)答，是對(duì)話?！?/p>

案例展示10：端到端全雙工交互——與山海大模型對(duì)話

背后是誰(shuí)在支撐這一切?

答案是云知聲獨(dú)創(chuàng)的 “山?！tlas”智算一體基座，將通用多模態(tài)大模型底座與Atlas基礎(chǔ)架構(gòu)深度整合，既是專業(yè)智能體的基礎(chǔ)，也是感知AI中樞的根基——將傳統(tǒng)的ASR、TTS和全雙工能力，有效整合到端到端大模型中，做到傳統(tǒng)模塊級(jí)聯(lián)無(wú)法實(shí)現(xiàn)的極致交互體驗(yàn)和效率。

智起山海，知音萬(wàn)物

從手術(shù)室到鄉(xiāng)間小路，從駕駛艙到老人床頭，

云知聲相信：真正的智能，不是炫技，而是融入生活。

山海·知音 2.0，

讓 AI 不再“人工智障”，

而是聽得清、說(shuō)得真、懂人心的伙伴。

這一次，AI 終于學(xué)會(huì)好好說(shuō)話了。