明靜不想去醫(yī)院了。

她不想每次走進(jìn)醫(yī)院時(shí)，都被護(hù)士或是分診臺(tái)導(dǎo)醫(yī)勸說(shuō)，回家?guī)细改冈賮?lái)。

“我只是嗓子不舒服，爸媽都65歲了，我不想這點(diǎn)事都讓他們陪。”

明靜是一名聽障人士。去醫(yī)院看病、接外賣電話、打一輛網(wǎng)約車或是辦一張銀行卡，每一件日常小事，對(duì)她這樣的聽障人士而言，都是困難重重。

“執(zhí)教的這幾年，我做得最常見的工作，是陪學(xué)生去醫(yī)院看病?！泵黛o的老師——天津理工大學(xué)聾人工學(xué)院副院長(zhǎng)袁甜甜感慨。

這所專門面向聽障人士的高等工科特殊教育學(xué)院，人稱“聾人小清華”，這里，容納著500多名像明靜這樣的學(xué)生。

2018年，聾人工學(xué)院的老師和學(xué)生們共同啟動(dòng)了智能手語(yǔ)翻譯項(xiàng)目，并孵化出成果公司“鯨言科技”。

近幾年，百度先后與天津理工大學(xué)、鯨言科技合作，共同研發(fā)出百度智能云曦靈AI手語(yǔ)平臺(tái)與雙向手語(yǔ)翻譯機(jī)，讓手語(yǔ)的“聲音”，被更多人聽見。

//缺失的“基礎(chǔ)設(shè)施”

理解AI手語(yǔ)，先要了解聽障人群面臨的問(wèn)題。第二次全國(guó)殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國(guó)大約有2004萬(wàn)的聽力殘疾人，是世界上聽力殘疾人數(shù)最多的國(guó)家。

然而，無(wú)論線下線上，都鮮有能真正幫助聽障人群的服務(wù)設(shè)施。據(jù)調(diào)查，我國(guó)全職從事手語(yǔ)翻譯職業(yè)的人員不足千人，約97%的聾人因?yàn)槭终Z(yǔ)翻譯的缺失面臨就診困難的問(wèn)題。

手語(yǔ)是大多數(shù)聽力殘疾人的第一語(yǔ)言。但是，作為視覺語(yǔ)言，手語(yǔ)與健全人使用的有聲語(yǔ)言有著天然的不同，這種不同造就了聽障人群特有的思維邏輯，也構(gòu)成了他們對(duì)有聲語(yǔ)言的理解困難。

袁甜甜從語(yǔ)言學(xué)的角度舉例，如果聽障人士說(shuō)“滅火”，最先打出的手語(yǔ)是“火”，因?yàn)樵谝曈X語(yǔ)言里最先出現(xiàn)的是所要闡述的重點(diǎn)人事物，聽障人士習(xí)慣于先表達(dá)人事物，再表達(dá)處理方式或多者之間的關(guān)系。

在她的課堂上也是如此，即使有實(shí)時(shí)翻譯語(yǔ)音的字幕，袁甜甜還是會(huì)用手語(yǔ)配合口語(yǔ)，方便同學(xué)們理解。

//會(huì)打手語(yǔ)的數(shù)字人

張帆在《無(wú)聲的綻放》中寫道，對(duì)于聽障問(wèn)題，重要的是消除社會(huì)歧視，而非消除“不正常”；重要的是公正，而非藥物與慈善。

為幫助聽障人群解決“從手語(yǔ)到口語(yǔ)”的交流問(wèn)題，2022年，百度推出了AI手語(yǔ)平臺(tái)，研發(fā)了針對(duì)線上場(chǎng)景的AI手語(yǔ)數(shù)字人和針對(duì)線下場(chǎng)景的雙向手語(yǔ)翻譯機(jī)，實(shí)現(xiàn)了“手語(yǔ)-漢語(yǔ)”的智能互譯。

在手語(yǔ)動(dòng)作的專業(yè)性方面，百度智能云曦靈數(shù)字人產(chǎn)品團(tuán)隊(duì)聯(lián)合手語(yǔ)語(yǔ)言學(xué)專家、特殊教育專家以及天津理工大學(xué)聾人工學(xué)院等，制定了面向人工智能應(yīng)用的自然手語(yǔ)標(biāo)注規(guī)范，建設(shè)了大規(guī)模自然手語(yǔ)翻譯語(yǔ)料庫(kù)，使模型能夠生成符合聽障人群習(xí)慣的自然手語(yǔ)。

通過(guò)百度數(shù)字人4D掃描技術(shù)訓(xùn)練的AI手語(yǔ)數(shù)字人，不僅能呈現(xiàn)出真實(shí)生動(dòng)的面部表情，還能借助動(dòng)作融合算法，如真人般流暢表達(dá)11000多個(gè)《國(guó)家通用手語(yǔ)詞典》所涵蓋的手語(yǔ)動(dòng)作，為聽障群體打造更具情感表現(xiàn)力的溝通體驗(yàn)。

目前，百度的AI手語(yǔ)數(shù)字人已經(jīng)能夠識(shí)別語(yǔ)音、打出手語(yǔ)，在實(shí)時(shí)直播中用數(shù)字人形象進(jìn)行手語(yǔ)同步翻譯，在央視NBA直播、冬奧會(huì)開幕式上，都出現(xiàn)過(guò)百度的AI手語(yǔ)數(shù)字人主播。

//從輸出到理解，讓AI“聽懂手語(yǔ)”

隨著AI技術(shù)爆發(fā)與數(shù)字人的廣泛應(yīng)用，大模型的對(duì)話也變得更加生動(dòng)。

AI手語(yǔ)數(shù)字人在“打出手語(yǔ)”的基礎(chǔ)上，也開始嘗試“理解”聽障人士的手語(yǔ)表達(dá)。與只能單向輸出信息的模式相比，理解了手語(yǔ)的數(shù)字人能夠更好地完成雙向溝通的閉環(huán)。

從2024年開始，百度正式投入雙向手語(yǔ)翻譯機(jī)的研發(fā)及生產(chǎn)，這是多模態(tài)AI模型的典型應(yīng)用，也是百度各項(xiàng)AI技術(shù)的集成。

當(dāng)聽障人士打出手語(yǔ)之后，翻譯機(jī)需要先通過(guò)視覺識(shí)別及自然語(yǔ)言處理技術(shù)，將手語(yǔ)翻譯為漢語(yǔ)；健全人理解后，將要回復(fù)的內(nèi)容通過(guò)語(yǔ)音識(shí)別驅(qū)動(dòng)數(shù)字人翻譯，最終以手語(yǔ)和文字的形式，再呈現(xiàn)給聽障人士。其中，無(wú)論是視覺識(shí)別還是自然語(yǔ)言處理，都是AI模型的核心能力。

不過(guò)，只有模型能力遠(yuǎn)遠(yuǎn)不夠。

實(shí)際使用場(chǎng)景中，面臨著更多的技術(shù)考驗(yàn)，比如：

◎聽障人士快速打出的手語(yǔ)時(shí)，會(huì)導(dǎo)致手部輪廓細(xì)節(jié)模糊，增加模型理解成本；

◎混雜的畫面背景會(huì)分散模型對(duì)手部區(qū)域的注意力，造成識(shí)別錯(cuò)誤；

◎數(shù)據(jù)采集時(shí)出現(xiàn)的手語(yǔ)孤立詞會(huì)增加模型識(shí)別錯(cuò)誤概率；

◎手語(yǔ)-漢語(yǔ)在語(yǔ)義等層面是多對(duì)多的關(guān)系，和具體使用場(chǎng)景有很強(qiáng)的相關(guān)性，任何不考慮語(yǔ)言學(xué)規(guī)律的“蠻力”翻譯都可能會(huì)造成天差地別的錯(cuò)誤，影響聾健溝通的質(zhì)量。

解決這些技術(shù)問(wèn)題之后，模型還需要更多的訓(xùn)練數(shù)據(jù)，而數(shù)據(jù)的標(biāo)注要求工作者具備手語(yǔ)能力。因此，手語(yǔ)翻譯模型訓(xùn)練及測(cè)試數(shù)據(jù)的生產(chǎn)、處理、分析基本都需要由手語(yǔ)使用者來(lái)完成。

近幾年，百度、天津理工大學(xué)、鯨言科技在全社會(huì)范圍內(nèi)收集了近千萬(wàn)自然手語(yǔ)（含視頻、文本、標(biāo)注等）作為多模態(tài)模型訓(xùn)練數(shù)據(jù)，終于在2024年完成了“雙向手語(yǔ)翻譯機(jī)”的研發(fā)。

//聽見手語(yǔ)的聲音

明靜也接觸了手語(yǔ)數(shù)據(jù)的采集工作。對(duì)產(chǎn)品進(jìn)行交互性測(cè)試之后，她非常開心，“終于有人開始做這件事了”。

她是一個(gè)很樂(lè)觀的女孩，微信個(gè)性簽名是，“我還會(huì)選擇這滾燙的人生啊”。她希望自己的人生充滿可能性，而不是恐懼。她說(shuō)，愿意拾起破碎的自己，愿意釋懷，愿意活在當(dāng)下，愿意相信未來(lái)會(huì)更好。

2025年1月，中國(guó)殘聯(lián)等9部門聯(lián)合印發(fā)了《關(guān)于推進(jìn)科技助殘的指導(dǎo)意見》，其中明確提到了“推動(dòng)智能手語(yǔ)翻譯”的助殘措施。

越來(lái)越多的聽障人士，會(huì)在充滿聲音的世界中找到自己的位置；也會(huì)有越來(lái)越多的普通人，聽到手語(yǔ)翻飛的聲音。