對于許多癱瘓且無法說話的人來說，他們想要表達(dá)的語音信號隱藏在大腦中。但沒有人能夠直接破譯這些信號。

不過，最近有3個研究小組在將植入大腦的電極數(shù)據(jù)轉(zhuǎn)化為計算機生成的語音方面取得了進(jìn)展，他們通過被稱為神經(jīng)網(wǎng)絡(luò)的計算模型，重建了可以被人類聽眾理解的單詞和句子。

最近幾個月以來，正如在bioRxiv上發(fā)布的多篇論文描述的那樣，研究人員仍無法完全重建僅僅存在于人們大腦里的語音信息。但另一方面，研究人員在人們大聲朗讀、輕聲細(xì)語，或者聽錄音的時候，監(jiān)視了大腦的部分活動。

未參與該研究的瑞士日內(nèi)瓦大學(xué)神經(jīng)工程師Stephanie Martin表示，重新演繹人們腦海中的語音信息這一做法“令人興奮不已”。

中風(fēng)或疾病后失去說話能力的人可以用眼睛或其他小動作控制光標(biāo)或選擇屏幕上的字母。但如果大腦—計算機界面能夠直接重建語言，他們可能會重新獲得更多，例如，控制語調(diào)或者在節(jié)奏較快的對話中插話。

但將這一想法付諸實踐卻困難重重?！拔覀冊噲D找出在不同時間點打開和關(guān)閉的神經(jīng)元模式，以此推斷語言信息?！泵绹鐐惐葋喆髮W(xué)計算機科學(xué)家Nima Mesgarani說，“從一個映射到另一個映射的過程非常復(fù)雜?！?/p>

這些信號轉(zhuǎn)換為語音的情況因人而異，因此必須對計算機模型“因材施教”。這些模型需要非常精確的數(shù)據(jù)支持，而這需要打開頭骨。

研究人員只能在極少數(shù)情況下進(jìn)行此類侵入性研究。一種是在切除腦瘤的過程中，暴露在外的大腦發(fā)出的電信號幫助外科醫(yī)生定位并避開關(guān)鍵的語言和運動區(qū)域。另一種則是當(dāng)癲癇患者植入電極以確定手術(shù)前癲癇發(fā)作的起因時。Mesgarani表示，在收集數(shù)據(jù)的過程中，“我們的操作時間最多只有20至30分鐘，時間非常寶貴”。

研究人員通過將信息提供給神經(jīng)網(wǎng)絡(luò)獲取了大部分寶貴數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)通過將信息傳遞到計算“節(jié)點”層處理復(fù)雜模式。神經(jīng)網(wǎng)絡(luò)也能通過調(diào)整節(jié)點之間的連接來學(xué)習(xí)。在實驗中，神經(jīng)網(wǎng)絡(luò)接觸了一個人發(fā)出或聽到的語音記錄以及同步的大腦活動的數(shù)據(jù)。

Mesgarani團(tuán)隊使用了5名癲癇患者的數(shù)據(jù)。該網(wǎng)絡(luò)分析了聽覺皮層（在語音和聽力過程中都很活躍）在他們聽到故事錄音和人們從0讀到9的錄音后的記錄活動。然后，計算機僅利用神經(jīng)數(shù)據(jù)重建了錄音中的數(shù)字。計算機“讀出”人們腦海中數(shù)字的準(zhǔn)確度高達(dá)75％。

德國不來梅大學(xué)神經(jīng)科學(xué)家Miguel Angrick和荷蘭馬斯特里赫特大學(xué)神經(jīng)科學(xué)家Christian Herff領(lǐng)導(dǎo)的另一個團(tuán)隊，則采用了6名接受腦腫瘤手術(shù)志愿者的數(shù)據(jù)。他們捕捉到這些患者朗讀單音節(jié)詞的聲音，同時電極還記錄下大腦的語音規(guī)劃區(qū)域和運動區(qū)域活動。神經(jīng)網(wǎng)絡(luò)將電極讀數(shù)映射到音頻記錄，然后根據(jù)先前的腦數(shù)據(jù)重建單詞。根據(jù)計算機化的評分系統(tǒng)，大約40％的生成單詞能夠被理解。

最后，加州大學(xué)舊金山分校神經(jīng)外科醫(yī)生Edward Chang和他的團(tuán)隊重建了3名癲癇患者大聲朗讀時，在他們的語言和運動區(qū)域捕獲的完整句子。在測試中，166人需要從10個書面語句中選擇出一句他們聽過的句子，識別句子的正確率達(dá)到了80%。

研究人員還進(jìn)一步改善了模型：通過人們默讀時記錄的數(shù)據(jù)重建句子。Herff表示，這是一個重要的研究成果，“使得識別語音技術(shù)又進(jìn)一步”。

然而，加州圣地亞哥州立大學(xué)研究語言生成的神經(jīng)科學(xué)家StephanieRiès表示，“我們真正需要解決的問題是當(dāng)患者不能說話時，以上這些方法的表現(xiàn)如何。”當(dāng)一個人安靜地“說話”或“聽到”自己的聲音時，大腦發(fā)出的信號與說話或聽到的信號并不相同。如果沒有與大腦活動相匹配的外部聲音，計算機甚至可能很難分辨出內(nèi)部語言的開始和結(jié)束。

紐約州衛(wèi)生局國家適應(yīng)神經(jīng)技術(shù)中心神經(jīng)工程師Gerwin Schalk表示，解碼想象中的語音需要“一個巨大的飛躍，我們真的不清楚該怎么做”。