想想這樣一個畫面：在劇院的舞臺上，一名女子坐在一架鋼琴前。

那么她將要：

A）坐在長凳上，同時，她的妹妹在玩洋娃娃；

B）當(dāng)音樂響起時朝某人微笑；

C）在人群中，看舞者起舞；

D）緊張地把手指放置在琴鍵上；

事實上，作為人類，我們很容易地就能推斷出可能的情況：一個女人在演奏鋼琴，一群人在看著她。我們甚至還能推斷她即將進(jìn)行的下一步行動：她將自己的手放在鋼琴鍵上，并開始演奏。

這是2018年8月，一家總部位于美國西雅圖的艾倫人工智能研究所（Allen Institute for Artificial Intelligence），在一篇文獻(xiàn)中提到的一道給機(jī)器的英語測試題。當(dāng)時，機(jī)器的正確率只有大約60%。

但是現(xiàn)在看來，機(jī)器的理解能力正在，或許已經(jīng)超越人類。

機(jī)器理解能力究竟如何？

所謂的機(jī)器閱讀理解，其概念和大家學(xué)生時代所做的閱讀理解基本相似，同樣是給出一段材料和問題，給出正確答案，不過主角從人類換成AI模型。

雖然機(jī)器閱讀理解看起來只是讓AI上陣來一場考試，但是卻是自然語言處理技術(shù)中，繼語音判斷、語義理解之后最大的挑戰(zhàn)：讓智能體理解全文語境。

簡單的來看，語音識別幫助機(jī)器“聽”，圖像識別幫助機(jī)器“看”，但機(jī)器如何做到聽懂和看懂，是語義理解解決的問題。

相比于拼寫檢查和自動翻譯，語義理解不只是運算和記錄，而是主動分析和理解，所以閱讀理解問題一直被認(rèn)為是自然語言處理（NLP）的標(biāo)志性臨界點。

自然語言處理的其中一個關(guān)鍵就是語義理解，因為機(jī)器無法做到人類對自然語言的理解，就比如文章開頭的問題。所以，語義理解也一直被認(rèn)為是“人工智能皇冠上的明珠”，它融合了語言學(xué)、計算機(jī)科學(xué)、人工智能，其目的就是“讓機(jī)器可以理解自然語言”。

語義理解也一直是科研和資本關(guān)注的重要方向。據(jù)2018年年底騰訊研究院統(tǒng)計，在中國人工智能企業(yè)中，融資占比排名前三的領(lǐng)域分別是計算機(jī)視覺與圖像，自然語言處理，以及自動駕駛/輔助駕駛，而排在第二名的自然語言處理，融資122億元，占比19%。

“就像人去看電視一樣，人是同時看著畫面、聽著聲音、看著字幕來綜合理解，人腦所作的工作就是多模態(tài)語義理解。”深思考人工智能CEO兼AI算法科學(xué)家楊志明在此前的“2019WISE超級進(jìn)化者”中提到。

事實上，機(jī)器閱讀理解的一些重要賽事和指標(biāo)也正在被不斷刷新和突破。

2018年，斯坦福大學(xué)著名的機(jī)器閱讀理解賽事SQuAD，阿里巴巴曾憑借82.440的精準(zhǔn)率打破了世界紀(jì)錄，超越了人類82.304的平均得分。2018年11月，谷歌發(fā)布的BERT模型，在機(jī)器閱讀理解頂級水平測試SQuAD1.1中，全部兩個衡量指標(biāo)上全面超越人類，并且還在11種不同NLP測試中創(chuàng)出最佳成績。

而最近由中國計算機(jī)學(xué)會（中國計算機(jī)領(lǐng)域最權(quán)威學(xué)會）、中國中文信息學(xué)會（人工智能自然語義理解最權(quán)威學(xué)會）和百度公司聯(lián)合舉辦的“2019機(jī)器閱讀理解競賽”中，經(jīng)過全球2502個團(tuán)隊長達(dá)2個月的激烈角逐，深思考人工智能在兩項評測指標(biāo)中均登頂全球榜首，成功奪取全球冠軍。

目前在很多公開的數(shù)據(jù)集上，如在英文最具權(quán)威的SQuAD2.0數(shù)據(jù)集中：EM和F1兩個指標(biāo)上，人類的表現(xiàn)分類為86.831和89.452，而目前PINGAN團(tuán)隊所研發(fā)的模型已取得了EM值88.592，F(xiàn)1值90.859的表現(xiàn)。

換句話說，某種程度上，機(jī)器的閱讀理解水平已超越人類。

而在中文最具權(quán)威的DuReader數(shù)據(jù)集中，ROUGE-L和BLEU-4兩個指標(biāo)上，人類的表現(xiàn)為57.4和56.1，深思考所研發(fā)的BMAnet模型在這兩項指標(biāo)上取得了63.13和59.34的表現(xiàn)。

機(jī)器閱讀理解是機(jī)器理解的重要任務(wù)，也是語義理解的重要組成部分。機(jī)器閱讀理解中數(shù)據(jù)指標(biāo)的突破，往往也就代表著機(jī)器理解或是語義理解的突破。

而深思考所取得的技術(shù)性突破，會在現(xiàn)實生活的應(yīng)用場景中如何落地？

多模態(tài)，語義理解的不可或缺

“機(jī)器翻譯準(zhǔn)確度90%以上，萬字翻譯只需5秒鐘”，或是“語音識別準(zhǔn)確度超過98%”，這樣的描述，代表著人工智能正在快速發(fā)展，圖像和語音識別的準(zhǔn)確率正在飛速提升。

但這距離真正的人工智能，仍然有不小的距離。尤其是在人工智能落地的場景之中，光靠圖像識別的“看到”，和語音識別的“聽到”是不足夠的。

以日常生活中，大家接觸的智能音箱和智能家居為例。

2017年Mingke Luo的《為什么現(xiàn)在的人工智能都像人工智障》曾刷屏朋友圈，而在今年年初，作者又寫了一篇名為《所有智能音箱都是智障，包括Siri ！深度學(xué)習(xí)對此無能為力》的文章。其中提到一個有趣的實現(xiàn)，2016年底，作者對幾個智能助理提一個看似簡單的需求，“推薦餐廳，不要日本菜”，結(jié)果所有智能助理都給出一堆日本菜餐廳的推薦，而2年后，再做這個實驗，問題依然沒有解決，“不要”兩個字仍然被一致忽略。

“人類說話的時候，往往是口語化的、不連續(xù)的、支離破碎的，甚至語序顛倒的。語音識別只停留在語音指令，不能理解用戶語言及背后的邏輯，實際無法解決用戶在很多場景中的剛需。”楊志明在采訪中告訴36氪。

他以智能家居的對話場景舉例。

比如用戶對著家里的空調(diào)說，“請把空調(diào)調(diào)到28度”，這時幾乎所有的空調(diào)都能夠完成這樣的指令。

但是如果用戶對空調(diào)說，“我有點熱了，把空調(diào)調(diào)低一點，調(diào)到我習(xí)慣的溫度”，這時候語音識別就不能解決問題。這背后就有兩層邏輯，第一，用戶覺得熱了，應(yīng)該把空調(diào)打開，第二，就是調(diào)到用戶平時習(xí)慣的溫度，即存在個性化設(shè)置，機(jī)器需要理解用戶語言背后的意義。

無論車載智能設(shè)備，還是智能音響、智能家居，用戶使用這些產(chǎn)品的目的，都是為了更方便的生活，而目前來看，使用這些設(shè)備更多是用戶通過“背”指令表完成。

楊志明提到一個形象的比喻，現(xiàn)實生活中，不少企業(yè)家和高管，都配備秘書，他們想要的秘書，絕不是一個只能遵從命令辦事的執(zhí)行員，更多是聽懂他們，只需要一句“你去幫我辦這個事情吧”，就能幫助他們解決問題的角色。有時，甚至是他們不用開口就知道該做什么的可以信任的人。

通過上下文的指代消解、意圖理解、對話管理等技術(shù)，深思考推出的產(chǎn)品提升了機(jī)器閱讀理解的能力，并為更多行業(yè)解決方案的落地，提供有效的產(chǎn)品支持。

以車聯(lián)網(wǎng)場景為例，傳統(tǒng)智能車載系統(tǒng)，通常通過駕駛室的智能語音交互屏幕實現(xiàn)人機(jī)互動。但隨著座艙的發(fā)展，如今的駕駛室不再是一個簡單的駕駛室，而是汽車行駛過程中的中央多模態(tài)信息的匯聚地。比如智能車聯(lián)網(wǎng)場景下，汽車跟道路基礎(chǔ)設(shè)施之間、汽車跟汽車之間、汽車跟互聯(lián)網(wǎng)之間都能夠做信息的連接和交互。車輛本身也通過視覺對車外的環(huán)境做感知與理解，再加上溫度傳感器、語音信息輸入傳感器等。

在智能車聯(lián)網(wǎng)有很多模態(tài)的信息，有手勢的模態(tài)、語音的模態(tài)、圖像的模態(tài)。數(shù)字化場景下，深思考提供的技術(shù)，就能為對上述多模態(tài)信息進(jìn)行綜合理解，為人車交互提供智能大腦。同時，還可以在座艙環(huán)境下，實現(xiàn)人、車和家庭的連接。

再加上RPA自動軟件機(jī)器人，不光可以實現(xiàn)人車對話，車輛還可以自動幫助駕駛員完成任務(wù)，比如預(yù)定會議室、與其他智能設(shè)備的聯(lián)動、執(zhí)行等。

“比如看一個電視劇，眼睛看畫面、耳朵聽聲音、眼睛看字幕，對不同事物不同狀態(tài)，人腦可以同時做理解。但AI還停留在識別與感知階段，人腦更多是語義理解，而且是多模態(tài)理解?！睏钪久髟谌ツ甑囊淮畏窒碇刑岬剑?a href="http://www.brongaenegriffin.com/analog/" target="_blank">模擬的人腦舉一反三，在目前AI小的計算資源下快速和低功耗的運行，是深思考致力解決的類腦AI技術(shù)。

作為人工智能研究中最難的部分，語義理解技術(shù)的發(fā)展，讓機(jī)器有了更強(qiáng)的閱讀理解能力，這也讓未來人機(jī)交互有了更多可能性。

未來的可能性

“最新語義理解的技術(shù)，可以像人一樣，看完一本書以后，問你這本書里面的問題。它對這本書里面的非結(jié)構(gòu)化的信息進(jìn)行多模態(tài)理解以后，可以像人腦理解以后再回答問題?！睏钪久髟诓稍L中提到，人在看完一本書回答問題時，不會先整理出問答對或者知識圖譜，而是憑借大腦的理解，直接回答別人的問題。

目前，深思考所研發(fā)的技術(shù)已經(jīng)具備了上述能力。通過非結(jié)構(gòu)化、長文本的機(jī)器閱讀理解，避免了傳統(tǒng)語義理解或者智能客服，用大量的人力物力去構(gòu)建知識圖譜或者問答對。而借此，深思考能讓語義理解，像語音識別和圖像識別一樣，進(jìn)行大規(guī)模的商業(yè)化場景的落地。

楊志明解釋，深度學(xué)習(xí)的快速發(fā)展，也為語義理解帶來更多的提升。比如意圖分類等統(tǒng)計學(xué)記憶方法的準(zhǔn)確不高，深度學(xué)習(xí)進(jìn)一步發(fā)展，進(jìn)一步提高了這類語義識別的技術(shù)。其次，深度學(xué)習(xí)之下的新型語義理解模型，讓語義理解準(zhǔn)確度變得更高了，實現(xiàn)了突破。

今年6月，工信部正式對國內(nèi)運營商發(fā)放5G牌照，國內(nèi)的第四大運營商也正式誕生，讓人們看到，無人駕駛和遠(yuǎn)程手術(shù)的近在咫尺。雖然離大規(guī)模商業(yè)化應(yīng)用還有一定時間，但是5G對人工智能帶來的改變也是值得期待的。

《2019年中國人工智能行業(yè)市場分析》中提到，國際會計師事務(wù)所畢馬威近日發(fā)布研究認(rèn)為，當(dāng)前，5G技術(shù)在主要垂直行業(yè)的全球市場潛在價值預(yù)計可達(dá)4.3萬億美元，而這4.3萬美元的市場，顯然離不開AI的作用。

“更重要的是解決及提升物聯(lián)網(wǎng)和AIoT設(shè)備語義理解的能力?！睏钪久鞲嬖V36氪，5G的三大技術(shù)特點“高速率、低延遲、超大數(shù)量終端”讓物聯(lián)網(wǎng)設(shè)備大有可為，但離線端語義識別的技術(shù)突破，也不可小覷，未來在端的部分，也可能會有語義理解芯片的成功研發(fā)。

楊志明舉例，比如在無人駕駛場景中，時常會面對信號弱的情況，例如過山洞、隧道等，同時，雖然5G能夠連接超大數(shù)量的終端，但是終端連接的越多，傳輸?shù)乃俣染驮铰?，這就需要終端同樣具備部分的語義理解的能力。

未來的場景之中，更多的情況是，終端設(shè)備首先具備各項傳感器，能夠多維度的收集信息和數(shù)據(jù)，同時芯片的植入，又能讓這類設(shè)備具有如圖像識別、語音識別、語義理解等人工智能能力，而云端則是更強(qiáng)大和更準(zhǔn)確的技術(shù)支持。一方面，如果所有終端的處理，都由云完成，云的壓力過大，另一方面終端設(shè)備必須具備復(fù)合的能力，才能讓機(jī)器更好的理解人類意圖。這也印證了，楊志明始終堅持的方向，語義理解一定是多模態(tài)的。

同時，產(chǎn)業(yè)互聯(lián)網(wǎng)的發(fā)展，也為人工智能應(yīng)用的落地，提供了良好的環(huán)境，產(chǎn)業(yè)互聯(lián)網(wǎng)實現(xiàn)的是，不同行業(yè)之中的互聯(lián)網(wǎng)等技術(shù)的落地以及場景閉環(huán)，這和人工智能所在做的突破是一樣的。

楊志明此前提到，AI語義理解里面的關(guān)鍵點，實現(xiàn)AI的落地場景的四個閉環(huán)，包括，業(yè)務(wù)閉環(huán)、數(shù)據(jù)閉環(huán)、模型閉環(huán)和產(chǎn)品閉環(huán)。目前深思考在智能車聯(lián)、醫(yī)療健康、智能家居、智能手機(jī)等方向，均有頭部客戶實現(xiàn)成功的商業(yè)落地。