三、當(dāng)前國(guó)內(nèi)外在自然語言處理領(lǐng)域的研究熱點(diǎn)和難點(diǎn)

自然語言處理的難點(diǎn)

單詞的邊界界定

在口語中，詞與詞之間通常是連貫的，而界定字詞邊界通常使用的辦法是取用能讓給定的上下文最為通順且在文法上無誤的一種最佳組合。在書寫上，漢語也沒有詞與詞之間的邊界。

詞義的消歧

許多字詞不單只有一個(gè)意思，因而我們必須選出使句意最為通順的解釋。

句法的模糊性

自然語言的文法通常是模棱兩可的，針對(duì)一個(gè)句子通?？赡軙?huì)剖析（Parse）出多棵剖析樹（Parse Tree），而我們必須要仰賴語意及前后文的資訊才能在其中選擇一棵最為適合的剖析樹。

有瑕疵的或不規(guī)范的輸入

例如語音處理時(shí)遇到外國(guó)口音或地方口音，或者在文本的處理中處理拼寫，語法或者光學(xué)字符識(shí)別（OCR）的錯(cuò)誤。

語言行為與計(jì)劃

句子常常并不只是字面上的意思;例如，“你能把鹽遞過來嗎”，一個(gè)好的回答應(yīng)當(dāng)是把鹽遞過去;在大多數(shù)上下文環(huán)境中，“能”將是糟糕的回答，雖說回答“不”或者“太遠(yuǎn)了我拿不到”也是可以接受的。再者，如果一門課程去年沒開設(shè)，對(duì)于提問“這門課程去年有多少學(xué)生沒通過？”回答“去年沒開這門課”要比回答“沒人沒通過”好。

關(guān)于如何解決語境的問題：

同時(shí)，由于強(qiáng)調(diào)了“大規(guī)?！保瑥?qiáng)調(diào)了“真實(shí)文本”，下面兩方面的基礎(chǔ)性工作也得到了重視和加強(qiáng)。

（1）大規(guī)模真實(shí)語料庫的研制。大規(guī)模的經(jīng)過不同深度加工的真實(shí)文本的語料庫，是研究自然語言統(tǒng)計(jì)性質(zhì)的基礎(chǔ)。沒有它們，統(tǒng)計(jì)方法只能是無源之水。

（2）大規(guī)模、信息豐富的詞典的編制工作。規(guī)模為幾萬，十幾萬，甚至幾十萬詞，含有豐富的信息（如包含詞的搭配信息）的計(jì)算機(jī)可用詞典對(duì)自然語言處理的重要性是很明顯的。

?

自然語言處理技術(shù)發(fā)展瓶頸

目前自然語言處理技術(shù)的兩大瓶頸就是大規(guī)模語料數(shù)據(jù)的建設(shè)，以及語義分析的進(jìn)一步完善。

主流的自然語言處理技術(shù)是以統(tǒng)計(jì)機(jī)器學(xué)習(xí)為基礎(chǔ)的，這就需要大規(guī)模的語料庫。在很多任務(wù)中，這些語料庫是需要人工構(gòu)建的，這是非常費(fèi)力的工作。因此，數(shù)據(jù)共享是一個(gè)可以促進(jìn)研究發(fā)展的必不可少的因素?？梢哉f，自然語言處理的快速發(fā)展離不開一些開源的語料庫，比如WordNet、PennTreebank等。第二，任何語料庫無論大小類型，都難以囊括某個(gè)領(lǐng)域的全部案例；而且，語料庫的標(biāo)注體系往往難以把握，類別劃分過粗，則無法全面、細(xì)致地描述語言，類別劃分過細(xì)，則標(biāo)注信息過于龐大、降低標(biāo)注效率，統(tǒng)計(jì)數(shù)據(jù)的稀疏問題嚴(yán)重，訓(xùn)練出來的模型健壯性差。第三，因?yàn)槿斯?biāo)注的語料庫畢竟是費(fèi)時(shí)費(fèi)力的工作，因此還需要從模型和算法方面去研究如何利用大量的無人工標(biāo)注或部分標(biāo)注的數(shù)據(jù)，也就是半監(jiān)督學(xué)習(xí)，但這方面的研究還不是特別成熟。

自然語言處理技術(shù)的另一大瓶頸就是如何精確地表現(xiàn)自然語言的語義，比如在人機(jī)交互過程中，首先就要理解用戶的意圖，而這里“用戶的意圖”就是語義。目前業(yè)界常用的方法有兩種：基于知識(shí)或語義學(xué)規(guī)則的語義分析方法和基于統(tǒng)計(jì)學(xué)的語義分析方法。盡管兩類方法都能在一定程度上進(jìn)行自然語言語義的推導(dǎo)以及信息之間關(guān)聯(lián)的判別，但是基于知識(shí)與語義學(xué)規(guī)則的方法無法覆蓋全部語言現(xiàn)象、推理過程復(fù)雜，無法處理不確定性事件，規(guī)則間的相容性和適用層次范圍存在缺陷和限制，知識(shí)和語義規(guī)則的建立是瓶頸問題；而基于統(tǒng)計(jì)學(xué)的方法則過多地依賴于大規(guī)模語料庫的支持，性能依賴語料庫的優(yōu)劣，易受數(shù)據(jù)稀疏和數(shù)據(jù)噪聲的干擾，正如之前提到，大規(guī)模語料庫的建立和語料質(zhì)量的保證仍是瓶頸問題。

可喜的是，如火如荼的云計(jì)算為復(fù)雜模型計(jì)算以及大規(guī)模語料庫的收集與建立提供了基礎(chǔ)設(shè)施上的支撐。例如，借助Microsoft Azure，用戶可以在幾分鐘內(nèi)完成NLP on Azure站點(diǎn)的部署，并立即開始對(duì)NLP開源工具的使用，或者以REST API的形式調(diào)用開源工具的語言分析功能，而無需關(guān)注基礎(chǔ)結(jié)構(gòu)，只需專注于應(yīng)用程序的業(yè)務(wù)邏輯。PaaS（平臺(tái)即服務(wù)）的特性隱藏了基礎(chǔ)設(shè)施的細(xì)節(jié)，讓用戶無須關(guān)心操作系統(tǒng)、運(yùn)行環(huán)境、安全補(bǔ)丁、錯(cuò)誤恢復(fù)等問題，這使得用戶進(jìn)行NLP語料庫建設(shè)以及應(yīng)用程序使用的門檻大大降低。