前兩天在崔牛會(huì)（一個(gè)做2B客戶的企業(yè)家社群）的群里聊天，一朋友說(shuō)如果我早點(diǎn)跟他講NLP的難度，他就不入這個(gè)行了。

我們說(shuō)的NLP其實(shí)主要是人機(jī)自然語(yǔ)言交互。NLP也包含好幾個(gè)細(xì)分領(lǐng)域：搜索、機(jī)器翻譯、問(wèn)答等。我人機(jī)自然語(yǔ)言交互也就是問(wèn)答。

很多年前，別人說(shuō)我做的東西不過(guò)就是關(guān)鍵字模糊查詢，他找?guī)讉€(gè)會(huì)編程的高中生都能做。這基本上就是無(wú)知無(wú)畏了。所以我當(dāng)時(shí)也沒去爭(zhēng)辯。

這個(gè)行業(yè)就是我朋友說(shuō)的，外行看簡(jiǎn)單，進(jìn)來(lái)發(fā)現(xiàn)很難那種。其實(shí)自然語(yǔ)言交互就是個(gè)坑。

為什么會(huì)出現(xiàn)這種情況？

因?yàn)榈谝?，這個(gè)行業(yè)沒有標(biāo)準(zhǔn)。有人說(shuō)誰(shuí)家機(jī)器人很聰明，誰(shuí)家機(jī)器人很厲害，都是憑感覺的。有個(gè)同行在行業(yè)群里問(wèn)有沒有什么標(biāo)準(zhǔn)測(cè)試機(jī)器人水平，喊了很長(zhǎng)時(shí)間也沒有找到。有人認(rèn)為圖靈測(cè)試是一個(gè)標(biāo)準(zhǔn)，但至今沒有多少機(jī)器人能通過(guò)圖靈測(cè)試。即便有公司聲稱他們的機(jī)器人通過(guò)了圖靈測(cè)試，也很難得到公眾認(rèn)可。我認(rèn)為原因在于，機(jī)器人根本不可能完全偽裝成人。另外，圖靈測(cè)試隨意行太強(qiáng)，很難給出客觀并科學(xué)的評(píng)測(cè)結(jié)果。

為什么這個(gè)行業(yè)沒有標(biāo)準(zhǔn)呢？因?yàn)閱?wèn)答是個(gè)新領(lǐng)域，而很多時(shí)候人們把它當(dāng)成搜索。搜索給的結(jié)果是模糊的，問(wèn)答需要給精準(zhǔn)結(jié)果。搜索用關(guān)鍵字模糊查詢就行，問(wèn)答要關(guān)注語(yǔ)義的細(xì)微差別。這個(gè)我在別的文章里有論述。搜索的標(biāo)準(zhǔn)是召回率和準(zhǔn)確率，但這個(gè)標(biāo)準(zhǔn)用在問(wèn)答上就沒用了。你的召回率和準(zhǔn)確率做再高，用戶體驗(yàn)依然很差。因?yàn)樗阉髌鋵?shí)處理的是關(guān)鍵字，而問(wèn)答要求處理好句子里每一個(gè)詞。

沒有標(biāo)準(zhǔn)就意味著你做好做不好都一樣。所以才有人說(shuō)高中生都能做聊天機(jī)器人。

也意味著沒有方向。于是有的人跟著感覺走，有的人用搜索的標(biāo)準(zhǔn)測(cè)試問(wèn)答。

同時(shí)意味著開發(fā)人員總是自我感覺良好。其實(shí)我們的產(chǎn)品在用戶眼里都跟狗屎一樣。

雖然行業(yè)內(nèi)沒有標(biāo)準(zhǔn)，我們有自己的問(wèn)答技術(shù)標(biāo)準(zhǔn)，即：差異原則，同一原則，模糊原則和一致原則。差異原則就是機(jī)器理解兩句話之間的差異。同一原則就是機(jī)器理解兩句話語(yǔ)義是相同的。模糊原則就是機(jī)器能容忍自然語(yǔ)言輸入中的小錯(cuò)誤。一致原則就是機(jī)器前后說(shuō)的話是一致的，不相互矛盾。

如果用我們的標(biāo)準(zhǔn)去測(cè)試，很多問(wèn)答機(jī)器人是不能過(guò)關(guān)的。期待我們的標(biāo)準(zhǔn)能成為行業(yè)標(biāo)準(zhǔn)。我們就是按照這套標(biāo)準(zhǔn)要求自己的。

圖：小諦機(jī)器人語(yǔ)義理解測(cè)試標(biāo)準(zhǔn)1.1

第二，用戶預(yù)期高。因?yàn)樗囆g(shù)作品的宣傳，人們對(duì)人工智能的期望值很高。你只要叫個(gè)機(jī)器人，叫人工智能，別人就認(rèn)為你是萬(wàn)能的，應(yīng)該什么都懂，應(yīng)該比人厲害。即便你說(shuō)你是個(gè)企業(yè)客服機(jī)器人，人家也認(rèn)為你應(yīng)該比人類聰明。

但實(shí)際上，藝術(shù)作品是虛構(gòu)的，變形金剛霸天虎在現(xiàn)實(shí)世界并不存在。因?yàn)榛A(chǔ)技術(shù)沒有。

用戶要求高，我們做不到，用戶產(chǎn)生的心理落差就很大。

第三，有人總認(rèn)為用窮舉可以解決問(wèn)題。實(shí)際上一個(gè)問(wèn)題的多種表達(dá)是無(wú)窮盡的。人家加個(gè)“啊”“呀”“的”可能你的機(jī)器人就不會(huì)回答了。有人統(tǒng)計(jì)過(guò)關(guān)于查話費(fèi)余額的表達(dá)方式據(jù)說(shuō)有接近一萬(wàn)種。普通程序員根本無(wú)法去窮舉用戶的各種語(yǔ)言表達(dá)。實(shí)際上解決這個(gè)問(wèn)題只能用算法。我們相對(duì)做得好點(diǎn)，用我們算法，一個(gè)句子可以覆蓋用戶許許多多問(wèn)法。

第四，這個(gè)行業(yè)工作量很大，即便是小領(lǐng)域工作量也很大。有人說(shuō)通用問(wèn)答機(jī)器人我做不好，我做個(gè)法律、醫(yī)療、稅務(wù)的難道還做不好嗎？其實(shí)把一個(gè)企業(yè)的客服機(jī)器人做好都很難。如果用窮舉的話，即使建設(shè)一個(gè)企業(yè)客服相關(guān)問(wèn)題的知識(shí)庫(kù)也有很大工作量。我們算法雖然有優(yōu)勢(shì)，能大幅降低知識(shí)庫(kù)建設(shè)工作量，但依然后面有很大的工作量。

第五，缺理論依據(jù)。什么是語(yǔ)義？從網(wǎng)上找的概念對(duì)我們工作沒有什么指導(dǎo)意義。語(yǔ)義和語(yǔ)言之間具體的關(guān)系是怎樣的？有些人還沒意識(shí)到我們應(yīng)該通過(guò)語(yǔ)言處理語(yǔ)義，還在生搬硬套的處理語(yǔ)言文字。用戶說(shuō)“是”也許表達(dá)的是否定的意思，用戶說(shuō)“南京”也許是想吃東西。自然語(yǔ)言問(wèn)答最終處理的是語(yǔ)義，也就是用戶意圖。有人說(shuō)，用戶意圖不就是和產(chǎn)品功能對(duì)應(yīng)的么？這句話有一定道理。但并不總是這樣。智能家居產(chǎn)品可能是這樣。開燈關(guān)燈，對(duì)著一盞燈用戶意圖也就這兩個(gè)了。但如果是對(duì)電視機(jī)，用戶意圖就會(huì)復(fù)雜點(diǎn)。比如，用戶可能想看劉德華的電影，或者聽劉德華的演唱會(huì)，或者看劉德華的寫真。用戶說(shuō)的“劉德華”怎么理解用戶的意圖呢？如果是對(duì)著機(jī)器人，用戶也許會(huì)表達(dá)愛慕或者厭惡或者其他情緒，怎么理解用戶意圖呢？產(chǎn)品功能越復(fù)雜，對(duì)應(yīng)的用戶意圖越復(fù)雜。所以從產(chǎn)品功能反推用戶意圖是不現(xiàn)實(shí)的。

怎么讓機(jī)器透過(guò)用戶自然語(yǔ)言表達(dá)去理解用戶意圖呢？很多人根本不研究語(yǔ)言，不研究語(yǔ)法規(guī)則，這怎么可能處理好語(yǔ)言呢？大多數(shù)同行用數(shù)學(xué)的方法處理語(yǔ)言，比如他們從一句話中提取關(guān)鍵字的依據(jù)是詞頻。詞頻是絕對(duì)的，是統(tǒng)計(jì)出來(lái)的，而一個(gè)詞在一句話里的語(yǔ)義權(quán)重是變化的。其實(shí)語(yǔ)義本身就是變化的。我的另一篇文章講述了我對(duì)語(yǔ)義的看法。

我認(rèn)為不研究語(yǔ)言，不了解語(yǔ)法規(guī)則根本處理不好語(yǔ)言。漢語(yǔ)有很多特殊的語(yǔ)法結(jié)構(gòu)。比如倒裝句、“把”字句、“被”字句等等。單純用統(tǒng)計(jì)學(xué)技術(shù)不可能處理好語(yǔ)義，可能連句子的主語(yǔ)和賓語(yǔ)都分不清。比如：“酒喝光了，我”這句不是酒把我喝光了，而是我把酒喝光了?！熬坪裙饬嗽趺赐妗边@句的“怎么玩”其實(shí)是一個(gè)詞。

我們?cè)谡n本上學(xué)的語(yǔ)法規(guī)則，在我們做自然語(yǔ)言交互技術(shù)時(shí)可能根本不管用。人能理解的東西，機(jī)器理解不了。怎么讓機(jī)器理解語(yǔ)法規(guī)則呢？需要有系統(tǒng)深入地研究，需要有科學(xué)嚴(yán)謹(jǐn)?shù)睦碚摗?/p>

我研究這個(gè)很長(zhǎng)時(shí)間了，我們對(duì)漢語(yǔ)的語(yǔ)法規(guī)則做了細(xì)化，讓機(jī)器更加方便處理。

第六，誤解。前幾年投資過(guò)熱，人工智能想象空間巨大，是投資的理想標(biāo)的。但實(shí)際上投資人根本不懂行，他們也只能看看團(tuán)隊(duì)背景、看看公司收入、看看產(chǎn)品。這樣一堆被資本捧紅的明星企業(yè)誕生了。他們大多數(shù)有大公司出來(lái)的創(chuàng)始人并且養(yǎng)著一堆博士或者博士后。他們經(jīng)常嘴里一堆學(xué)術(shù)名詞，一堆洋文。但看不到他們產(chǎn)品。于是很多人基本就認(rèn)為這是正確的方向了。

但實(shí)際上誰(shuí)家也沒有能讓用戶持續(xù)使用的自然語(yǔ)言交互產(chǎn)品。這個(gè)行業(yè)沒有領(lǐng)頭人。

我去推廣我們分詞技術(shù)，經(jīng)常被問(wèn)，有很多開源的分詞工具可以用，為什么要自己去研究呢？他們認(rèn)為大家都用的東西就是正確的。碰到這種情況我一般也不去爭(zhēng)論。

我們做企業(yè)不是給投資人看的，做產(chǎn)品也不是給投資人用的。用戶認(rèn)可才是我們追求的。獨(dú)立思考，才能讓我們找到解決問(wèn)題的辦法。盡管失敗了一次又一次，我依然在前進(jìn)。我看到我們的產(chǎn)品越來(lái)越好，我相信遲早會(huì)得到更多用戶認(rèn)可。

第七，用戶習(xí)慣。小米的語(yǔ)音電視遙控器功能其實(shí)很強(qiáng)大。但小米的數(shù)據(jù)顯示，遙控器的語(yǔ)音交互功能使用量很低。現(xiàn)在其實(shí)每款手機(jī)都有語(yǔ)音助手，但幾乎沒人用。大家普遍認(rèn)為，現(xiàn)在用戶還很難改變使用鍵盤和觸摸屏的習(xí)慣。其實(shí)改變用戶使用習(xí)慣從來(lái)都是一件十分困難的事情。

第八，順暢交流。如果不能流暢交流，用戶的體驗(yàn)就會(huì)很差。缺內(nèi)容、不理解用戶意圖都會(huì)造成交流不能流暢進(jìn)行下去。缺內(nèi)容是最難解決的，誰(shuí)也做不出來(lái)無(wú)所不知的機(jī)器人。如果能給用戶一個(gè)知識(shí)邊界，讓用戶明確知道這個(gè)邊界，用戶只在邊界里提問(wèn)，這就能讓交流的流暢性大大提高。但這個(gè)邊界怎么展示呢？不理解用戶意圖主要是算法的問(wèn)題。對(duì)于有些企業(yè)來(lái)講，算法問(wèn)題可能是難以突破的。這就好像一只猴子不可能擁有人類的智能一樣不可能得到改變。我們?cè)谒惴ㄉ嫌袃?yōu)勢(shì)，但我們?cè)趦?nèi)容上短板明顯。

我一直認(rèn)為自然語(yǔ)言交互是非常難的行業(yè)，沒有積累很難做出來(lái)好的產(chǎn)品。這個(gè)行業(yè)不適合急功近利。以為能賺到快錢的人，必然會(huì)掉坑里。