隨著AI應(yīng)用的場景越來越豐富，加上數(shù)據(jù)量小、任務(wù)復(fù)雜等種種實踐中可能出現(xiàn)的挑戰(zhàn)，有時機器學習的結(jié)果并不理想，而且效率低下。而我們?nèi)祟悡碛胸S富的專業(yè)經(jīng)驗，為什么不向機器傳授一些小訣竅呢？為此，微軟研究院推出了一種輔助方法——“機器教學”（Machine Teaching），人類可以利用自己的專業(yè)知識和經(jīng)驗幫助AI進行更有針對性的學習，幫助強化學習算法更快地找到解決方案。本文編譯自微軟人工智能博客“Machine teaching: How people’s expertise makes AI even more powerful”。

微軟商業(yè)人工智能事業(yè)部總經(jīng)理、Bonsai公司前首席執(zhí)行官Mark Hammond

用人類的知識幫助機器學習

我們今天的機器學習過程，某種程度上就像把一根球棒和一只棒球交給五歲小朋友，向他展示球棒和棒球之間無數(shù)種使用方法，然后期望他自己體會出打棒球的正確方式——我們向機器展示海量的數(shù)據(jù)，希望它能自己找到其中的關(guān)聯(lián)和模式。這對簡單的文本、圖像識別等常見的AI技術(shù)來說非常有效，但隨著AI應(yīng)用的領(lǐng)域和場景越來越豐富，有時機器自主學習的效果并不理想，而且效率低下，特別是在訓(xùn)練數(shù)據(jù)過少的情況下。

“面對人類，我們可能會非常自然地想到，教小朋友打棒球要從最簡單的開始，慢慢過渡到快球；但當我們面對機器的時候，大家都想直接給系統(tǒng)上快球。事實上，機器學習除了自行從數(shù)據(jù)中摸索知識，更可以從經(jīng)驗豐富的人類這里獲取相關(guān)的知識?！?微軟商業(yè)人工智能事業(yè)部總經(jīng)理Mark Hammond說。為此，微軟研究院開發(fā)了一種輔助方法——“機器教學”（Machine Teaching），人類可以利用自己的專業(yè)知識和經(jīng)驗幫助AI將復(fù)雜問題分解成比較簡單的任務(wù)，并為機器學習模型提供相關(guān)的重要線索，幫助強化學習算法更好地找到解決方案。

如果你要教一位小朋友識別桌子，你會先告訴他：“它有四條腿和一個平面”。如果他把椅子也當成了桌子，你就會進一步向他解釋：“椅子有靠背，但桌子沒有靠背”。這一抽象的反饋的循環(huán)是人類學習方式的關(guān)鍵，而它也能使傳統(tǒng)的機器學習方法變得更強大。

機器教學能在許多場景中發(fā)揮出格外的優(yōu)勢。在有監(jiān)督學習中，如果某個特定行業(yè)或公司的需求過于具體，導(dǎo)致訓(xùn)練數(shù)據(jù)非常少，機器教學將非常有用。而在復(fù)雜的強化學習場景中，算法可能很難從數(shù)百萬種可能中做出選擇，這時，如果擁有某方面專業(yè)知識的人類提供一些幫助，機器就能大大縮短尋找解決方案的時間。

這也是微軟提出機器教學的長遠目標之一。我們希望為來自各行各業(yè)的人們提供人工智能平臺，讓律師、會計師、工程師、護士等不同領(lǐng)域的專家即使具備很少的AI專業(yè)知識，也能將所在領(lǐng)域的專業(yè)知識傳授給智能系統(tǒng)，讓智能系統(tǒng)更有效地助力問題的解決。

“即使是最聰明的AI，也要經(jīng)過很多學習才能完成現(xiàn)實世界中的復(fù)雜任務(wù)。因此AI需要在人們的引導(dǎo)下學習，這也讓更廣泛的用戶能借助機器學習來完成復(fù)雜的任務(wù)，這是機器教學的意義所在?！?微軟商業(yè)人工智能事業(yè)部副總裁Gurdeep Pall表示。

微軟機器教學組對機器教學原理的探索已將近十年，目前他們正在將這些概念融入微軟的各大產(chǎn)品，以幫助企業(yè)構(gòu)建定制化的智能系統(tǒng)與工具?！叭绻憧梢韵蛩藗魇谀承┲R，你也能用相似的方法把它們傳授給機器。”微軟杰出工程師、機器教學項目發(fā)起者Patrice Simard說，他的團隊將加入微軟體驗與設(shè)備組，將機器教學與微軟的對話式AI產(chǎn)品進一步整合。

微軟研究員Patrice Simard，Alicia Edelman Pelton和Riham Mansour（從左至右）正在將機器教學融入微軟產(chǎn)品中

機器教學的應(yīng)用潛力

Simard開始思考新的AI系統(tǒng)范式，是因為他注意到機器學習會議上的許多工作都在通過精妙的基準測試來提高算法性能。這讓他意識到“教授”知識對機器學習的重要性，特別是在數(shù)據(jù)有限的情況下。

機器教學要通過識別高層級、有意義的特征來改進模型。比如，你想讓AI選出質(zhì)量最好的汽車，卻只有很少的標注數(shù)據(jù)，AI提取出的“好車”的特征可能會非常不靠譜，比如“車牌第四位是2”。但如果提示AI對油耗、安全評級、碰撞測試、價格等標準進行綜合考量，盡管數(shù)據(jù)仍然有限，AI對汽車質(zhì)量的評估將有效許多。

除此之外，機器教學的另一個目的是把復(fù)雜任務(wù)分解為多個更簡單的任務(wù)。如果沒有高層級特征，則可用包含較低層級特征、簡單到只需少量案例就能學習的子模型來構(gòu)建。如果系統(tǒng)多次出現(xiàn)同樣的錯誤，則可以通過添加特征或案例的方式來消除。

Azure認知服務(wù)中的語言理解API是機器教學理念應(yīng)用的首批產(chǎn)品之一，它能夠幫助用戶 “理解” 短文本中的意圖和關(guān)鍵概念，目前已被UPS快遞、Progressive Insurance和西班牙電信等企業(yè)用于開發(fā)智能客服機器人。使用機器教學的方法，人們將無需為客服機器人準備包含所有用戶問題的數(shù)據(jù)集，只需提供四五個問題案例和該領(lǐng)域的重要特征、關(guān)鍵字，語言理解API就可以順利完成剩余的工作。

機器教學流程圖

再舉個例子，一家公司想用AI掃描過去一年的所有文件和電子郵件，了解銷售一共發(fā)出了多少次報價，又有多少次成功完成了銷售。AI首先要知道怎樣從合同或發(fā)票中識別報價，而問題在于沒有現(xiàn)成的訓(xùn)練數(shù)據(jù)，而且每名銷售人員的開單據(jù)的方式可能都有所差別。

這時，如果采用傳統(tǒng)的機器學習方法，這家公司就要經(jīng)歷漫長繁復(fù)的人工標記數(shù)據(jù)流程，再請一位機器學習專家來構(gòu)建機器學習模型。而一旦銷售人員改變了單據(jù)格式，模型就會無法識別。

而如果采用機器教學的模式，企業(yè)內(nèi)部的專業(yè)人員將為報價常見的特征和結(jié)構(gòu)提供線索，如客戶名、“報價單”、“交貨日期”、“產(chǎn)品”、“數(shù)量”、“付款條款”等關(guān)鍵詞。系統(tǒng)會將這些專業(yè)知識轉(zhuǎn)化為機器可理解的語言來執(zhí)行預(yù)先選擇的機器學習算法。這樣，利用組織內(nèi)已有的專業(yè)知識，就能在很短的時間內(nèi)為企業(yè)構(gòu)建定制化的AI解決方案。

微軟研究人員正在探索如何將機器教學應(yīng)用于更復(fù)雜的任務(wù)題，比如對更長的文檔、電子郵件和圖像進行分類；以及如何讓“教學”的過程更直觀，比如向用戶呈現(xiàn)可能有意義的特征建議。

微軟商業(yè)人工智能事業(yè)部副總裁Gurdeep Pall講解基于機器教學的自主系統(tǒng)解決方案

將機器教學與深度強化學習融合

十余年前，當Hammond在耶魯大學神經(jīng)科學實驗室擔任系統(tǒng)程序員時，他注意到了科學家一步步訓(xùn)練動物完成研究任務(wù)的過程。他由此想到，我們?nèi)祟悡碛胸S富的專業(yè)經(jīng)驗，為什么不向機器傳授一些小訣竅呢？

因此他創(chuàng)辦了Bonsai公司，將機器教學與深度強化學習融合，幫助企業(yè)在機器人、制造、能源、建筑管理等領(lǐng)域開發(fā)自主系統(tǒng)。微軟在去年將Bonsai公司納入麾下。

深度強化學習模型通過基于激勵機制的反復(fù)試錯進行學習，目前在電子游戲中已經(jīng)能夠打敗人類。Hammond認為，對于現(xiàn)實世界中更為復(fù)雜的應(yīng)用問題，深度強化學習還有很長的路要走，而機器教學方法與深度強化學習的結(jié)合則可以大大提高解決問題的效率。

開發(fā)者和其他領(lǐng)域的專業(yè)人士可以用Bonsai定制的編程語言Inkling將自己的專業(yè)知識“傳授”給AI，就像編寫課件一樣。通過對這些關(guān)鍵知識的學習，Bonsai系統(tǒng)能更快地選出最好的強化學習模型，并在模擬環(huán)境中測試不同的操作，給出效果最優(yōu)的解決方案，從而避免許多耗時的無效探索。

在Hammond看來，人們從一開始就應(yīng)該告訴AI應(yīng)該著重關(guān)注哪些要點，“如果只用強化學習，不向它提供任何對解決問題有幫助的信息，它就會像無頭蒼蠅一樣隨意探索，很難發(fā)現(xiàn)行之有效的解決方案。所以機器教學非常重要，它能夠讓問題真正得以解決。”