人工智能的能力我們已經(jīng)耳熟能詳，但它的弱點(diǎn)是什么、它的局限是什么才是我們需要關(guān)注的重點(diǎn)。例如，無人駕駛汽車在真實(shí)路況中會(huì)遇到很多在訓(xùn)練中從未見過的場景，如何處理這種實(shí)際與訓(xùn)練不匹配的特殊情形成為了橫在研究人員面前的一大難題。

近日，MIT和微軟的研究人員開發(fā)出一種用于識別智能系統(tǒng)的新模型，特別是自動(dòng)駕駛系統(tǒng)在訓(xùn)練中學(xué)習(xí)到的、但是與實(shí)際情形不匹配的知識“盲點(diǎn)”，工程師們可利用這一模型識別并改進(jìn)自動(dòng)駕駛系統(tǒng)處理特殊情況的措施，提高整個(gè)系統(tǒng)的安全性。

無人駕駛汽車的人工智能系統(tǒng)在虛擬仿真環(huán)境和數(shù)據(jù)集中接受了廣泛的訓(xùn)練，以便應(yīng)對道路上可能發(fā)生的每一種狀況。但是有時(shí)候汽車在現(xiàn)實(shí)世界中會(huì)犯下意想不到的錯(cuò)誤，因?yàn)閷τ谟行┩话l(fā)事件，汽車應(yīng)該但卻沒有做出正確的應(yīng)對。

如果有一輛未經(jīng)特殊訓(xùn)練的無人車，在通常的數(shù)據(jù)集上進(jìn)行訓(xùn)練后可能無法區(qū)分白色的箱式小貨車和閃著警報(bào)呼嘯而至的救護(hù)車。當(dāng)它在公路上行駛時(shí)救護(hù)車鳴笛經(jīng)過，由于它無法識別出救護(hù)車這個(gè)特殊的訓(xùn)練集中缺乏的車型（訓(xùn)練集中一般會(huì)標(biāo)注小貨車），它無法知曉此時(shí)需要減速和靠邊禮讓，而這樣的無人車在路上行駛時(shí)就帶來一系列無法預(yù)知的交通狀況。同樣的情形還會(huì)出現(xiàn)在與警車、消防車甚至校車同行的路段中。特備對于外賣快遞飛馳的電動(dòng)車、忽左忽右的自行車、隨處沖出的行人，無人駕駛系統(tǒng)更是無法處理如此復(fù)雜的路況！

為了解決這一問題，研究人員提出了新的訓(xùn)練手段來對無人系統(tǒng)進(jìn)行更深入的訓(xùn)練和改進(jìn)。首先研究人員利用先前的方法通過模擬訓(xùn)練建立了人工智能系統(tǒng)。但當(dāng)系統(tǒng)在現(xiàn)實(shí)世界中運(yùn)行時(shí)，會(huì)有人密切監(jiān)視該系統(tǒng)的行為，當(dāng)系統(tǒng)犯下或?qū)⒁赶氯魏五e(cuò)誤時(shí)，人類會(huì)及時(shí)介入為系統(tǒng)提供人類的反饋意見。隨后研究人員將訓(xùn)練數(shù)據(jù)和人類反饋數(shù)據(jù)結(jié)合起來，并使用機(jī)器學(xué)習(xí)技術(shù)來生成異常/盲點(diǎn)識別模型，該模型能夠準(zhǔn)確地指出該系統(tǒng)在哪些地方需要人類介入以便獲取更多的信息，從而來引導(dǎo)正確行為。

研究人員通過視頻游戲驗(yàn)證了這種方法，他們通過模擬讓人類糾正了視頻中人物的學(xué)習(xí)路徑。下一步是將該模型與傳統(tǒng)的訓(xùn)練和測試方法結(jié)合起來，以便訓(xùn)練那些需要人類反饋意見的自動(dòng)學(xué)習(xí)系統(tǒng)，比如自動(dòng)駕駛汽車和機(jī)器人。這個(gè)模型有助于自動(dòng)系統(tǒng)更好地了解它們不知道的東西，很多時(shí)候?qū)ο到y(tǒng)進(jìn)行訓(xùn)練時(shí)，它們接受的模擬訓(xùn)練與現(xiàn)實(shí)世界發(fā)生的事件并不相符，而且系統(tǒng)可能犯錯(cuò)，發(fā)生意外事故。這個(gè)模型可以用安全的方式以人類行為來彌補(bǔ)模擬和現(xiàn)實(shí)世界之間的差距。

一些傳統(tǒng)的訓(xùn)練方法確實(shí)在真實(shí)世界的測試中提供了人類反饋，但是僅僅是為了更新系統(tǒng)的行為動(dòng)作。這些方法不能識別人工智能系統(tǒng)的盲點(diǎn)。而這種新提出的模型首先將人工智能系統(tǒng)置于模擬訓(xùn)練中，人工智能系統(tǒng)將產(chǎn)生一些“策略”，將每種情況都映射到它在模擬中能采取的最佳行動(dòng)。然后該系統(tǒng)將被設(shè)置到現(xiàn)實(shí)世界中，當(dāng)系統(tǒng)行為錯(cuò)誤時(shí)人類將發(fā)出提醒信號。

人類可以通過多種方式提供數(shù)據(jù)，例如通過“演示”和“修正”。在演示中，人類像在現(xiàn)實(shí)世界中那樣行動(dòng)，系統(tǒng)對其進(jìn)行觀察，并將人類的行為和在這種情況下系統(tǒng)將采取的行為進(jìn)行比較。以無人駕駛汽車為例，如果汽車的計(jì)劃路線偏離了人類的意愿，人類會(huì)手動(dòng)控制汽車，這時(shí)系統(tǒng)就會(huì)發(fā)出信號。通過觀察人類行為相符或不相符的行為，為系統(tǒng)指出了哪些行為是可接受的，哪些行為是不可接受的。

同時(shí)人類還可以對系統(tǒng)進(jìn)行修正，當(dāng)系統(tǒng)在現(xiàn)實(shí)世界中工作時(shí)，人類可以對其進(jìn)行監(jiān)控。司機(jī)可以坐在駕駛座上，而自動(dòng)駕駛汽車則沿著計(jì)劃的路線行駛。如果汽車的行駛是正確的，人類不進(jìn)行干預(yù)。如果汽車的行駛不正確，人類可能會(huì)重新控制車輛，這時(shí)系統(tǒng)就會(huì)發(fā)出信號，表明在這種特定情況下汽車采取了不當(dāng)?shù)男袨椤?/p>

一旦匯集了來自人類的反饋數(shù)據(jù)，系統(tǒng)就能構(gòu)建出一個(gè)各類情況數(shù)據(jù)庫。單個(gè)情況可以接收許多不同的信號，也就是說每種狀況可能有多個(gè)標(biāo)簽表示該行為是可接受的和不可接受的。例如，一輛自動(dòng)駕駛汽車可能已經(jīng)在一輛大車旁邊開過了許多次而且沒有減速和停車，這是被認(rèn)可的。但是某次對系統(tǒng)來說和大車完全一樣的救護(hù)車駛來時(shí)，自動(dòng)駕駛汽車也沒有減速或者做出規(guī)避動(dòng)作，此時(shí)它就會(huì)收到一個(gè)反饋信號：系統(tǒng)的行為不恰當(dāng)。

此刻，該系統(tǒng)已經(jīng)從人類那里得到了多個(gè)相互矛盾的信號：有時(shí)它從大車旁邊不減速開過去，是可以的；而在相同情況下，只是大車換成了救護(hù)車，不減速開過去就不對。這時(shí)系統(tǒng)就會(huì)注意到它錯(cuò)了，但是它還不知道為什么錯(cuò)，在收集了所有這些看起來相互矛盾的信號后，下一步就是整合信息并提出問題：當(dāng)收到這些混合信號時(shí)，犯下錯(cuò)誤的可能性有多大。

這一新模型的最終目標(biāo)是將這些模棱兩可的情況標(biāo)記為盲點(diǎn)。但這不僅僅是簡單地計(jì)算每種情況下出現(xiàn)的可接受行為和不可接受行為的次數(shù)。例如如果該系統(tǒng)遇到救護(hù)車時(shí)十次中有九次采取正確的行動(dòng)，就會(huì)將這種情況標(biāo)記為非盲點(diǎn)。但由于不恰當(dāng)行為遠(yuǎn)比恰當(dāng)行為出現(xiàn)的次數(shù)少，系統(tǒng)最終會(huì)學(xué)會(huì)預(yù)測所有的情況都不是盲點(diǎn)，這對于實(shí)際系統(tǒng)來說是極其危險(xiǎn)的。

為此研究人員使用一種通常用于眾包數(shù)據(jù)處理標(biāo)簽噪聲的Dawid - Skene機(jī)器學(xué)習(xí)方法來解決這一問題。該算法將各類情況匯總數(shù)據(jù)庫作為輸入，每個(gè)情況都有“可接受”和“不可接受”的一對噪音標(biāo)簽。然后它聚集所有數(shù)據(jù)，并使用一些概率計(jì)算方法來識別預(yù)測盲點(diǎn)標(biāo)簽?zāi)Ｊ胶皖A(yù)測非盲點(diǎn)標(biāo)簽?zāi)Ｊ健Ｊ褂眠@些信息它會(huì)為每種情況輸出一個(gè)整合的“非盲點(diǎn)”或“盲點(diǎn)”標(biāo)簽以及該標(biāo)簽的置信度。值得注意的是，即使在90%的情況下做出了可接受行為，該算法也可以通過學(xué)習(xí)把罕見的不可接受情況認(rèn)作盲點(diǎn)。最后該算法將生成了“熱圖”，系統(tǒng)在原始訓(xùn)練中經(jīng)歷的每種訓(xùn)練情況都被按照從低到高的盲點(diǎn)概率進(jìn)行排布。

當(dāng)系統(tǒng)被應(yīng)用到現(xiàn)實(shí)世界中時(shí)，它可以利用該學(xué)習(xí)模型來更加謹(jǐn)慎和智能地行動(dòng)。如果學(xué)習(xí)模型預(yù)測某種狀態(tài)是高概率的盲點(diǎn)，系統(tǒng)就可以咨詢?nèi)祟悜?yīng)該如何應(yīng)對，從而更安全的行動(dòng)。