2020 年 8 月 7 日，全球人工智能和機(jī)器人峰會(huì)（CCF-GAIR 2020）正式開(kāi)幕。CCF-GAIR 2020 峰會(huì)由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，香港中文大學(xué)（深圳）、雷鋒網(wǎng)聯(lián)合承辦，鵬城實(shí)驗(yàn)室、深圳市人工智能與機(jī)器人研究院協(xié)辦。從 2016 年的學(xué)產(chǎn)結(jié)合，2017 年的產(chǎn)業(yè)落地，2018 年的垂直細(xì)分，2019 年的人工智能 40 周年，峰會(huì)一直致力于打造國(guó)內(nèi)人工智能和機(jī)器人領(lǐng)域規(guī)模最大、規(guī)格最高、跨界最廣的學(xué)術(shù)、工業(yè)和投資平臺(tái)。

在第一天的人工智能前沿專(zhuān)場(chǎng)上，南京大學(xué)計(jì)算機(jī)系主任、人工智能學(xué)院院長(zhǎng)、CCF會(huì)士、ACM、AAAI、IEEE、IAPR Fellow周志華教授以“反繹學(xué)習(xí)”為題發(fā)表了大會(huì)報(bào)告。 周志華表示，當(dāng)今的人工智能熱潮是由于機(jī)器學(xué)習(xí)，特別是其中的深度學(xué)習(xí)技術(shù)取得巨大進(jìn)展，在大數(shù)據(jù)、大算力的支持下發(fā)揮出巨大的威力。機(jī)器學(xué)習(xí)算法模型用了更多數(shù)據(jù)和算力后，獲得的性能增長(zhǎng)可能遠(yuǎn)超算法模型設(shè)計(jì)者的預(yù)想。但是，把模型“做大”要付出高昂的成本代價(jià)。 因此，他認(rèn)為，在人工智能研究上，學(xué)術(shù)界和工業(yè)界適宜有不同的分工：把“對(duì)性能的追求”交給工業(yè)界，學(xué)術(shù)界回到本源，做“探路”和“思考未來(lái)”的事情。 如何將“機(jī)器學(xué)習(xí)“與“邏輯推理”相結(jié)合，是人工智能領(lǐng)域的“圣杯問(wèn)題”，以往的努力有的是“重推理”，有的是“重學(xué)習(xí)”，另一側(cè)未能充分發(fā)揮力量。周志華教授提出了“反繹學(xué)習(xí)”，希望在一個(gè)框架下讓機(jī)器學(xué)習(xí)和邏輯推理二者能更均衡更充分地發(fā)揮效用。 他說(shuō)到，“現(xiàn)在都知道人工智能技術(shù)發(fā)揮作用需要數(shù)據(jù)、算法和算力這三要素，未來(lái)需要把知識(shí)這個(gè)要素也考慮進(jìn)來(lái)。知識(shí)凝聚了人的智慧。過(guò)去十幾年，我們都是從數(shù)據(jù)驅(qū)動(dòng)的角度來(lái)研究人工智能，現(xiàn)在是時(shí)候把數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)結(jié)合起來(lái)?！?/p>

以下為周志華教授的現(xiàn)場(chǎng)演講內(nèi)容，AI 科技評(píng)論進(jìn)行了不改變?cè)獾恼砗途庉嫞?/p>

周志華：各位專(zhuān)家、朋友，大家上午好。感謝CCF和杜子德秘書(shū)長(zhǎng)邀請(qǐng)，作為CCF的老會(huì)員，很高興來(lái)參加這個(gè)活動(dòng)。今天我跟大家分享的主題是《Abductive Learning（反繹學(xué)習(xí)）》。

人工智能技術(shù)的發(fā)展需要三個(gè)要素：數(shù)據(jù)、算法和算力。前幾年，“大數(shù)據(jù)時(shí)代”是一個(gè)熱詞。大家都知道，大數(shù)據(jù)本身并不必然意味著大價(jià)值。數(shù)據(jù)是資源，要得到資源的價(jià)值，就必須進(jìn)行有效的數(shù)據(jù)分析。在今天，有效的數(shù)據(jù)分析主要依靠機(jī)器學(xué)習(xí)算法。

今天的人工智能熱潮主要就是由于機(jī)器學(xué)習(xí)，特別是其中的深度學(xué)習(xí)技術(shù)取得巨大進(jìn)展，而且是在大數(shù)據(jù)、大算力的支持下發(fā)揮出巨大的威力。 談到深度學(xué)習(xí)，就要談到深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)是非常龐大的系統(tǒng)，要訓(xùn)練出來(lái)需要很多數(shù)據(jù)、很強(qiáng)算力的支撐。人工智能算法模型對(duì)于算力的巨大需求，也推動(dòng)了今天芯片業(yè)的發(fā)展。例如現(xiàn)在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)用到的GPU，更早是用于動(dòng)畫(huà)、渲染。如果沒(méi)有深度神經(jīng)網(wǎng)絡(luò)這么大的需求，GPU也很難有今天這么大的市場(chǎng)，更不用說(shuō)現(xiàn)在還有TPU等新的設(shè)計(jì)。 所以我們可以看到，人工智能算法模型的發(fā)展，與算力、芯片發(fā)展之間，有相互促進(jìn)的作用。這幾方面的要素是互相促進(jìn)、互相支撐。 1 把“對(duì)性能的追求”交給工業(yè)界另一方面，把強(qiáng)大的算力、超大的數(shù)據(jù)往上堆，可能把現(xiàn)有機(jī)器學(xué)習(xí)算法模型的能力發(fā)揮到極致，所能達(dá)到的性能水平甚至可能令算法研究者自己都感到驚訝。這種“大力出奇跡”的“暴力美學(xué)”，已經(jīng)產(chǎn)生出了非常強(qiáng)大的模型。 比方說(shuō)，最近大家談到的當(dāng)前最大人工智能模型——GPT3。它用到的訓(xùn)練數(shù)據(jù)是45TB，模型參數(shù)1750億參數(shù)，模型大小700G?；谶@個(gè)模型，很多困難的問(wèn)題像自然語(yǔ)言處理里的許多問(wèn)題都取得大幅度進(jìn)展。 我們來(lái)看看這篇關(guān)于GPT3的論文。和我們這個(gè)學(xué)科一般的論文不太一樣，作者非常多，31位作者。文章后面有分工介紹，有的作者是專(zhuān)門(mén)寫(xiě)代碼、有的是專(zhuān)門(mén)調(diào)參數(shù)、有的專(zhuān)門(mén)做數(shù)據(jù)采樣、有的專(zhuān)門(mén)寫(xiě)論文…… 流水線分工作業(yè)，簡(jiǎn)直是工業(yè)化大生產(chǎn)的模式。 再看看論文中的算法模型，可以看到，都是已有的技術(shù)，里面每一部分都不是新的。但是，基于強(qiáng)大的工程化組織，讓它發(fā)揮了巨大作用。核心要點(diǎn)就是做大、做大、再做大。 做大就必然付出代價(jià)。讀這篇文章可以注意到里面有一句話，說(shuō)作者發(fā)現(xiàn)這個(gè)工作中有一個(gè)Bug，但是由于成本太高，就沒(méi)有重新訓(xùn)練。據(jù)說(shuō)訓(xùn)練一次的成本大約1300萬(wàn)美元，所以即便發(fā)現(xiàn)有Bug，也就忍著算了。 這樣的模型能夠解決很多問(wèn)題，帶來(lái)很大的性能提升。但是如此高昂的成本，也給我們從事人工智能研究的人帶來(lái)了新的挑戰(zhàn)，特別值得讓學(xué)術(shù)界從事人工智能研究的學(xué)者思考一個(gè)問(wèn)題：昂貴的成本必須換來(lái)效益回報(bào)，模型性能提升，在工業(yè)界能提升經(jīng)濟(jì)效益，有時(shí)哪怕性能提升一兩個(gè)點(diǎn)，帶來(lái)的回報(bào)可能足以彌補(bǔ)投入。但學(xué)術(shù)界如果花這么大成本，怎么能帶來(lái)足夠的回報(bào)？

學(xué)術(shù)界和工業(yè)界在人工智能研究上，適宜有不同的分工：把對(duì)“性能”的追求交給工業(yè)界，學(xué)術(shù)界不必過(guò)多地關(guān)注“性能”，因?yàn)槟Ｐ托阅芴岣吣敲磶讉€(gè)點(diǎn)，對(duì)于學(xué)術(shù)界并沒(méi)有多大的意義，僅僅是發(fā)表幾篇論文的話，對(duì)不起這么巨大的投入。當(dāng)然，我們培養(yǎng)了人才，人才是無(wú)價(jià)的，但是不用花這么多成本也可以培養(yǎng)優(yōu)秀人才。 把對(duì)性能的追求交給工業(yè)界，那么學(xué)術(shù)界做什么呢？回到本源，做學(xué)術(shù)界該做的工作：“探路”、“思考未來(lái)”。只要是全新的探索，成功了可以指出新的道路，即便不成功，也可以指出此路不通，都是有巨大意義的。一條道路探明之后，進(jìn)一步的改進(jìn)和提升就交給工業(yè)界。 2 “推理+學(xué)習(xí)”的難題開(kāi)頭我們說(shuō)到，人工智能技術(shù)發(fā)揮作用要有算法、算力和數(shù)據(jù)三大要素，未來(lái)是不是還這樣呢？要不要往里面加?xùn)|西？這是我們現(xiàn)在要思考的。 疫情期間我們跟合作者，包括公司企業(yè)和醫(yī)學(xué)專(zhuān)家，一起做了一點(diǎn)事，做的人工智能疫情分析推演模型為相關(guān)部門(mén)疫情防控決策做了一點(diǎn)微小的輔助。這個(gè)工作中大量使用了機(jī)器學(xué)習(xí)技術(shù)，但是僅有機(jī)器學(xué)習(xí)夠不夠？不夠！我們使用了很多高水平醫(yī)學(xué)專(zhuān)家、病毒專(zhuān)家的知識(shí)。我們深深體會(huì)到，如果機(jī)器學(xué)習(xí)技術(shù)能夠跟專(zhuān)家知識(shí)很好地結(jié)合起來(lái)，或許會(huì)發(fā)揮超出我們預(yù)想的作用。 事實(shí)上，在人工智能領(lǐng)域有一個(gè)長(zhǎng)期存在的“圣杯”問(wèn)題，就是我們什么時(shí)候能夠把機(jī)器學(xué)習(xí)和邏輯推理很好地融合起來(lái)？如果能夠得到一個(gè)完整的框架，能夠讓這二者同時(shí)在其中很好的發(fā)揮作用，那這是我們非常希望達(dá)到的一個(gè)目標(biāo)。 為什么要考慮這件事？我們首先可以看一看。邏輯推理它非常容易來(lái)利用我們的知識(shí)， 而機(jī)器學(xué)習(xí)呢比較容易來(lái)利用數(shù)據(jù)、利用證據(jù)、事實(shí)。但是如果從人類(lèi)決策來(lái)看，很多決策的時(shí)候同時(shí)要使用知識(shí)以及證據(jù)。那么這兩者能不能很好地弄到一起去呢？

非常遺憾，雖然邏輯推理和機(jī)器學(xué)習(xí)在人工智能歷史上有很多研究，但是這兩者基本上是獨(dú)立發(fā)展起來(lái)的。比方說(shuō)在1956年代到1990年代期間，邏輯推理和知識(shí)工程是人工智能的主流技術(shù)，但這時(shí)候機(jī)器學(xué)習(xí)的研究還很冷清。而到了90年代中期之后，機(jī)器學(xué)習(xí)研究變得非常的熱門(mén)，但這時(shí)候邏輯推理和知識(shí)工程的研究又變得冷清起來(lái)，甚至今天從事這方面研究的人在全世界都已經(jīng)很少了。

如果想把兩者結(jié)合起來(lái)，最主要的障礙是什么呢？最主要的是，這兩者幾乎是基于完全不同的表示方式。 邏輯推理我們一般來(lái)說(shuō)可以認(rèn)為它是基于一階邏輯規(guī)則的表示。這里我們看一個(gè)例子，這里面有三個(gè)子句，第一個(gè)字句：對(duì)于任意X和Y，如果X是Y的父母，那么X比Y年長(zhǎng)；第二個(gè)字句：對(duì)于任何兩個(gè)人，X是Y的媽媽?zhuān)敲碭就是Y的父母；第三：LuLu是FiFi的媽媽?，F(xiàn)在如果我們問(wèn)：誰(shuí)更年長(zhǎng)一些？那么如果從這樣的一個(gè)邏輯系統(tǒng)，我們馬上就可以知道，第三句話，我們知道Lulu是Fifi的媽媽?zhuān)敲磸牡?句話我們就知道她是Fifi的父母。又從第1句話我們知道她肯定比Fifi年長(zhǎng)。邏輯推理就是基于這樣的一些邏輯規(guī)則描述出來(lái)的知識(shí)，來(lái)幫助我們做這樣的推理判斷。 機(jī)器學(xué)習(xí)呢，它走的是另外一個(gè)路線。我們會(huì)收集很多的數(shù)據(jù)，比方說(shuō)把這個(gè)數(shù)據(jù)組織成這么一個(gè)表格形式，每一行就是一個(gè)對(duì)象或者事件，每一列是刻畫(huà)它的一個(gè)屬性或特征，這就是所謂的“屬性-值“表示形式。如果從邏輯的角度來(lái)看，這種表示是非?；A(chǔ)的命題邏輯的表示方式，可以把屬性值表對(duì)應(yīng)成邏輯真值表。 而命題邏輯和硬件邏輯中間是有非常大的差別，很重要的就是有對(duì)于“任意”以及“存在”這樣的量詞會(huì)發(fā)生作用。一階邏輯表示由于涉及量詞，比方說(shuō)如果要把“任意”這個(gè)量詞拆開(kāi)把每個(gè)可能的X當(dāng)做一個(gè)樣本，那就會(huì)變成無(wú)限大的樣本集。如果把一階邏輯中的謂詞比方說(shuō)“parent”當(dāng)作一個(gè)屬性，那么你會(huì)發(fā)現(xiàn)，每個(gè)邏輯子句刻畫(huà)的并不是某個(gè)樣本，而是在刻畫(huà)樣本之間的某種關(guān)系。 于是，當(dāng)我們把謂詞直接當(dāng)做屬性試圖展開(kāi)成普通數(shù)據(jù)集的時(shí)候，會(huì)發(fā)現(xiàn)數(shù)據(jù)集里甚至沒(méi)有真正的屬性-值的描述。 雖然很困難，但大家都知道，如果能把兩者結(jié)合起來(lái)，可能會(huì)有更大的威力，因此歷史上已經(jīng)有很多研究者在做努力。我們可以歸結(jié)是大致兩個(gè)方向的努力。一個(gè)方向主要是做邏輯推理方面的學(xué)者，嘗試引入一些機(jī)器學(xué)習(xí)里面的基礎(chǔ)的技術(shù)或者概念。這里面形成了一大類(lèi)技術(shù)，有很多的做法。 我們舉一個(gè)最簡(jiǎn)單的例子，比方說(shuō)剛剛給大家看到的幾個(gè)子句，每個(gè)邏輯子句是確定的：要么成立，要么不成立。我們現(xiàn)在可以給每個(gè)邏輯子句加上一個(gè)權(quán)重，一定程度上我們可以認(rèn)為它反映這個(gè)子句成立的概率。 比如說(shuō)：如果一個(gè)人是大學(xué)三年級(jí)，另一個(gè)人是大學(xué)一年級(jí)，那么第一個(gè)人很可能比第二個(gè)人年長(zhǎng)，這個(gè)可能性是80%。通過(guò)加一個(gè)0.8，我們就使得這個(gè)事實(shí)變成一個(gè)概率的成立。這樣得到的帶有概率權(quán)重的子句，就可以進(jìn)行一定程度的概率推理。 另一個(gè)方向是從機(jī)器學(xué)習(xí)的角度，嘗試把一些邏輯推理方面的東西引進(jìn)來(lái)。比方說(shuō)我們看到有這么一條子句，如果一個(gè)人他抽煙，那么他很有可能得癌癥。有了這么一個(gè)知識(shí)，我們就可以在做貝葉斯網(wǎng)初始化的時(shí)候，把任何一個(gè)X，如果他smoke，我們就把它和cancer之間的這條邊連起來(lái)，也就是說(shuō)我們用這個(gè)初步的規(guī)則幫助我們做這個(gè)網(wǎng)絡(luò)的初始化。初始化之后，原來(lái)貝葉斯網(wǎng)該怎么學(xué)就怎么學(xué)。

所以我們可以看上面這兩大類(lèi)做法。第一類(lèi)，我們可以看到它是把機(jī)器學(xué)習(xí)往邏輯推理中引，但是后面主體還是通過(guò)推理來(lái)解決問(wèn)題，所以我們稱(chēng)它是推理重而學(xué)習(xí)輕。第二種做法基本上是反過(guò)來(lái)，它把邏輯推理的技術(shù)往機(jī)器學(xué)習(xí)里面引，但是后期主要的解決問(wèn)題是靠機(jī)器學(xué)習(xí)，所以我們稱(chēng)它是學(xué)習(xí)重而推理輕。總是一頭重一頭輕，這就意味著有一頭的技術(shù)沒(méi)有充分發(fā)揮威力。 所以我們現(xiàn)在就想，能不能有一個(gè)新的機(jī)制幫助我們把這兩大類(lèi)技術(shù)的威力都充分地發(fā)揮起來(lái)呢？我們最近提出了一個(gè)新的方案，叫做Abductive Learning。 3 什么是“反繹”？要去理解Abductive learning之前，我們先來(lái)理解這個(gè)abductive是什么含義。

在人類(lèi)對(duì)知識(shí)的處理上，或者說(shuō)對(duì)現(xiàn)實(shí)問(wèn)題的抽象上，我們通常有兩種做法。 一種是演繹，我們從一個(gè)一般性的原理出發(fā)，然后把一些特定的結(jié)果能夠得出來(lái)，而且這個(gè)得出的過(guò)程是有保障的。比方說(shuō)我們做定理證明，首先拿到一些數(shù)學(xué)公理，然后基于這些數(shù)學(xué)公理，把與它們一致的所有別的定理都證明出來(lái)。這就是一個(gè)“從一般到特殊”的過(guò)程，這是演繹。 另一種做法是歸納，就是說(shuō)我們先看到一些特定的事實(shí)，然后我們從特定的事實(shí)中總結(jié)出一般的規(guī)律。其實(shí)機(jī)器學(xué)習(xí)做的就是這么一件事。我們看到很多很多的數(shù)據(jù)，然后希望學(xué)習(xí)出反映一般規(guī)律的模型，這就是“從特殊到一般”。 定理證明可以說(shuō)是演繹的典型代表，而機(jī)器學(xué)習(xí)是歸納的典型代表。我們今天講到的這個(gè)反繹，不太一樣。Abductive這個(gè)詞在邏輯里有時(shí)候翻譯成誘導(dǎo)。但是在我們這個(gè)框架下，再把它翻譯成誘導(dǎo)就不是特別合適，所以我們另譯為反繹。反繹學(xué)習(xí)就大致是把演繹反向嵌入到機(jī)器學(xué)習(xí)歸納過(guò)程中去。 反繹是什么意思呢？它是首先從一個(gè)不完備的觀察出發(fā)，然后希望得到一個(gè)關(guān)于某一個(gè)我們特別關(guān)心的集合的最可能的解釋。直接從這句話來(lái)理解可能有困難。那么下面我就先給大家看一個(gè)例子，是關(guān)于怎么去破譯瑪雅歷法這么一個(gè)故事。 大家知道中美洲有一個(gè)古老的瑪雅文明。他們建立起了非常復(fù)雜、精致的歷法系統(tǒng)，具體是有三套歷法。

左邊這三個(gè)石柱子上畫(huà)出了很多的圖案，每個(gè)圖案它會(huì)表達(dá)一個(gè)含義。看中間紅色方框中間的5個(gè)圖像，考古學(xué)家知道是對(duì)應(yīng)了瑪雅的一個(gè)歷法叫做長(zhǎng)歷。這是一組看起來(lái)像是IP地址的數(shù)字，它實(shí)際是不嚴(yán)格的20進(jìn)制，描述了一個(gè)日期，就是瑪雅文明認(rèn)為從創(chuàng)世開(kāi)始一共經(jīng)過(guò)了多少天。這里面第1個(gè)和第4個(gè)是什么含義還不知道，所以打了問(wèn)號(hào)，第2個(gè)圖像對(duì)應(yīng)于18，第3個(gè)對(duì)應(yīng)于5，最后一個(gè)對(duì)應(yīng)于0。 接下來(lái)，藍(lán)色框出來(lái)這兩位，對(duì)應(yīng)于瑪雅的神歷。左邊這個(gè)圖像是什么含義還不知道，打了問(wèn)號(hào)；右邊這個(gè)符號(hào)已經(jīng)知道代表一個(gè)東西叫做Ahau。這兩位結(jié)合起來(lái)也代表了一天。其實(shí)這兩位一個(gè)是指月，一個(gè)是指日，有點(diǎn)像我們中國(guó)天干、地支的搭配，類(lèi)似于在說(shuō)“庚月子日”。但僅靠它肯定是不精確的，即便知道“庚月子日”也不知道具體是哪一天，因?yàn)闅v史上有很多的庚月子日，還需要要和別的信息結(jié)合起來(lái)。 最后這兩位是13 Mac，對(duì)應(yīng)瑪雅的太陽(yáng)歷，是說(shuō)這一年第13個(gè)月第14天。但是，這是哪一年？?jī)H憑它還不知道。 但是如果這三個(gè)歷法里的問(wèn)號(hào)都清楚了，那么這一天的定位就非常精確了。現(xiàn)在需要把這三個(gè)問(wèn)號(hào)破譯出來(lái)。我們有一個(gè)重要的知識(shí)：這三個(gè)歷法系統(tǒng)，由于它們指的是同一天，那么揭示出來(lái)的這三個(gè)問(wèn)號(hào)的值一定會(huì)使這三個(gè)計(jì)數(shù)達(dá)到一致。 那我們看看考古學(xué)家會(huì)怎么做這個(gè)事。拿到這個(gè)圖像之后，他們首先根據(jù)以往破譯圖像的經(jīng)驗(yàn)去“猜“ 這些數(shù)字是什么。但這很難，考古學(xué)家現(xiàn)在只知道這兩個(gè)紅色的應(yīng)該是同一個(gè)數(shù)，藍(lán)色的應(yīng)該是另外一個(gè)數(shù)，但這個(gè)紅色的既有可能是1，也有可能是8，也有可能是9。因?yàn)楝斞湃丝淌鞘止ざ皇菣C(jī)器做的，每次都有變化。比方說(shuō)大家看到最上面這個(gè)紅色的圖像，它好像和這個(gè)1最左邊這個(gè)很像，和8的第二個(gè)也很像，跟9最右邊的這個(gè)也比較像。

然后接下來(lái)考古學(xué)家做什么呢？他們把可能的情況全部展開(kāi)。比方說(shuō)如果我們認(rèn)為紅色的這個(gè)是1，那我們現(xiàn)在這個(gè)藍(lán)色的就有幾種可能，2 3 4 5 6 7這些可能都有，例如右邊的最下面一行是1.18.5.7.0，這是從觀察到的圖像得出的猜測(cè)。也就是說(shuō)從觀測(cè)到的石柱，他們得出了這么幾個(gè)可能的假設(shè)。接下來(lái)的一步，他們就要利用所掌握的知識(shí)來(lái)做判斷。 所掌握的知識(shí)是告訴我們現(xiàn)在這三個(gè)歷法系統(tǒng)，它對(duì)應(yīng)的日期應(yīng)該是同一天。這里恰好找到紅色是1、藍(lán)色是6的這一行，對(duì)應(yīng)的破譯結(jié)果是長(zhǎng)歷的創(chuàng)世以來(lái)第275520天，恰好是神歷中一年的倒數(shù)第三天，也恰好是太陽(yáng)歷中第13個(gè)月的第14天，一切都一致了！于是，這就得到了結(jié)果。 這就是反繹的過(guò)程。 我們回顧一下，首先它來(lái)自一個(gè)不完備的觀察，有的圖像是什么我們知道，有的圖像是什么我們不知道。然后基于這個(gè)觀察，我們得到一個(gè)假設(shè)。有了這個(gè)假設(shè)之后，根據(jù)我們的知識(shí)來(lái)找一個(gè)最可能的解釋。而這個(gè)解釋就是現(xiàn)在紅色，藍(lán)色這個(gè)我們當(dāng)前所關(guān)心的集合。這就是反繹的含義。

我們現(xiàn)在回頭看一看現(xiàn)在的機(jī)器學(xué)習(xí)。首先我們要有很多instance，這是我們的樣本。我們要有很多l(xiāng)abel，這是關(guān)于訓(xùn)練樣本的已經(jīng)知道的結(jié)果。我們把它合起來(lái)做監(jiān)督學(xué)習(xí)，訓(xùn)練出一個(gè)分類(lèi)器。 反繹學(xué)習(xí)的設(shè)置不太一樣。我們有一些樣本，但只有樣本的表現(xiàn)，不知道結(jié)果。這就類(lèi)似于剛才在瑪雅這個(gè)故事里面我們看到很多圖像，但這個(gè)圖像對(duì)應(yīng)的含義是什么還不知道。反繹學(xué)習(xí)中假設(shè)有一個(gè)知識(shí)庫(kù)，這就類(lèi)似于剛才考古學(xué)家所擁有的關(guān)于歷法的知識(shí)。同時(shí)我們還有一個(gè)初始分類(lèi)器，這就好比說(shuō)考古學(xué)家一開(kāi)始看到這個(gè)圖像，他會(huì)猜這個(gè)圖像到底是什么？那么他憑什么猜呢？是他腦子里面有這么一個(gè)分類(lèi)器。

在這個(gè)學(xué)習(xí)中，我們先把所有的數(shù)據(jù)提供給這個(gè)初始分類(lèi)器，這個(gè)初始分類(lèi)器就會(huì)猜出一個(gè)結(jié)果，比方說(shuō)紅色的可能是1等等。然后得到這個(gè)結(jié)果之后，我們就會(huì)把它轉(zhuǎn)化成一個(gè)知識(shí)推理系統(tǒng)它能夠接受的符號(hào)表示。比如說(shuō)從這些label里面，得到了A，非B，非C等等。 那么接下來(lái)這一步，我們就要根據(jù)知識(shí)庫(kù)里面的知識(shí)來(lái)發(fā)現(xiàn)有沒(méi)有什么東西是不一致的？剛才在瑪雅歷法的故事里，第一輪就一致了，但在一般的任務(wù)中未必那么早就能發(fā)現(xiàn)一致的結(jié)果。 如果有不一致，我們能不能找到某一個(gè)東西，一旦修改之后它就能變成一致？這就是我們要去找最小的不一致。假設(shè)我們現(xiàn)在找到，只要把這個(gè)非C改成C，那么你得到的事實(shí)就和知識(shí)都一致了。我們就把它改過(guò)來(lái)，這就是紅色的這個(gè)部分。那這就是一個(gè)反繹的結(jié)果。 而反繹出來(lái)的這個(gè)C，我們現(xiàn)在會(huì)回到原來(lái)的label中，把這個(gè)label把它改掉，接下來(lái)我們就用修改過(guò)的label和原來(lái)的數(shù)據(jù)一起來(lái)訓(xùn)練一個(gè)新分類(lèi)器。這個(gè)過(guò)程可以不斷地迭代下去。這個(gè)分類(lèi)器可以代替掉老的分類(lèi)器。這個(gè)過(guò)程一直到分類(lèi)器不發(fā)生變化，或者我們得到的事實(shí)和知識(shí)庫(kù)完全一致，這時(shí)候就停止了。

可以看到，左邊這一半就是在做機(jī)器學(xué)習(xí)，而右邊這一半是在做邏輯推理。而且，它不是說(shuō)一頭重一頭輕，而是這兩者互相依賴(lài)，一直這樣循環(huán)處理下去，這么一個(gè)過(guò)程。反繹學(xué)習(xí)的形式化描述，我們今天就不展開(kāi)了。 4 反繹學(xué)習(xí)的討論與案例有幾點(diǎn)內(nèi)容我們來(lái)討論一下。首先我們看這個(gè)數(shù)據(jù)部分。在反繹學(xué)習(xí)中，這個(gè)數(shù)據(jù)只需要有instance，不需要有l(wèi)abel。那么我們靠什么來(lái)做監(jiān)督學(xué)習(xí)呢？主要就是靠初始分類(lèi)器以及知識(shí)庫(kù)中的知識(shí)。 可以認(rèn)為這個(gè)監(jiān)督信息是來(lái)自于數(shù)據(jù)之外的地方，所以從這個(gè)角度上說(shuō)，反繹學(xué)習(xí)可以看成是一個(gè)很廣義的弱監(jiān)督學(xué)習(xí)。但另一方面，如果初始數(shù)據(jù)中確實(shí)是有l(wèi)abel的，那這個(gè)學(xué)習(xí)過(guò)程，label信息完全可以用上去。比方說(shuō)，我們把真的label和反繹出來(lái)的label一起用來(lái)對(duì)分類(lèi)器做更新等等。 第二個(gè)方面，初始的分類(lèi)器從哪來(lái)？這可以有很多的辦法，比方說(shuō)類(lèi)似于深度學(xué)習(xí)的預(yù)訓(xùn)練或者遷移學(xué)習(xí)，做一個(gè)任務(wù)時(shí)可以用另外一個(gè)任務(wù)的結(jié)果做初步模型。甚至把數(shù)據(jù)聚類(lèi)的結(jié)果作為粗糙的起點(diǎn)，有時(shí)也可以。 這里的關(guān)鍵是，初始分類(lèi)器未必要準(zhǔn)確可靠，只不過(guò)用它把過(guò)程啟動(dòng)起來(lái)。當(dāng)初始模型非常粗糙時(shí)，如果知識(shí)庫(kù)的知識(shí)靠譜，那就能通過(guò)知識(shí)庫(kù)的信息來(lái)修正分類(lèi)器，能進(jìn)行下去。如果知識(shí)不太精準(zhǔn)，而初始模型比較好，也能往下學(xué)。如果兩者都好，當(dāng)然可以做得更好。也就是說(shuō)，至少有一個(gè)好就能往下做。當(dāng)然，如果數(shù)據(jù)沒(méi)有l(wèi)abel、初始分類(lèi)器不靠譜、知識(shí)也不靠譜，那這樣的任務(wù)本身就沒(méi)法做。 那接下來(lái)，這個(gè)知識(shí)庫(kù)從哪來(lái)？這個(gè)目前還是需要人類(lèi)專(zhuān)家來(lái)提供。最近一些關(guān)于知識(shí)圖譜的工作能提供很多幫助。另外，有可能初始的知識(shí)并不是完美的，那么這個(gè)過(guò)程中，也可以通過(guò)對(duì)數(shù)據(jù)的學(xué)習(xí)來(lái)對(duì)知識(shí)做精化，所以反繹學(xué)習(xí)本身也可以認(rèn)為是一個(gè)對(duì)知識(shí)精化的過(guò)程。 接下來(lái)這個(gè)過(guò)程中涉及到怎么樣具體地去做學(xué)習(xí)，去做推理等等，這些具體算法機(jī)制的設(shè)計(jì)。反繹學(xué)習(xí)本身是一個(gè)框架，對(duì)里面這些機(jī)制細(xì)節(jié)做不同的設(shè)計(jì)，可以產(chǎn)生出不同特點(diǎn)的反繹學(xué)習(xí)模型和算法。 下面就介紹一個(gè)簡(jiǎn)單的例子，面對(duì)的這個(gè)任務(wù)是破譯長(zhǎng)代碼。

例如上面三行代碼，這個(gè)代碼是以圖像形式呈現(xiàn)，比方說(shuō)第一行是正例，第二行是反例，能不能判斷第三行是正例還是反例？這里訓(xùn)練數(shù)據(jù)的長(zhǎng)度和測(cè)試數(shù)據(jù)所用的長(zhǎng)度不一樣。而且，數(shù)據(jù)的語(yǔ)義是什么事先也不知道。這和破譯密碼有點(diǎn)像?，F(xiàn)在考慮簡(jiǎn)單的XNOR問(wèn)題。 第一個(gè)是DBA任務(wù)，左邊是訓(xùn)練數(shù)據(jù)，每個(gè)數(shù)據(jù)都是由5個(gè)圖像組成，可以認(rèn)為它是5位，0+0=0是正例，1+0=0是反例。我們對(duì)這5位圖像組成的數(shù)據(jù)學(xué)習(xí)之后，測(cè)試數(shù)據(jù)是右邊這樣，長(zhǎng)度要比訓(xùn)練數(shù)據(jù)長(zhǎng)得多，而且有些數(shù)據(jù)特點(diǎn)也不同，例如訓(xùn)練數(shù)據(jù)中的等號(hào)總在倒數(shù)第二位，而測(cè)試數(shù)據(jù)中的等號(hào)可以出現(xiàn)在很不一樣的位置。第二個(gè)RBA任務(wù)更困難，連圖像的含義都看不出來(lái)，圖像都是隨機(jī)生成的。

我們用了一個(gè)簡(jiǎn)單的實(shí)現(xiàn)。機(jī)器學(xué)習(xí)部分就是用卷積神經(jīng)網(wǎng)絡(luò)，邏輯推理部分用ALP，都有開(kāi)源代碼可以直接用。把兩者銜接起來(lái)，中間的優(yōu)化求解過(guò)程跟一般機(jī)器學(xué)習(xí)里不太一樣，我們?cè)谏窠?jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)習(xí)里的優(yōu)化一般用到的是數(shù)值優(yōu)化，通常用梯度下降來(lái)做，但現(xiàn)在是面對(duì)符號(hào)優(yōu)化，不能求導(dǎo)、梯度下降。這里就用到我們研究團(tuán)隊(duì)近五六年一直在做的零階優(yōu)化方法，不用求梯度地做優(yōu)化。把這幾個(gè)技術(shù)結(jié)合起來(lái)，就是這個(gè)簡(jiǎn)單的實(shí)現(xiàn)。

我們看看這個(gè)實(shí)驗(yàn)結(jié)果，圖上藍(lán)色和紫色分別對(duì)應(yīng)基于卷積神經(jīng)網(wǎng)絡(luò)、 LSTM處理得到的結(jié)果。下面有一條橫線對(duì)應(yīng)的是隨機(jī)猜測(cè)，上面一條橫線對(duì)應(yīng)的是人的水平。第一個(gè)圖的DBA任務(wù)，我們可以看到，如果長(zhǎng)度在12位以內(nèi)，神經(jīng)網(wǎng)絡(luò)比人做得好。但是長(zhǎng)度超過(guò)12位，人比這些神經(jīng)網(wǎng)絡(luò)要強(qiáng)。 橙色部分是反繹學(xué)習(xí)的結(jié)果，通過(guò)把機(jī)器學(xué)習(xí)跟邏輯推理結(jié)合起來(lái)之后，在這個(gè)任務(wù)上比一般人做得好。右邊的RBA任務(wù)情況類(lèi)似，在這個(gè)更困難的任務(wù)上，隨著串長(zhǎng)度的增加，所有方法的性能都在下降，但是基于反繹學(xué)習(xí)的方法還是比人的水平高一些。 實(shí)驗(yàn)里這個(gè)簡(jiǎn)單任務(wù)本身并不重要，重要的是顯示出把機(jī)器學(xué)習(xí)和邏輯推理以”相對(duì)均衡”的反繹學(xué)習(xí)方式結(jié)合起來(lái)，雖然僅用了很簡(jiǎn)單的實(shí)現(xiàn)，就煥發(fā)出令人興奮的能力。今后如果設(shè)計(jì)出更精致、巧妙的實(shí)現(xiàn)方式，可能會(huì)給我們帶來(lái)更多驚喜。

大家感興趣的話，上面第一篇文獻(xiàn)是發(fā)表在中國(guó)科學(xué)上的文章，跳出細(xì)節(jié)來(lái)描述整個(gè)框架，很容易讀。第二個(gè)是描述了剛才的這個(gè)具體實(shí)現(xiàn)。

最后做一個(gè)簡(jiǎn)單的小結(jié)和展望：我們現(xiàn)在經(jīng)常在談數(shù)據(jù)、算法和算力三要素，未來(lái)或許應(yīng)該考慮進(jìn)知識(shí)這個(gè)要素，知識(shí)凝聚了人類(lèi)積累的智慧。過(guò)去十幾年，我們都是從數(shù)據(jù)驅(qū)動(dòng)的角度來(lái)研究人工智能，現(xiàn)在可能是時(shí)候把數(shù)據(jù)驅(qū)動(dòng)和知識(shí)驅(qū)動(dòng)結(jié)合起來(lái)了。我們的這個(gè)工作只是非常粗淺的初步探索，這里的研究空間很大，大家如果有興趣，相信會(huì)在這方面做出更好的工作。謝謝！