深度學(xué)習(xí)在近年的進(jìn)展又一次點(diǎn)燃了各界對(duì)人工神經(jīng)網(wǎng)絡(luò)的熱情。這一技術(shù)在圖像識(shí)別、語(yǔ)音識(shí)別、棋類游戲等領(lǐng)域的成效出人意料，而且更多應(yīng)用領(lǐng)域也正在被開(kāi)拓出來(lái)?！吧疃葘W(xué)習(xí)是否有效”已經(jīng)不是問(wèn)題，現(xiàn)在的問(wèn)題是在哪些問(wèn)題上有效，尤其是這條研究路線是否是達(dá)到通用智能的最佳途徑。我在前面幾篇短文中涉及到了這個(gè)話題，但均未展開(kāi)談。關(guān)于人工神經(jīng)網(wǎng)絡(luò)的工作原理和這項(xiàng)研究的歷史沉浮，有關(guān)介紹已有很多，這里不再重復(fù)。主要想討論幾個(gè)被普遍忽視或誤解的概念問(wèn)題。

此網(wǎng)絡(luò)非彼網(wǎng)絡(luò)

在實(shí)現(xiàn)“像人一樣的智能”的諸多可能途徑中，人工神經(jīng)網(wǎng)絡(luò)似乎具有天然的合理性和說(shuō)服力。我們都知道人的智能來(lái)自人腦，而人腦是個(gè)神經(jīng)網(wǎng)絡(luò)，不是嗎？

當(dāng)然沒(méi)這么簡(jiǎn)單。所謂“人工神經(jīng)網(wǎng)絡(luò)”和人腦中的“神經(jīng)網(wǎng)絡(luò)”只有非常有限的共同點(diǎn)，而不同點(diǎn)則要多得多。我們不能僅僅因?yàn)樗鼈兠Q上的相似性就斷定它們會(huì)有相同的功能。

深度神經(jīng)網(wǎng)絡(luò)：

這類網(wǎng)絡(luò)由若干層組成，每層中的人工神經(jīng)元與相鄰層中的神經(jīng)元相連接。網(wǎng)絡(luò)中的底層接受輸入信號(hào)，頂層生成輸出信號(hào)，中間層將下層的輸出值做加權(quán)求和后經(jīng)一個(gè)“激活函數(shù)”產(chǎn)生成本層輸出值，以供上層之用。這樣，每層將一個(gè)“向量”（即一串?dāng)?shù)值）變成另一個(gè)向量，而整個(gè)網(wǎng)絡(luò)則代表了一個(gè)從輸入層到輸出層的“向量函數(shù)”。這里的輸入可以是各種感知信號(hào)，中間層代表信號(hào)的概括和抽象，而輸出則代表系統(tǒng)的認(rèn)知結(jié)果或應(yīng)對(duì)行為。

說(shuō)這種系統(tǒng)能“學(xué)習(xí)”，是指在構(gòu)建網(wǎng)絡(luò)時(shí)，設(shè)計(jì)者只需選定神經(jīng)元模型（如激活函數(shù)的公式）和網(wǎng)絡(luò)結(jié)構(gòu)（如一共幾層，每層多少神經(jīng)元）等，而將各個(gè)連接上的權(quán)值作為待定“參數(shù)”。在網(wǎng)絡(luò)的“訓(xùn)練”過(guò)程中，一個(gè)“學(xué)習(xí)算法”根據(jù)已知數(shù)據(jù)對(duì)這些參數(shù)反復(fù)進(jìn)行調(diào)整，直到整個(gè)網(wǎng)絡(luò)達(dá)到某種預(yù)定的標(biāo)準(zhǔn)為止。這時(shí)我們就說(shuō)這個(gè)網(wǎng)絡(luò)“學(xué)會(huì)了”如何識(shí)別、區(qū)分或應(yīng)對(duì)這種輸入信號(hào)。如我在《機(jī)器是如何被騙并騙人的？》中所解釋的，這種網(wǎng)絡(luò)就是個(gè)通用函數(shù)擬合器。

這種網(wǎng)絡(luò)結(jié)構(gòu)在三十年前就已經(jīng)以“PDP模型”的名稱廣為流傳了，只是那時(shí)的網(wǎng)絡(luò)一般只有一個(gè)中間層?！吧疃葘W(xué)習(xí)”的貢獻(xiàn)就是增加其“深度”，即中間層的數(shù)量。更多的中間層使得系統(tǒng)的行為更復(fù)雜，這是顯而易見(jiàn)的，但以前無(wú)法有效的訓(xùn)練這種系統(tǒng)。深度神經(jīng)網(wǎng)絡(luò)成功的原因公認(rèn)有三個(gè)：（1）大量的訓(xùn)練數(shù)據(jù)（否則無(wú)法確定那么多參數(shù)），（2）改進(jìn)了的學(xué)習(xí)算法（否則無(wú)法有效利用這些數(shù)據(jù)），（3）強(qiáng)有力的硬件支持（否則無(wú)法足夠快地完成計(jì)算）。

這種人工神經(jīng)網(wǎng)絡(luò)的確是從人腦得到了靈感，但并不是以嚴(yán)格模擬后者為目標(biāo)的。首先，人工神經(jīng)元忽略了人腦神經(jīng)元的很多重要特征，比如說(shuō)激活的時(shí)間模式等。其次，人腦中的神經(jīng)元有很多種，互相的連接方式也遠(yuǎn)比上述模型中的要復(fù)雜。最后，人腦的學(xué)習(xí)過(guò)程不是通過(guò)反復(fù)調(diào)整權(quán)值而“收斂”于一個(gè)特定的輸入輸出關(guān)系的，所以不能被簡(jiǎn)化為函數(shù)擬合。

當(dāng)然，前面提到的人工神經(jīng)網(wǎng)絡(luò)只是現(xiàn)有諸多模型之一，其它模型在某些方面可能更像人腦一些。盡管如此，目前的各種人工神經(jīng)網(wǎng)絡(luò)和人腦中的神經(jīng)網(wǎng)絡(luò)仍有巨大差別。僅僅因?yàn)橐粋€(gè)計(jì)算機(jī)中用了這樣一個(gè)網(wǎng)絡(luò)，就期待它能像人腦一樣工作，這未免太天真了。實(shí)際上這種網(wǎng)絡(luò)的設(shè)計(jì)者主要關(guān)心的是其實(shí)用性，并非是否像人腦。

智能難以一“網(wǎng)”打盡

試圖嚴(yán)格模擬人的神經(jīng)網(wǎng)絡(luò)的另有人在，只不過(guò)他們的目的主要不是為了實(shí)現(xiàn)人工智能，而只是想了解人腦的工作過(guò)程。有些研究者已經(jīng)把“全腦仿真”（whole pain emulation）作為目標(biāo)了。這項(xiàng)工作當(dāng)然是很有意義的，因?yàn)椤澳M”是我們認(rèn)識(shí)一個(gè)對(duì)象或過(guò)程的有效手段。一般說(shuō)來(lái)，只要我們能精確地描述一個(gè)過(guò)程，我們就可能編寫(xiě)計(jì)算機(jī)程序來(lái)模擬它。但即使我們真能精確地模擬人腦中神經(jīng)網(wǎng)絡(luò)的工作過(guò)程，這也離完整地實(shí)現(xiàn)人類智能有相當(dāng)遠(yuǎn)的距離。

首先，人腦不僅僅是個(gè)對(duì)電信號(hào)進(jìn)行處理的神經(jīng)網(wǎng)絡(luò)。比如說(shuō)神經(jīng)遞質(zhì)在神經(jīng)元之間擔(dān)當(dāng)了“信使”的作用，而其中的活動(dòng)是化學(xué)過(guò)程。甚至人腦中的生物過(guò)程和物理過(guò)程都可能對(duì)思維產(chǎn)生影響，比如腦供血不足和劇烈運(yùn)動(dòng)后的眩暈現(xiàn)象。

即使在理論上說(shuō)人腦中的上述過(guò)程也都能模擬，這事也還沒(méi)有完。近年來(lái)認(rèn)知科學(xué)越來(lái)越強(qiáng)調(diào)軀體在思維中的作用（所謂“embodied cognition”，即“具身認(rèn)知”），就是說(shuō)大腦之外的軀體部分（如外周神經(jīng)系統(tǒng)、感覺(jué)器官、運(yùn)動(dòng)器官等等）也在思維活動(dòng)中扮演著不可或缺的角色。比如說(shuō)，很多抽象概念的意義都是基于軀體活動(dòng)的（如“接受”批評(píng)、“推動(dòng)”發(fā)展、“提高”覺(jué)悟等），那么要完整理解這些概念，一個(gè)系統(tǒng)大概也需要真能“接”、“推”、“提”才行。

“模擬派”的追隨者可能會(huì)說(shuō)人體也是可以用軟硬件模擬的。這“在原則上”自然是正確的，但如果神經(jīng)網(wǎng)絡(luò)之外的部分對(duì)實(shí)現(xiàn)智能是必須的，那么單靠人工神經(jīng)網(wǎng)絡(luò)來(lái)完整再現(xiàn)智能大概就是不可能的了。為實(shí)現(xiàn)“像人一樣的智能”，我們需要的不再是“人工神經(jīng)網(wǎng)絡(luò)”，而是包括這樣一個(gè)網(wǎng)絡(luò)的“人造人”。

就算一個(gè)“人造人”被制成了，它大概也不會(huì)是所有人心目中的“人工智能”。對(duì)那些以“圖靈測(cè)試”為智能標(biāo)準(zhǔn)的人而言，“智能”意味著在外部行為上和人不可區(qū)分。大部分人都同意完全靠預(yù)先設(shè)計(jì)所有可能的答案來(lái)通過(guò)這個(gè)測(cè)試是不大現(xiàn)實(shí)的，而通過(guò)“學(xué)習(xí)”才有希望。但這就意味著只有類人的軀體還不夠，系統(tǒng)還需要類人的經(jīng)驗(yàn)。這就不再僅僅是個(gè)技術(shù)問(wèn)題了。因?yàn)槲覀兊慕?jīng)驗(yàn)中的很大一部分是社會(huì)經(jīng)驗(yàn)，只有當(dāng)人造人完全被當(dāng)作人來(lái)對(duì)待時(shí)，它才能得到人類經(jīng)驗(yàn)，進(jìn)而獲得人類行為。而這將會(huì)在倫理、法律、政治、社會(huì)等領(lǐng)域造成大量問(wèn)題。

“忠實(shí)復(fù)制”不是好主意

上面討論的是用人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)像人一樣的通用智能的可能性，其結(jié)論是：遠(yuǎn)沒(méi)有看上去那么有希望，盡管不是完全不可能。但這條路線比可能性更大的問(wèn)題是其合理性和必要性。

人工智能的基本理論預(yù)設(shè)是把人類智能看作“智能”的一種形式，而試圖在計(jì)算機(jī)中實(shí)現(xiàn)其另一種形式。根據(jù)這個(gè)看法，“人工智能”和“人類智能”不是在細(xì)節(jié)上完全一樣，而是在某個(gè)抽象描述中體現(xiàn)著同一個(gè)“智能”。如果智能所需的某個(gè)機(jī)制在計(jì)算機(jī)里有更好的實(shí)現(xiàn)方式，那我們沒(méi)必要用人腦的辦法。這方面的一個(gè)例子就是四則運(yùn)算。

當(dāng)我們?yōu)橐粋€(gè)對(duì)象或過(guò)程建立模型時(shí)，我們總是希望這個(gè)模型越簡(jiǎn)單越好。只有當(dāng)我們可以在忽略了大量細(xì)節(jié)的情況下仍然可以準(zhǔn)確地刻畫(huà)一個(gè)過(guò)程，我們才算是真正理解了它。因此，如果最后發(fā)現(xiàn)我們只有在嚴(yán)格復(fù)制人腦、人體及人類經(jīng)驗(yàn)的情況下才能再現(xiàn)智能，那么人工智能應(yīng)當(dāng)算是失敗了，而非成功了，因?yàn)檫@說(shuō)明智能只有一種存在方式，而“智能”和“人類智能”其實(shí)是一回事。

出于這種考慮，很多人工智能研究者有意識(shí)地和人腦的細(xì)節(jié)保持距離。在從人腦的工作方式中得到靈感的同時(shí)，他們會(huì)考慮在計(jì)算機(jī)里是否有更簡(jiǎn)單的辦法來(lái)實(shí)現(xiàn)同樣的功能。計(jì)算機(jī)畢竟不是個(gè)生物體，所以沒(méi)必要模仿人腦的那些純生物特征。同理，對(duì)深度神經(jīng)網(wǎng)絡(luò)的研究者來(lái)說(shuō)，他們的網(wǎng)絡(luò)在某些方面不像人腦，這不是個(gè)問(wèn)題，只要這種差別不帶來(lái)功能缺失就行。

這個(gè)問(wèn)題是所有走“仿生”路線的技術(shù)都要面對(duì)的，包括近來(lái)大熱的“類腦智能”、“類腦計(jì)算”等。在有關(guān)討論中，一些人只是強(qiáng)調(diào)“像人腦那樣”的可能的好處，但完全不提這種模仿的限度。只有當(dāng)我們能清楚地說(shuō)明哪些東西不用模仿時(shí)，我們才算真正說(shuō)清了哪些東西需要模仿。只是說(shuō)“人腦是這樣的”尚不能成為“計(jì)算機(jī)也必須這樣”的充分理由。

這里一個(gè)常被提到的例子就是飛機(jī)和鳥(niǎo)的關(guān)系。飛機(jī)的初始設(shè)計(jì)的確借鑒了鳥(niǎo)類，但顯然不是越像鳥(niǎo)越好。這里自然有可能性的考慮，但更重要的是要飛機(jī)完全像鳥(niǎo)既不合理也無(wú)必要。我們當(dāng)前的課題也同樣。嚴(yán)格說(shuō)來(lái)，“人工神經(jīng)網(wǎng)絡(luò)”、“人工大腦”、“人造人”和“人工智能”各是不同的研究目標(biāo)，各有各的價(jià)值和意義。盡管它們之間有聯(lián)系，仍然不能混為一談，因?yàn)樵O(shè)計(jì)目標(biāo)和最佳實(shí)現(xiàn)方法均不同。

如何“取長(zhǎng)補(bǔ)短”

在人工智能歷史上，以神經(jīng)網(wǎng)絡(luò)為代表的“聯(lián)結(jié)主義”和以推理系統(tǒng)為代表的“符號(hào)主義”已經(jīng)競(jìng)爭(zhēng)了多年，彼此地位的消長(zhǎng)也經(jīng)歷了幾次反轉(zhuǎn)了，這有點(diǎn)像光的“粒子說(shuō)”與“波動(dòng)說(shuō)”的斗爭(zhēng)史。時(shí)至今日，大部分人都會(huì)承認(rèn)這兩個(gè)傳統(tǒng)各有長(zhǎng)處和短處。在這種情形下，把二者結(jié)合起來(lái)就是個(gè)自然的想法了。

問(wèn)題是怎么“結(jié)合”。一個(gè)常見(jiàn)的辦法是把兩個(gè)基于不同傳統(tǒng)的子系統(tǒng)整合在一起，讓它們各自完成自己擅長(zhǎng)的工作，并彼此協(xié)作來(lái)完成整個(gè)任務(wù)。盡管具體做法不同，在這個(gè)方向上的探索成果已經(jīng)不少了。

方案是把這兩個(gè)傳統(tǒng)以一種更密切的方式統(tǒng)一起來(lái)。認(rèn)為聯(lián)結(jié)主義的哲學(xué)假定更正確，但技術(shù)手段太單一；與其相反，符號(hào)主義的技術(shù)手段更豐富，但哲學(xué)假定陳舊呆板。其結(jié)果就是我的“納思”在理論預(yù)設(shè)和宏觀戰(zhàn)略上更接近于聯(lián)結(jié)主義傳統(tǒng)，如假定知識(shí)和資源不足，容忍多種不確定性，通過(guò)學(xué)習(xí)獲得領(lǐng)域知識(shí)和技能等；而納思在描述框架和微觀戰(zhàn)術(shù)上更接近于符號(hào)主義傳統(tǒng)，如用語(yǔ)言表達(dá)知識(shí)，靠概念組織經(jīng)驗(yàn)，依邏輯進(jìn)行推理等。納思不是把這兩個(gè)傳統(tǒng)“嫁接”在一起，而是把它們“雜交”成了一個(gè)全新的“神經(jīng)（網(wǎng)絡(luò)式的）邏輯”。

納思也可以被看成一個(gè)網(wǎng)絡(luò)，但它和人腦的相似性不是在神經(jīng)元層面上，而是在概念層面上。這個(gè)網(wǎng)絡(luò)的運(yùn)行方式和現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)根本不同，盡管其中的概念關(guān)系也支持多層抽象。那樣的話，納思到底是個(gè)邏輯還是個(gè)網(wǎng)絡(luò)呢？都是。對(duì)象只有一個(gè)，但對(duì)它的描述可以使用不同的術(shù)語(yǔ)，以捕捉其不同的側(cè)面。這和光的波-粒二相性不乏類似之處。

總而言之，我不認(rèn)為深度神經(jīng)網(wǎng)絡(luò)會(huì)產(chǎn)生通用智能，或是通向這一目標(biāo)的有效途徑，盡管這種技術(shù)有巨大實(shí)用價(jià)值，并可以為通用智能的研究貢獻(xiàn)想法。