繼上周在 Nature 發(fā)表極受關(guān)注的“網(wǎng)格細(xì)胞”研究后，DeepMind今天又在《自然-神經(jīng)科學(xué)》發(fā)表一篇重磅論文：利用強(qiáng)化學(xué)習(xí)探索多巴胺對(duì)學(xué)習(xí)的作用，發(fā)現(xiàn)AI的學(xué)習(xí)方式與神經(jīng)科學(xué)實(shí)驗(yàn)中動(dòng)物的學(xué)習(xí)方式類似。該研究提出的理論可以解釋神經(jīng)科學(xué)和心理學(xué)中的許多神秘發(fā)現(xiàn)。

AI系統(tǒng)已經(jīng)掌握了多種電子游戲，如雅達(dá)利經(jīng)典的“突出重圍”（Breakout）和“乒乓球”（Pong）游戲。但盡管AI在玩游戲方便的表現(xiàn)令人印象深刻，它們?nèi)匀皇且揽肯喈?dāng)于數(shù)千小時(shí)的游戲時(shí)間訓(xùn)練，才達(dá)到或超越人類的水平。相比之下，我們?nèi)祟愅ǔＶ换◣追昼娋湍苷莆找豢钗覀儚奈赐孢^(guò)的電子游戲的基礎(chǔ)知識(shí)。

為什么只有這么少的先驗(yàn)知識(shí)，人類的大腦卻能做這么多的事情呢？這就引出了“元學(xué)習(xí)”（meta-learning）的理論，或者說(shuō)“學(xué)習(xí)如何學(xué)習(xí)”（learning to learn）。人們認(rèn)為，人是在兩個(gè)時(shí)間尺度上學(xué)習(xí)的——在短期，我們專注于學(xué)習(xí)具體的例子；而在較長(zhǎng)的時(shí)間尺度，我們學(xué)習(xí)完成一項(xiàng)任務(wù)所需的抽象技能或規(guī)則。正是這種組合被認(rèn)為有助于人高效地學(xué)習(xí)，并將這些知識(shí)快速靈活地應(yīng)用于新任務(wù)。

在 AI 系統(tǒng)中重建這種元學(xué)習(xí)結(jié)構(gòu)——稱為元強(qiáng)化學(xué)習(xí)（meta-reinforcement learning）——已經(jīng)被證明能夠促進(jìn)智能體（agents）快速、one-shot的學(xué)習(xí)。這方面的研究已經(jīng)有很多，例如DeepMind的論文“Learning to reinforcement learn”和OpenAI的“RL2: Fast Reinforcement Learning via Slow Reinforcement Learning”。然而，促使這個(gè)過(guò)程在大腦中發(fā)生的具體機(jī)制是怎樣的，這在神經(jīng)科學(xué)中大部分仍未得到解釋。

今天，DeepMind在《自然-神經(jīng)科學(xué)》（Nature Neuroscience）發(fā)表的新論文中，研究人員使用AI研究中開發(fā)的元強(qiáng)化學(xué)習(xí)框架來(lái)探索多巴胺在大腦中幫助我們學(xué)習(xí)時(shí)所起的作用。論文題為：Prefrontal cortex as a meta-reinforcement learning system。

多巴胺——通常被稱為大腦的愉悅因子——被認(rèn)為與AI強(qiáng)化學(xué)習(xí)算法中使用的獎(jiǎng)勵(lì)預(yù)測(cè)誤差信號(hào)類似。AI系統(tǒng)通過(guò)獎(jiǎng)勵(lì)（reward）指引的試錯(cuò)來(lái)學(xué)習(xí)如何行動(dòng)。研究者認(rèn)為，多巴胺的作用不僅僅是利用獎(jiǎng)勵(lì)來(lái)學(xué)習(xí)過(guò)去行為的價(jià)值，而且，多巴胺在大腦的前額葉皮層區(qū)扮演者不可或缺的角色，使我們能夠高效、快速、靈活地學(xué)習(xí)新任務(wù)。

模擬agent的獎(jiǎng)勵(lì)預(yù)測(cè)誤差反映了推斷值，而不僅僅是經(jīng)驗(yàn)值，類似于在猴子中觀察到的。

DeepMind的研究人員通過(guò)模擬重建神經(jīng)科學(xué)領(lǐng)域的6個(gè)元學(xué)習(xí)實(shí)驗(yàn)來(lái)測(cè)試他們的理論——每個(gè)實(shí)驗(yàn)都要求一個(gè)agent執(zhí)行任務(wù)，這些任務(wù)使用相同的基礎(chǔ)原則（或同一套技能），但在某些方面有所不同。

我們使用標(biāo)準(zhǔn)深度強(qiáng)化學(xué)習(xí)技術(shù)（代表多巴胺的作用）訓(xùn)練了一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)（代表前額葉皮質(zhì)），然后將這個(gè)循環(huán)網(wǎng)絡(luò)的活動(dòng)狀態(tài)與之前在神經(jīng)科學(xué)實(shí)驗(yàn)中得到的實(shí)際數(shù)據(jù)進(jìn)行比較。對(duì)于元學(xué)習(xí)來(lái)說(shuō)，循環(huán)網(wǎng)絡(luò)是一個(gè)很好的代理，因?yàn)樗鼈兡軌驅(qū)⑦^(guò)去的行為和觀察內(nèi)在化，然后在訓(xùn)練各種各樣的任務(wù)時(shí)借鑒這些經(jīng)驗(yàn)。

我們重建的一個(gè)實(shí)驗(yàn)叫做Harlow實(shí)驗(yàn)，這是20世紀(jì)40年代的一個(gè)心理學(xué)實(shí)驗(yàn)，用于探索元學(xué)習(xí)的概念。在原版的測(cè)試中，一組猴子被展示兩個(gè)不熟悉的物體，只有其中一個(gè)會(huì)給他們食物獎(jiǎng)勵(lì)。兩個(gè)物體一共被展示了6次，每次的左右放置都是隨機(jī)的，所以猴子必須要知道哪個(gè)會(huì)給它們食物獎(jiǎng)勵(lì)。然后，他們?cè)俅伪徽故玖硗鈨蓚€(gè)新的物體，同樣，只有其中一個(gè)會(huì)給它們食物。

在這個(gè)訓(xùn)練過(guò)程中，猴子發(fā)展出一種策略來(lái)選擇能得到獎(jiǎng)勵(lì)的物體：它學(xué)會(huì)了在第一次的時(shí)候隨機(jī)選擇，然后，下一次根據(jù)獎(jiǎng)勵(lì)的反饋選擇特定的對(duì)象，而不是從左到右選擇。這個(gè)實(shí)驗(yàn)表明，猴子可以將任務(wù)的基本原理內(nèi)化，學(xué)會(huì)一種抽象的規(guī)則結(jié)構(gòu)——實(shí)際上就是學(xué)會(huì)了如何學(xué)習(xí)。

meta-RL 的架構(gòu)

當(dāng)我們使用虛擬的計(jì)算機(jī)屏幕和隨機(jī)選擇的圖像來(lái)模擬一個(gè)非常相似的測(cè)試時(shí)，我們發(fā)現(xiàn)，我們的“元強(qiáng)化學(xué)習(xí)智能體”（meta-RL agent）似乎是以類似于Harlow實(shí)驗(yàn)中的動(dòng)物的方式在學(xué)習(xí)，甚至在被顯示以前從未見過(guò)的全新圖像時(shí)也是如此。

在模擬的Harlow實(shí)驗(yàn)中，agent必須將它的視線轉(zhuǎn)向它認(rèn)為能得到獎(jiǎng)勵(lì)的對(duì)象

實(shí)際上，我們發(fā)現(xiàn)meta-RL agent可以學(xué)習(xí)如何快速適應(yīng)規(guī)則和結(jié)構(gòu)不同的各種任務(wù)。而且，由于網(wǎng)絡(luò)學(xué)會(huì)了如何適應(yīng)各種任務(wù)，它也學(xué)會(huì)了關(guān)于如何有效學(xué)習(xí)的一般原則。

很重要的一點(diǎn)是，我們發(fā)現(xiàn)大部分的學(xué)習(xí)發(fā)生在循環(huán)網(wǎng)絡(luò)中，這支持了我們的觀點(diǎn)，即多巴胺在元學(xué)習(xí)過(guò)程中的作用比以前人們認(rèn)為的更為重要。傳統(tǒng)上，多巴胺被認(rèn)為能夠加強(qiáng)前額葉系統(tǒng)的突觸連接，從而強(qiáng)化特定的行為。

在AI中，這意味著類多巴胺的獎(jiǎng)勵(lì)信號(hào)在神經(jīng)網(wǎng)絡(luò)中調(diào)整人工突觸的權(quán)重，因?yàn)樗鼘W(xué)會(huì)了解決任務(wù)的正確方法。然而，在我們的實(shí)驗(yàn)中，神經(jīng)網(wǎng)絡(luò)的權(quán)重被凍結(jié)，這意味著在學(xué)習(xí)過(guò)程中權(quán)重不能被調(diào)整。但是，meta-RL agent仍然能夠解決并適應(yīng)新的任務(wù)。這表明，類多巴胺的獎(jiǎng)勵(lì)不僅用于調(diào)整權(quán)重，而且還能傳遞和編碼有關(guān)抽象任務(wù)和規(guī)則結(jié)構(gòu)的重要信息，從而加快對(duì)新任務(wù)的適應(yīng)。

Meta-RL在視覺豐富的3D環(huán)境中學(xué)習(xí)抽象結(jié)構(gòu)和新的刺激

長(zhǎng)期以來(lái)，神經(jīng)科學(xué)家在大腦的前額葉皮質(zhì)中觀察到類似的神經(jīng)活動(dòng)模式，這種模式能夠快速適應(yīng)，而且很靈活，但一直以來(lái)科學(xué)家難以找到能夠解釋為什么會(huì)這樣的充分理由。前額葉皮層不依賴突觸重量的緩慢變化來(lái)學(xué)習(xí)規(guī)則結(jié)構(gòu)，而是使用直接編碼在多巴胺上的、抽象的基于模式的信息，這一觀點(diǎn)提供了一個(gè)更令人信服的解釋。

為了證明AI中存在的引起元強(qiáng)化學(xué)習(xí)的關(guān)鍵因素也存在于大腦中，我們提出了一個(gè)理論，該理論不僅與已知的關(guān)于多巴胺和前額葉皮層的了解相符，而且可以解釋神經(jīng)科學(xué)和心理學(xué)中的許多神秘發(fā)現(xiàn)。特別是，該理論對(duì)了解大腦中結(jié)構(gòu)化的、基于模式的學(xué)習(xí)是如何出現(xiàn)的，為什么多巴胺本身包含有基于模式的信息，以及前額葉皮質(zhì)中的神經(jīng)元是如何調(diào)整為與學(xué)習(xí)相關(guān)的信號(hào)等問(wèn)題提出了新的啟發(fā)。

來(lái)自AI研究的見解可以用于解釋神經(jīng)科學(xué)和心理學(xué)的發(fā)現(xiàn)，這強(qiáng)調(diào)了，一個(gè)研究領(lǐng)域的價(jià)值可以提供給另一個(gè)領(lǐng)域。展望未來(lái)，我們期望能從反過(guò)來(lái)的方向得到更多益處，通過(guò)在為強(qiáng)化學(xué)習(xí)智能體的學(xué)習(xí)設(shè)計(jì)新的模型時(shí)，從特定腦回路組織得到啟發(fā)。