日本ATR國際電氣通信先端技術(shù)研究所和日本京都大學(xué)的研究人員稱他們創(chuàng)造了一個能夠讀取人的腦波的AI。他們構(gòu)建了一個神經(jīng)網(wǎng)絡(luò)，可以解讀并且準確地再現(xiàn)一個人看到的圖像或想象的圖像。

日本ATR國際電氣通信先端技術(shù)研究所和日本京都大學(xué)的研究人員稱他們創(chuàng)造了一個能夠讀取人的腦波的AI。他們構(gòu)建了一個神經(jīng)網(wǎng)絡(luò)，不僅可以讀取，而且能夠重建你的思維。

具體來說，根據(jù)ZME Science網(wǎng)站的報道，“研究團隊創(chuàng)建了一種算法，可以解讀并且準確地再現(xiàn)（reproduce）一個人看到的圖像或想象的圖像。”

深度圖像重建的結(jié)構(gòu)圖。對輸入圖像的像素值進行了優(yōu)化，使圖像的DNN特征與fMRI活動中解碼的特征相似。一個深度生成器網(wǎng)絡(luò)（DGN）可以選擇與DNN組合以產(chǎn)生自然的圖像，其中優(yōu)化是在DGN的輸入空間中執(zhí)行的。Credit:bioRxiv(2017). DOI: 10.1101/240317

研究論文的標題是“利用人類大腦活動的深度圖像重建”（Deep image reconstruction from human brain activity），論文寫道，研究者能夠根據(jù)一個人正在觀察的場景來復(fù)制一個圖像。這些AI創(chuàng)造的圖像與人實際看到的并不完全一樣，只是模糊地表現(xiàn)了人的思維。不過，AI還是能夠利用腦電波來重建這些圖像。

盡管距離實際使用可能還需幾十年的時間，但是這項技術(shù)使我們距離創(chuàng)造能夠閱讀和理解人類思維的系統(tǒng)更近了一步。

試圖馴服一臺計算機來解碼心理意象（mental image）并不是新的想法。事實上，這一研究已經(jīng)持續(xù)了許多年，研究人員從2011年起就開始試圖重建大腦的畫面，例如電影片段、照片，甚至夢境。但是，以前所有的系統(tǒng)在范圍和能力上都很有限。有些只能處理人臉形狀之類狹窄的區(qū)域，有些只能通過預(yù)先設(shè)計好的圖像或類別（例如，“鳥”、“蛋糕”、“人”等）來重建圖像。到目前為止，所有這些技術(shù)都要求有預(yù)存的數(shù)據(jù)；它們起作用的方式是將受試者的大腦活動與之前記錄的人正在觀察圖像時的大腦活動相匹配。

但研究人員稱，他們的新算法可以從零開始生成新的、可識別的圖像，甚至可以生成僅僅是人的大腦想象出來的形狀。

這一切都始于功能性核磁共振成像(fMRI)技術(shù)，這是一種測量大腦血液流動的技術(shù)，并用其結(jié)果判斷神經(jīng)活動。研究團隊將3名受試者的視覺處理區(qū)域以2毫米分辨率掃描。掃描執(zhí)行了數(shù)次。在每一次掃描中，這3名受試者被要求觀看1000張以上的圖片，圖片包括一條魚、一架飛機和一些簡單的彩色圖形。

一種新的算法，利用大腦活動來重建（底下兩行）所觀察的圖片（第一行）。 圖片來源：Kamitani Lab

該研究團隊的目標是理解對圖像反應(yīng)的大腦活動，并最終通過計算機程序生成能夠在大腦中產(chǎn)生類似反應(yīng)的圖像。

團隊最近開始取得成果。研究人員使用一個深度神經(jīng)網(wǎng)絡(luò)（DNN）和幾層簡單的處理元素，而不是一張接一張地向受試者展示圖像，直到計算機得到正確的結(jié)果。

神谷之康（Yukiyasu Kamitani）是這項研究的主要作者，他說：“我們相信深度神經(jīng)網(wǎng)絡(luò)可以很好地表示大腦的層級式處理?！?/p>

“使用DNN，我們可以從大腦視覺系統(tǒng)的不同層級（從簡單的光對比度到更有意義的內(nèi)容，例如面部）中提取信息。”

使用decoder，研究人員創(chuàng)建了大腦對DNN中圖像的反應(yīng)。然后，他們不再需要 fMRI 成像測量，也不再使用DNN翻譯作為模板。

接下來是一個重復(fù)的過程，在這個過程中，系統(tǒng)創(chuàng)建圖像，試圖讓DNN對所需的模板做出相似的反應(yīng)——無論是動物還是彩色的玻璃窗。 這是一個試驗和錯誤的過程，其中程序以中立的圖像開始，并經(jīng)過200次的重復(fù)緩慢地進行改進。為了了解它與想要的圖像的接近程度，系統(tǒng)比較了模板和DNN對生成圖像的響應(yīng)之間的差異。這樣的計算允許它逐個像素地朝著理想的圖像改進。

為了提高最終圖像的準確性，團隊利用了一個“深度生成器網(wǎng)絡(luò)”(deep generator network，DGN)，這是一種經(jīng)過預(yù)訓(xùn)練的算法，可以從原始輸入中創(chuàng)建逼真的圖像。從本質(zhì)上來說，DGN是將完成后的細節(jié)放在圖像上，使其看起來更自然。

在DGN完成對照片的修補后，一個中立的人類觀察者被要求對這項工作進行評價。他會被展示了兩張圖片供選擇，并被提問哪張圖片是算法重建的。作者在論文中寫道，人類觀察者能夠在99%的時候能夠正確選擇系統(tǒng)生成的圖像。

接下來是將所有的工作與“讀心術(shù)”的過程結(jié)合起來。他們要求三名受試者回憶之前展示給他們的圖像，并掃描他們的大腦。在個過程有點棘手，但結(jié)果仍然令人興奮——這個方法對照片效果不好，但是對于形狀，生成器在83%的時候能夠創(chuàng)建可識別的圖像。

需要注意的是，這一工作看起來非常整潔和謹慎。他們的系統(tǒng)運行得很好，可能瓶頸不在于軟件，而在于我們測量大腦活動的能力?；蛟S我們需要等待更好的fMRI成像技術(shù)和其他大腦成像技術(shù)的出現(xiàn)。