神經(jīng)科學家和計算機視覺科學家表示，一個空前龐大的新數(shù)據(jù)集將幫助研究人員更好地理解大腦是如何處理圖像的。

卡內(nèi)基梅隆大學和福德姆大學的研究人員今天在《科學數(shù)據(jù)》雜志上發(fā)表報告說，在這種規(guī)模下獲得功能性磁共振成像(fMRI)掃描呈現(xiàn)出獨特的挑戰(zhàn)。

每位志愿者都參與了20個小時或更長時間的核磁共振掃描，這對他們的毅力和實驗者協(xié)調(diào)掃描過程的能力都構成了挑戰(zhàn)。為了解開與單個圖像相關的神經(jīng)反應，有必要做出一個極端的設計決策，即讓相同的個體運行如此多的會話。

由此產(chǎn)生的數(shù)據(jù)集被稱為BOLD5000，它使認知神經(jīng)科學家能夠更好地利用深度學習模型，這些模型極大地改善了人工視覺系統(tǒng)。深度學習最初受到人類視覺系統(tǒng)架構的啟發(fā)，通過對人類視覺如何工作的新見解的追求，以及對人類視覺的研究更好地反映現(xiàn)代計算機視覺方法，可以進一步改進。為此，BOLD5000測量了從兩個流行的計算機視覺數(shù)據(jù)集ImageNet和COCO中獲取的圖像所產(chǎn)生的神經(jīng)活動。

“大腦科學和計算機科學的纏繞意味著科學發(fā)現(xiàn)可以在兩個方向流動,共同作者Michael J. Tarr（Moura認知和腦科學教授，CMU心理系主任 ） 說 ：“未來的視覺研究將使用BOLD5000數(shù)據(jù)集，這將有助于神經(jīng)科學家更好地理解人類大腦中的知識組織。隨著我們對視覺識別的神經(jīng)基礎了解得越來越多，我們也將更好地為人工視覺的進步做出貢獻?！?/p>

該研究的主要作者、加州大學機器人研究所(CMU’s Robotics Institute)專攻計算機視覺的博士生Nadine Chang表示，計算機視覺科學家正將目光投向神經(jīng)科學，以幫助在快速發(fā)展的人工視覺領域進行創(chuàng)新——這加強了這項研究的雙向性。

“ Chang說：“計算機視覺科學家和視覺神經(jīng)科學家本質上有著相同的最終目標:理解如何處理和解釋視覺信息”。

從一開始，改善計算機視覺就是BOLD5000項目的重要組成部分。資深作者Elissa Aminoff，當時是CMU心理學系的博士后，現(xiàn)在是福特漢姆大學的心理學助理教授，與機器人研究所副教授Abhinav Gupta共同發(fā)起了這一研究方向。

將生物視覺和計算機視覺聯(lián)系起來所面臨的挑戰(zhàn)之一是，大多數(shù)人類神經(jīng)成像研究只包含很少的刺激圖像——通常是100幅或更少——這些圖像通常被簡化為在中性背景下只描繪單個物體。相比之下，BOLD5000包含超過5000個真實世界的復雜場景圖像、單個對象和交互對象。

該小組認為BOLD5000只是利用現(xiàn)代計算機視覺模型研究生物視覺的第一步。

“坦率地說,BOLD5000數(shù)據(jù)集仍然太小,”塔爾說,這表明一個合理的功能磁共振成像數(shù)據(jù)集需要至少50000刺激圖像和更多的志愿者來取得進展的事實的深層神經(jīng)網(wǎng)絡用于分析視覺表象訓練在數(shù)以百萬計的圖像。為此，研究小組希望他們能夠生成5000個大腦掃描數(shù)據(jù)集，這將為人類視覺和計算機視覺科學家之間更大規(guī)模的合作鋪平道路。

到目前為止，該領域的反應是積極的。公開可用的BOLD5000數(shù)據(jù)集已經(jīng)被下載超過2500次。

除了Chang，Tarr，Gupta和Aminoff之外，研究團隊還包括CMU-Pitt BRIDGE中心的高級研究科學家和科學運營總監(jiān)John A. Pyles以及Tarr實驗室的研究助理Austin Marcus。美國國家科學基金會，美國海軍研究辦公室，阿爾弗雷德·斯隆基金會和大川信息和電信基金會贊助了這項研究。