Facebook為了讓未來成為現(xiàn)實(shí)。 Facebook 的首席研究科學(xué)家克里斯汀·格勞曼 (Kristen Grauman) 說：“在這個世界里，我們將擁有可穿戴設(shè)備，通過在適當(dāng)?shù)臅r間提供信息或幫助我們獲取記憶，這些設(shè)備可以使你我在日常生活中受益。” 她說，這項技術(shù)最終可以用來分析我們的活動，幫助我們找到放錯地方的物品，比如我們的鑰匙?？萍紩淖兪澜绺淖兾磥淼?。

Facebook 表示，它與 13 所大學(xué)和實(shí)驗(yàn)室合作，招募了 750 人，在兩年內(nèi)拍攝了超過 2,200 小時的第一人稱視頻。居住在英國、意大利、印度、日本、沙特阿拉伯、新加坡、美國、盧旺達(dá)和哥倫比亞的參與者拍攝了自己從事日?；顒拥囊曨l，例如運(yùn)動、購物等等。他們使用了各種可穿戴設(shè)備，包括 GoPro 相機(jī)、Vuzix Blade 智能眼鏡和 ZShades 視頻錄制太陽鏡。

Facebook 研究人員將能夠請求訪問這些數(shù)據(jù)寶庫，該社交網(wǎng)絡(luò)稱這是世界上最大的第一人稱無腳本視頻集合。這個名為 Ego4D 的新項目讓我們一窺科技公司如何改進(jìn) AR、虛擬現(xiàn)實(shí)和機(jī)器人等技術(shù)，使其在我們的日常生活中發(fā)揮更大的作用。

Facebook 表示，作為新項目的一部分，它為研究人員創(chuàng)造了五個基準(zhǔn)挑戰(zhàn)。基準(zhǔn)測試包括情景記憶，因此您知道何時發(fā)生了什么；預(yù)測，讓計算機(jī)知道你接下來可能會做什么；以及手和物體操作，以了解一個人在視頻中正在做什么。最后兩個基準(zhǔn)是了解誰在視頻中說了什么，什么時候說的，以及互動中的合作伙伴是誰。

幫助 AI 理解第一人稱視頻可能具有挑戰(zhàn)性，因?yàn)橛嬎銠C(jī)通常從觀眾第三人稱視角拍攝的圖像中學(xué)習(xí)。當(dāng)您錄制自己踢足球或乘坐過山車時，諸如運(yùn)動模糊和來自不同角度的鏡頭等挑戰(zhàn)就會發(fā)揮作用。

Facebook 表示正在考慮將該項目擴(kuò)展到其他國家。該公司表示，視頻片段的多樣化很重要，因?yàn)槿绻?AR 眼鏡正在幫助一個人做飯或洗衣服，那么 AI 助手需要了解這些活動在世界不同地區(qū)看起來可能有所不同。

Facebook 表示，視頻數(shù)據(jù)集包括在 9 個國家/地區(qū)的 73 個地點(diǎn)拍攝的各種活動。參與者包括不同年齡、性別和職業(yè)的人。

與 Facebook 合作的一些大學(xué)包括英國的布里斯托爾大學(xué)、美國的佐治亞理工學(xué)院、日本的東京大學(xué)和哥倫比亞的安第斯大學(xué)。

期待未來，科技改變生活?？萍甲屔罡篮?。
fqj