想象一下，如果我們必須向外星人解釋地球上發(fā)生的所有行為。我們可以為他們提供非小說類書籍或BBC紀(jì)錄片。我們可以嘗試口頭解釋什么是電臀舞。但是，實際上，沒有什么能比三秒鐘的視頻短片更好地傳達(dá)出這一行為的含義。

Falling Asleep（入睡，來自GIPHY網(wǎng)站）

感謝麻省理工學(xué)院和IBM的研究人員，我們現(xiàn)在有了一個做了清晰的標(biāo)簽標(biāo)記的數(shù)據(jù)集，其中包含有100多萬個視頻短片。這個數(shù)據(jù)集名為“Moments in Time”，已經(jīng)收集了地球上發(fā)生的數(shù)百種常見行為，有鮮花綻放的美麗時刻，也有令人尷尬的被絆倒和嘴啃泥場景。

Tripping（絆倒，來自GIPHY網(wǎng)站）

然而，Moments in Time的創(chuàng)建并不是為了提供一系列GIF動畫，而是為人工智能系統(tǒng)識別和理解視頻中的行為和事件打下基礎(chǔ)。迄今為止，大量標(biāo)記過的圖像數(shù)據(jù)集，如用于物體識別的ImageNet和用于場景識別的Places，在開發(fā)更準(zhǔn)確的圖像分類和理解模型中發(fā)揮了重要作用。

“視頻理解尤其是視頻中的行為識別，與圖像理解的情況是不同的?！盡IT-IBM沃森人工智能實驗室的首席研究員、創(chuàng)建Moments in Time的主管研究員Dan Gutfreund說?！半m然用標(biāo)簽標(biāo)記了行為的視頻數(shù)據(jù)集在Moments in Time之前就已經(jīng)存在，但它們比圖像數(shù)據(jù)集要小好幾個數(shù)量級。此外，它們是以人為中心的，有時還是針對特定領(lǐng)域的（比如體育）?！?/p>

因此，Gutfreund及其同事們力圖開發(fā)一個分類系統(tǒng)，該系統(tǒng)可以涵蓋最常見的行為（不管這些行為是由人類、動物還是物體完成的，也不管它們是在什么環(huán)境下完成的）。他們首先列出了來自VerbNet的4500個最常用的動詞（VerbNet是由語言學(xué)家開發(fā)和使用的一個動詞知識庫）。

他們將動詞解析成語義相關(guān)的詞簇，然后從每個詞簇中選擇最常見的動詞。結(jié)果顯示英語是很冗余的一種語言。例如，洗浴、淋浴、沐浴、皂洗、洗發(fā)、修指甲、保濕和用牙線——這些都可以簡單地歸入“梳洗打扮”的范疇。在對動詞進行了細(xì)致的整合之后，研究團隊確定了339個用做Moments in Time基礎(chǔ)的關(guān)鍵動詞。

Grooming（梳洗打扮，來自GIPHY網(wǎng)站）

但是，當(dāng)對視頻本身進行分類時，會遇到一系列獨特的挑戰(zhàn)。例如，描述某個東西正在“打開”（opening），那可能是一個人正在打開一扇門，也可能是一朵花正在綻放，甚至可能是一只卡通狗正在張開嘴。更重要的是，相同幀反向播放，實際上可以描述不同的行為（“關(guān)閉”，closing），這意味著捕捉視頻的時間線對于理解視頻和將其正確分類是至關(guān)重要的。

Opening（打開，來自GIPHY網(wǎng)站）

研究人員從網(wǎng)上挑選了與這339個動詞相關(guān)的視頻，將每個視頻的時長縮短到3秒。這些視頻短片被發(fā)送到眾包平臺Amazon Mechanical Turk上，該平臺上的用戶幫助對100多萬個視頻短片進行分類（他們只需點擊“是”或“否”來確認(rèn)每個視頻短片中是否發(fā)生了指定的行為即可）。

每個標(biāo)簽都經(jīng)過幾個用戶的驗證。關(guān)于該數(shù)據(jù)集如何創(chuàng)建的詳細(xì)信息，發(fā)表在了2月25日的IEEE Transactions on Pattern Analysis and Machine Intelligence上，文章標(biāo)題為“Moments in Time Dataset: one million videos for event understanding”。

麻省理工學(xué)院計算機科學(xué)與人工智能實驗室（CSAIL）的Mathew Monfort是該項目的首席研究員，他指出，一些分類，比如“Walking”（步行）或“Cooking”（烹飪），是很簡單的，而另一些則不然?！癙laying Music”（演奏/播放音樂）可以是一個樂隊在舞臺上演奏，也可以是一個人在用收音機聽音樂。Monfort說：“具有這種視覺和聽覺多義性的類目的識別，對于當(dāng)前的機器學(xué)習(xí)模型來說是非常具有挑戰(zhàn)性的?！?/p>

Playing Music（演奏/播放音樂，來自GIPHY網(wǎng)站）

在該數(shù)據(jù)集的下一版本中，該團隊計劃使用相同的視頻集合，并標(biāo)記出每個視頻中發(fā)生的多個行為?！爱?dāng)我們考慮視頻的本質(zhì)時，很明顯需要更多的信息來恰當(dāng)?shù)孛枋鲆粋€事件，而用一個行為標(biāo)簽來訓(xùn)練和評估模型是不完整的?！盡onfort說?！皩⒍鄠€標(biāo)簽納入數(shù)據(jù)集應(yīng)該可以顯著改善模型訓(xùn)練，同時也為不同行為之間的關(guān)系問題以及如何對它們進行推理打開了大門?！?/p>

很快，更復(fù)雜的視頻可以通過機器學(xué)習(xí)算法分類，輕松自如。

不久之后，機器學(xué)習(xí)算法可能可以毫不費力地對更復(fù)雜的視頻加以分類。

機器學(xué)習(xí)（Machine Learning，來自GIPHY網(wǎng)站）