舞蹈是幾乎所有文化中的一種通用語(yǔ)言，也是如今許多人在當(dāng)代媒體平臺(tái)上表達(dá)自己的一種方式。跳舞的能力（組織形成與音樂(lè)節(jié)拍一致的動(dòng)作模式）是人類行為的一個(gè)基本方面。然而，舞蹈是一種需要練習(xí)的藝術(shù)形式。事實(shí)上，舞者若要?jiǎng)?chuàng)造極具表現(xiàn)力的編舞 （Choreography），就需要豐富的舞蹈動(dòng)作，而這通常需要進(jìn)行專業(yè)訓(xùn)練。這個(gè)過(guò)程對(duì)人來(lái)說(shuō)很困難，對(duì)機(jī)器學(xué)習(xí) （ML） 模型來(lái)說(shuō)則更具挑戰(zhàn)性，因?yàn)檫@項(xiàng)任務(wù)要求能夠產(chǎn)生具有高度運(yùn)動(dòng)學(xué)復(fù)雜性的連續(xù)動(dòng)作，同時(shí)捕捉到動(dòng)作和伴奏音樂(lè)之間的非線性關(guān)系。

在“ AIChoreographer：利用 AIST++ 生成音樂(lè)條件下的 3D 舞蹈 （AIChoreographer:Music-Conditioned 3D Dance Generation with AIST++） ”一文中（載于 ICCV 2021），我們提出了一個(gè)完整關(guān)注 （Attention） 跨模態(tài)轉(zhuǎn)換器 （FACT） 模型，此模型可以模仿和理解舞蹈動(dòng)作，甚至可以提高用戶的編舞能力。提出該模型的同時(shí)，我們發(fā)布了一個(gè)大規(guī)模的多模態(tài) 3D 舞蹈動(dòng)作數(shù)據(jù)集 AIST++，該數(shù)據(jù)集包含 5.2 小時(shí)的 3D 舞蹈動(dòng)作，分為 1408 個(gè)序列，涵蓋了 10 種舞蹈類型，每個(gè)類型都包括從已知相機(jī)位置方向拍攝的多視角視頻。通過(guò)對(duì) AIST++ 進(jìn)行廣泛用戶研究，我們發(fā)現(xiàn) FACT 模型無(wú)論在質(zhì)量還是數(shù)量上都優(yōu)于日前領(lǐng)先的方法。

我們提出了一個(gè)新穎的完整關(guān)注跨模態(tài)轉(zhuǎn)換器 （FACT） 網(wǎng)絡(luò)，可以在音樂(lè)和新的 3D 舞蹈數(shù)據(jù)集 AIST++（左）的條件下生成真實(shí)的 3D 舞蹈動(dòng)作（右）

AIChoreographer：利用 AIST++ 生成音樂(lè)條件下的 3D 舞蹈

https://google.github.io/aichoreographer/

AIST++

https://google.github.io/aistplusplus_dataset/

我們根據(jù)現(xiàn)有的 AIST 舞蹈數(shù)據(jù)庫(kù)生成了建議的 3D 運(yùn)動(dòng)數(shù)據(jù)集，該數(shù)據(jù)集是一個(gè)有音樂(lè)伴奏的舞蹈視頻集合，但沒(méi)有任何 3D 信息。AIST 包含 10 種舞蹈類型：舊學(xué)派（霹靂、機(jī)械舞、鎖舞和威金）和新學(xué)派（Middle Hip-Hop、LA-style Hip-Hop、House、Krump、Street Jazz 和 Ballet Jazz）。雖然其中包含了舞者的多視角視頻，但這些相機(jī)并沒(méi)有經(jīng)過(guò)校準(zhǔn)。

為了實(shí)現(xiàn)目的，我們根據(jù)廣泛使用的 SMPL 3D 模型所使用的參數(shù)恢復(fù)了相機(jī)校準(zhǔn)參數(shù)和 3D 人體動(dòng)作。由此產(chǎn)生的數(shù)據(jù)庫(kù) （AIST++） 是一個(gè)大規(guī)模的 3D 人類舞蹈動(dòng)作數(shù)據(jù)集，包含了與音樂(lè)相配的各種各樣的3D 動(dòng)作，每一幀都包含大量的注釋：

9 個(gè)相機(jī)內(nèi)在和外在參數(shù)的視圖；

17 個(gè) COCO 格式的人體關(guān)節(jié)位置（2D 和 3D 形式）；

24 個(gè) SMPL 姿勢(shì)參數(shù)，帶有全局縮放和平移。

這些動(dòng)作在所有的 10 種舞蹈類型中平均分布，涵蓋了以每分鐘節(jié)拍 （BPM） 為單位的各種音樂(lè)節(jié)奏。每種類型的舞蹈包含 85% 的基本動(dòng)作和 15% 的高級(jí)動(dòng)作（由舞者自由設(shè)計(jì)的較長(zhǎng)編舞）。

AIST++ 數(shù)據(jù)集還包含多視角同步圖像數(shù)據(jù)，使其對(duì)其他研究方向（例如 2D/3D 姿勢(shì)預(yù)測(cè)）很有幫助。據(jù)我們所知，AIST++ 是截止目前最大的 3D 人類舞蹈數(shù)據(jù)集，包含 1408 個(gè)序列、30 個(gè)主題和 10 個(gè)舞蹈類型，并同時(shí)包含基本和高級(jí)的編舞。

由于 AIST 是一個(gè)教學(xué)數(shù)據(jù)庫(kù)，因此它記錄了在不同音樂(lè)和各種 BPM 下遵循相同編舞的多個(gè)舞者，這是舞蹈中常見(jiàn)的做法。這給跨模態(tài)序列到序列的生成帶來(lái)了獨(dú)特挑戰(zhàn)，因?yàn)樵撃Ｐ托枰獙W(xué)習(xí)音頻和動(dòng)作之間的一對(duì)多映射。我們?cè)?AIST++ 上精心構(gòu)建了不重疊的訓(xùn)練和測(cè)試子集，以確保在子集之間編舞和音樂(lè)都不相同。

全注意力跨模態(tài)轉(zhuǎn)換器

（FACT） 模型

我們利用這些數(shù)據(jù)訓(xùn)練 FACT 模型，以便根據(jù)音樂(lè)生成 3D 舞蹈。該模型首先使用單獨(dú)的動(dòng)作和音頻轉(zhuǎn)換器對(duì)種子動(dòng)作和音頻輸入進(jìn)行編碼。然后，將嵌入向量串聯(lián)起來(lái)并發(fā)送給跨模態(tài)轉(zhuǎn)換器，該轉(zhuǎn)換器學(xué)習(xí)兩種模態(tài)之間的對(duì)應(yīng)關(guān)系并生成 N 個(gè)未來(lái)動(dòng)作序列。隨后利用這些序列以自我監(jiān)督 （Self-supervised learning） 的方式來(lái)訓(xùn)練模型。所有三個(gè)轉(zhuǎn)化器都是聯(lián)合學(xué)習(xí)的端到端。進(jìn)行測(cè)試時(shí)，我們?cè)谝粋€(gè)自回歸 （GPT-3） 框架中應(yīng)用這個(gè)模型，其中預(yù)測(cè)的動(dòng)作充當(dāng)下一個(gè)生成步驟的輸入。因此，F(xiàn)ACT 模型能夠逐幀地生成長(zhǎng)時(shí)間的舞蹈動(dòng)作。

FACT 網(wǎng)絡(luò)接收一段音樂(lè) （Y） 和一個(gè) 2 秒的種子動(dòng)作序列 （X），然后生成與輸入音樂(lè)相關(guān)的長(zhǎng)時(shí)間未來(lái)動(dòng)作

FACT 涉及三個(gè)關(guān)鍵的設(shè)計(jì)選擇，對(duì)于根據(jù)音樂(lè)產(chǎn)生真實(shí)的 3D 舞蹈動(dòng)作至關(guān)重要。

1. 所有的轉(zhuǎn)換器都使用完整關(guān)注掩碼，它比典型的因果模型更具表現(xiàn)力，因?yàn)閮?nèi)部令牌可以訪問(wèn)所有輸入。

2. 我們訓(xùn)練模型來(lái)預(yù)測(cè)當(dāng)前輸入以外的 N 個(gè)未來(lái)動(dòng)作，而不是僅僅預(yù)測(cè)下一個(gè)動(dòng)作。這鼓勵(lì)網(wǎng)絡(luò)更多地關(guān)注時(shí)間背景，并有助于防止模型在幾個(gè)生成步驟后出現(xiàn)動(dòng)作停滯或分歧。

3. 我們?cè)谠缙谌诤狭藘蓚€(gè)嵌入向量（動(dòng)作和音頻），并采用了一個(gè)深度的 12 層跨模態(tài)轉(zhuǎn)換器模塊，這對(duì)于訓(xùn)練一個(gè)真正關(guān)注輸入音樂(lè)的模型至關(guān)重要。

結(jié)果

我們根據(jù)三個(gè)指標(biāo)來(lái)進(jìn)行性能評(píng)估：

動(dòng)作質(zhì)量：我們計(jì)算 AIST++ 測(cè)試集中的真實(shí)舞蹈動(dòng)作序列和 40 個(gè)模型生成的動(dòng)作序列之間的 Frechet Inception Distance （FID），每個(gè)序列有 1200 幀（20 秒）。我們將基于幾何和運(yùn)動(dòng)特征的 FID 分別表示為 FIDg 和 FIDk。

生成多樣性：與此前的研究類似，為了評(píng)估模型生成潛水舞蹈動(dòng)作的能力，我們計(jì)算了 AIST++ 測(cè)試集上 40 個(gè)生成動(dòng)作的特征空間中的平均歐氏距離，再次比較幾何特征空間 （Distg） 和運(yùn)動(dòng)特征空間 （Distk）。

動(dòng)作與音樂(lè)的相關(guān)性：由于沒(méi)有設(shè)計(jì)良好的指標(biāo)來(lái)衡量輸入音樂(lè)（音樂(lè)節(jié)拍）和生成的 3D 動(dòng)作（運(yùn)動(dòng)節(jié)拍）之間的相關(guān)性，我們提出了一個(gè)新的指標(biāo)，稱為節(jié)拍對(duì)齊得分 （BeatAlign）。

生成舞蹈動(dòng)作的運(yùn)動(dòng)速度（藍(lán)色曲線）和運(yùn)動(dòng)節(jié)拍（綠色虛線），以及音樂(lè)節(jié)拍（橙色虛線）

提取運(yùn)動(dòng)節(jié)拍的方式是從運(yùn)動(dòng)速度曲線中找到局部最小值

定量評(píng)估

我們將 FACT 在這些指標(biāo)方面的表現(xiàn)與其他最先進(jìn)的方法進(jìn)行比較。

我們還通過(guò)一項(xiàng)用戶研究，對(duì)動(dòng)作與音樂(lè)的相關(guān)性進(jìn)行了感知評(píng)估，在這項(xiàng)研究中，我們要求各位參與者觀看 10 個(gè)視頻，視頻中包含我們的一個(gè)成果和一個(gè)隨機(jī)的對(duì)照輸出，然后選擇哪個(gè)舞者與音樂(lè)更同步。這項(xiàng)研究包括 30 名參與者，從專業(yè)舞者到很少跳舞的人都有。與每個(gè)基線相比，81% 的人認(rèn)為 FACT 模型的輸出優(yōu)于 Li et al. 的輸出，71% 的人認(rèn)為 FACT 優(yōu)于 Dancenet，77% 的人認(rèn)為它優(yōu)于 Dance Revolution。有趣的是，75% 的參與者更喜歡未配對(duì)的 AIST++ 舞蹈動(dòng)作，而不是 FACT 生成的動(dòng)作，這并不奇怪，因?yàn)樵嘉璧竸?dòng)作具有高度表現(xiàn)力。

定性結(jié)果

與 DanceNet（左圖）和 Li et. al.（中圖）等之前的方法相比，使用 FACT 模型（右圖）生成的 3D 舞蹈更加逼真，與輸入音樂(lè)有更高的相關(guān)性。

結(jié)論和討論

我們提出的模型不僅可以學(xué)習(xí)音頻和動(dòng)作的對(duì)應(yīng)關(guān)系，還可以根據(jù)音樂(lè)生成高質(zhì)量的 3D 動(dòng)作序列。根據(jù)音樂(lè)生成 3D 動(dòng)作是一個(gè)新興的研究領(lǐng)域，我們希望這項(xiàng)研究能夠?yàn)槲磥?lái)的跨模態(tài)音頻到 3D 動(dòng)作生成鋪平道路。我們還發(fā)布了 AIST++，這是迄今為止最大的 3D 人類舞蹈數(shù)據(jù)集。本文提出的多視角、多類型、跨模態(tài) 3D 動(dòng)作數(shù)據(jù)集不僅有助于有條件 3D 動(dòng)作生成方面的研究，還可以幫助一般的人類理解研究。我們將在 GitHub 代碼庫(kù)中發(fā)布代碼，并在此處發(fā)布訓(xùn)練好的模型。

雖然我們的研究結(jié)果為音樂(lè)條件下的 3D 動(dòng)作生成問(wèn)題指出了一個(gè)有前景的方向，但尚有更多可探索的空間。首先，我們的方法是基于運(yùn)動(dòng)學(xué)的，且我們沒(méi)有推理出舞者和地板之間的物理學(xué)相互作用。因此，全局平移可能會(huì)導(dǎo)致偽影，如腳部的滑動(dòng)和懸浮。第二，我們的模型目前具有確定性。探索如何根據(jù)每段音樂(lè)產(chǎn)生多種真實(shí)舞蹈，這一研究方向極具潛力。

責(zé)任編輯：haq