王帥琛， 黃倩， 張云飛， 李興， 聶云清， 雒國萃。 2022. 多模態(tài)數(shù)據(jù)的行為識別綜述。 中國圖象圖形學(xué)報， 27（11）： 3139-3159.

摘要：行為識別是當前計算機視覺方向中視頻理解領(lǐng)域的重要研究課題。從視頻中準確提取人體動作的特征并識別動作，能為醫(yī)療、安防等領(lǐng)域提供重要的信息，是一個十分具有前景的方向。本文從數(shù)據(jù)驅(qū)動的角度出發(fā)，全面介紹了行為識別技術(shù)的研究發(fā)展，對具有代表性的行為識別方法或模型進行了系統(tǒng)闡述。行為識別的數(shù)據(jù)分為RGB模態(tài)數(shù)據(jù)、深度模態(tài)數(shù)據(jù)、骨骼模態(tài)數(shù)據(jù)以及融合模態(tài)數(shù)據(jù)。首先介紹了行為識別的主要過程和人類行為識別領(lǐng)域不同數(shù)據(jù)模態(tài)的公開數(shù)據(jù)集；然后根據(jù)數(shù)據(jù)模態(tài)分類，回顧了RGB模態(tài)、深度模態(tài)和骨骼模態(tài)下基于傳統(tǒng)手工特征和深度學(xué)習(xí)的行為識別方法，以及多模態(tài)融合分類下RGB模態(tài)與深度模態(tài)融合的方法和其他模態(tài)融合的方法。傳統(tǒng)手工特征法包括基于時空體積和時空興趣點的方法（RGB模態(tài)）、基于運動變化和外觀的方法（深度模態(tài)）以及基于骨骼特征的方法（骨骼模態(tài)）等；深度學(xué)習(xí)方法主要涉及卷積網(wǎng)絡(luò)、圖卷積網(wǎng)絡(luò)和混合網(wǎng)絡(luò)，重點介紹了其改進點、特點以及模型的創(chuàng)新點。基于不同模態(tài)的數(shù)據(jù)集分類進行不同行為識別技術(shù)的對比分析。通過類別內(nèi)部和類別之間兩個角度對比分析后，得出不同模態(tài)的優(yōu)缺點與適用場景、手工特征法與深度學(xué)習(xí)法的區(qū)別和融合多模態(tài)的優(yōu)勢。最后，總結(jié)了行為識別技術(shù)當前面臨的問題和挑戰(zhàn)，并基于數(shù)據(jù)模態(tài)的角度提出了未來可行的研究方向和研究重點。

00 引言

人體行為識別是計算機視覺、深度學(xué)習(xí)、視頻處理和模式識別等學(xué)科交叉的研究課題，是當前計算機視覺的一個研究熱點。行為識別是對包含人體動作行為的視頻序列進行動作特征提取、特征表示和動作識別等操作的過程。由于視頻采集傳感器的成本降低和快速發(fā)展，使得行為識別有了廣泛的應(yīng)用前景，例如視頻檢索、人機交互、醫(yī)學(xué)監(jiān)測和自動駕駛等領(lǐng)域，都涉及行為識別的相關(guān)技術(shù)。行為識別屬于視頻理解的范疇，所以特征的提取和表示至關(guān)重要。這兩個過程的好壞會直接影響最終的分類結(jié)果。特征可以通過手工制作和網(wǎng)絡(luò)學(xué)習(xí)獲取，圖 1介紹了兩種方法的基本過程。手工特征的方法利用圖像和數(shù)學(xué)等知識，設(shè)計出一種表達動作的方式，通過表達動作的信息區(qū)分不同類別的動作。算法實現(xiàn)更簡單，但是常常局限于某個數(shù)據(jù)集。深度學(xué)習(xí)網(wǎng)絡(luò)自適應(yīng)性更好，能夠根據(jù)輸入數(shù)據(jù)和設(shè)計的網(wǎng)絡(luò)提取出側(cè)重的特征，并能依靠反向傳播等手段優(yōu)化提取特征的過程，最終得到一個能高效提取動作特征和正確分類的網(wǎng)絡(luò)模型。

從數(shù)據(jù)驅(qū)動的角度出發(fā)，可將行為識別方法分為基于RGB數(shù)據(jù)的方法、基于深度數(shù)據(jù)的方法、基于骨骼數(shù)據(jù)的方法和融合以上模態(tài)數(shù)據(jù)的方法，如圖 2所示。每種數(shù)據(jù)的模態(tài)都有自身特性導(dǎo)致的優(yōu)缺點，如RGB模態(tài)數(shù)據(jù)易采集但魯棒性較差。因此提出了融合多模態(tài)的方法，以克服一些單模態(tài)存在的問題。本文相比較其他行為識別綜述的貢獻在于：1）本文的數(shù)據(jù)模態(tài)分類、方法分類和數(shù)據(jù)集分類一一對應(yīng)，對初學(xué)者或者長期研究者都提供了一個結(jié)構(gòu)清晰的介紹和對比；2）其他的行為識別綜述通常注重單一模態(tài)下的論述，而本文更加全面地論述了多種數(shù)據(jù)模態(tài)和數(shù)據(jù)融合的行為識別；3）近年的行為識別綜述只包含深度學(xué)習(xí)，缺少早期手工特征的方法，本文分析手工特征的思想優(yōu)點和深度學(xué)習(xí)的優(yōu)勢，進而實現(xiàn)優(yōu)勢互補；4）討論了不同數(shù)據(jù)模態(tài)的優(yōu)劣性和動作識別的挑戰(zhàn)以及未來研究方向。

01 行為識別數(shù)據(jù)集

在評價不同識別方法的性能時，數(shù)據(jù)集有非常重要的作用。目前有許多公開的行為數(shù)據(jù)集供研究人員使用。主流數(shù)據(jù)集的詳細信息如表 1所示。

HMDB-51（human motion database）（Kuehne等，2011）中數(shù)字51代表類別數(shù)量。它是從各種互聯(lián)網(wǎng)資源和數(shù)字化電影中收集形成，此數(shù)據(jù)集的動作主要是日常行為，如圖 3所示。該數(shù)據(jù)集包含6 849個視頻，分為51個動作類別，每種動作包含101個視頻片段。該數(shù)據(jù)集的干擾因素主要是攝像機視角和運動的變化、背景雜亂、志愿者位置和外觀的變化。

UCF101（Soomro等，2012）是由美國中佛羅里達大學(xué)計算機視覺研究中心發(fā)布的數(shù)據(jù)集，是UCF50數(shù)據(jù)集的擴展，收集自YouTube，提供了包含101個動作類別的13 320個視頻樣本數(shù)據(jù)。UCF101在動作方面提供了最大的多樣性，在攝像機運動、對象的外觀和姿態(tài)、對象規(guī)模、視點、雜亂的背景以及照明條件等方面有很大的變化。Kinetics（Carreira和Zisserman，2017）是一個大規(guī)模、高質(zhì)量的YouTube視頻數(shù)據(jù)集，其中包括各種各樣的以人為中心的動作。該數(shù)據(jù)集由大約300 000個視頻片段組成，涵蓋400種動作類別，每個動作至少有400個視頻片段。每個片段持續(xù)大約10 s，并標記為一個動作類別。所有片段都經(jīng)過多輪人工標注，都是從一個獨特的YouTube視頻中獲得。這些動作涵蓋了廣泛的動作類別，包括人與物的交互，如演奏樂器；以及人與人的交互，如握手和擁抱。發(fā)布者先后在2016年、2017年、2018年相繼發(fā)布了Kinetics-400、Kinetics-600（Carreira等，2018）和Kinetics-700（Carreira等，2019）系列，代表視頻中的動作可分為400、600、700個類別。Something-Something數(shù)據(jù)集（Goyal等，2017）是一個中等規(guī)模的數(shù)據(jù)集，它與一般數(shù)據(jù)集的最大區(qū)別在于，其內(nèi)容定義的是原子動作，并且該數(shù)據(jù)集特別注重時序上的關(guān)系。第1版本和第2版本數(shù)據(jù)集由108 499個和220 847個視頻組成，均可分為174個動作類別。MSR-Action3D（Li等，2010）是微軟研究院利用Kinect深度相機捕獲的動作數(shù)據(jù)集。它包含20種與人類運動相關(guān)的活動，如慢跑、高爾夫揮桿等。圖 4為其中3個動作的深度圖實例。這個數(shù)據(jù)集中的每個動作由10個人執(zhí)行2~3次，總共包含567個樣本。因為動作的高度相似性，該數(shù)據(jù)集具有一定的挑戰(zhàn)性。

MSR-Daily Activity（Wang等，2012）是微軟研究院（MSR）利用Kinect相機拍攝日?；顒硬杉傻臄?shù)據(jù)集，共有16種動作類別，320個活動樣本。其中，骨骼跟蹤器提取的3維關(guān)節(jié)位置信息非常嘈雜，大部分活動都涉及人與物的交互。因此，動作的識別難度較大。UTD-MHAD（Chen等，2015a）數(shù)據(jù)集是美國得克薩斯大學(xué)達拉斯分校（The University of Texas at Dallas，UTD）發(fā)布的多模態(tài)人體行為識別數(shù)據(jù)集（MHAD），由8個表演者執(zhí)行27個類別的動作組成。每個表演者重復(fù)動作4次，總共包括861個視頻序列。該數(shù)據(jù)集包含RGB模態(tài)、深度模態(tài)、骨架模態(tài)和慣性傳感器信號。NTU RGB+D（Shahroudy等，2016a）數(shù)據(jù)集由新加坡南洋理工大學(xué)創(chuàng)建，包含RGB模態(tài)和深度模態(tài)。它是迄今為止最大的動作數(shù)據(jù)集，包含56 880個樣本數(shù)據(jù)和超過400萬幀的視頻。該數(shù)據(jù)集一共有60個動作類別，基于3臺攝像機，在3個不同的視角，拍攝表演者的動作過程。這個數(shù)據(jù)集對于不同的視頻序列具有可變的序列長度，并且表現(xiàn)出很高的類內(nèi)變化。該數(shù)據(jù)集包含了RGB模態(tài)、深度模態(tài)和骨骼模態(tài)。骨骼模態(tài)的數(shù)據(jù)集包含了25個關(guān)節(jié)記錄信息，圖 5為人體的25個關(guān)節(jié)示意圖。NTU RGB+D 120（Liu等，2020a）是NTU RGB+D數(shù)據(jù)集的擴展，添加了另外60個類別動作和57 600個視頻樣本，與之前的工作疊加形成120個動作類別和114 480個樣本的大型數(shù)據(jù)集。

02 基于RGB數(shù)據(jù)的行為識別方法

RGB數(shù)據(jù)的優(yōu)點在于成本低、易獲取，缺點在于對外觀的變化（如光線變化）缺少魯棒性。當識別目標與背景具有相似顏色和紋理時，僅用RGB數(shù)據(jù)很難處理這個問題，這些局限妨礙了基于RGB數(shù)據(jù)的行為識別技術(shù)在復(fù)雜環(huán)境中的應(yīng)用?；赗GB的行為特征的生成方式可分為手工制作和機器學(xué)習(xí)。

2.1 基于手工特征的方法

手工制作的目的是得到人體行為動作的運動和時空變化，包括基于時空體積的動作表示法、基于時空興趣點的方法和基于骨骼關(guān)節(jié)軌跡的方法。基于時空體積的動作表示法利用3維的時空模板進行動作識別，關(guān)鍵在于匹配模板的構(gòu)造和編碼運動信息。Bobick和Davis（2001）提出了MEI（motion-energy images）和MHI（motion-history images）分別表示動作發(fā)生的空間位置和動作發(fā)生的時間過程，如圖 6所示，MEI提取空間特征，MHI提取時間特征。在前期階段，運動歷史圖和運動能量圖十分相似，但在后期階段兩者有較大的區(qū)別。Klaser等人（2008）在2D HOG（histogram of oriented gradient）的基礎(chǔ)上，拓展出3D HOG特征來描述人體行為，提高了識別準確率。上述文獻的創(chuàng)新在于特征的表示，新穎的特征表示思想十分具有參考價值。但背景的噪聲和遮擋會使特征提取十分困難，并且忽略了一些局部特征，對近似動作識別具有局限性。

基于時空興趣點的方法較時空體積法對背景的要求降低，它通過提取運動變化明顯的關(guān)鍵區(qū)域來表示動作，重點在于關(guān)鍵興趣點的檢測方法、描述的特征和分類方法。最常見的方法是基于3D-Harris時空特征點來檢測關(guān)鍵區(qū)域。Chakraborty等人（2012）提出了一種改進后的3D-Harris方法，將局部特征檢測技術(shù)從圖像擴展到3維時空域，然后計算特征描述子，并利用描述行為的視覺詞袋模型來構(gòu)建視覺單詞詞匯表，用于加強對行為的描述。Nguyen等人（2015）提出了一種基于時空注意機制的關(guān)鍵區(qū)域提取方法，將密集采樣與視頻顯著信息驅(qū)動的時空特征池相結(jié)合，構(gòu)造視覺詞典和動作特征。密集采樣能更好地表示動作，但是增加了算法的復(fù)雜度，因此平衡采樣密集度和算法復(fù)雜度的關(guān)系是時空興趣點方法的重點之一。上述方法易受遮擋和相機視角變化的干擾，所以提出了基于骨骼和關(guān)節(jié)軌跡的動作表示方法，用于分析人體的局部運動信息。該方法從RGB圖像中提取骨骼關(guān)鍵點或者跟蹤人體骨骼運動的軌跡，根據(jù)關(guān)鍵點和軌跡判斷動作的類別。該方法的關(guān)鍵在于使用何種算法和模型從RGB圖像中提取關(guān)鍵點或者軌跡。Gaidon等人（2014）基于分裂聚類法表示局部運動軌跡，計算軌跡特征并用聚類結(jié)果表示不同運動類別。Wang和Schmid（2013）借鑒興趣點密集采樣的思想，通過采集密集點云和光流法跟蹤特征點，獲取密集軌跡（iDT），然后計算位移信息進行識別。RGB模態(tài)的骨骼和關(guān)節(jié)軌跡方法仍然存在背景和遮擋的干擾。但是識別動作的準確性提高，促使之后的科研人員依靠傳感器采集骨骼模態(tài)形成數(shù)據(jù)集，從骨骼模態(tài)的角度研究行為識別。

2.2 基于深度學(xué)習(xí)的方法

深度學(xué)習(xí)的崛起逐漸影響了行為識別領(lǐng)域?；谏疃葘W(xué)習(xí)網(wǎng)絡(luò)提取的高層次特征，信息量豐富、有區(qū)分性，優(yōu)于傳統(tǒng)手工特征，應(yīng)用于行為識別領(lǐng)域取得了重大的突破。在2D-CNN的基礎(chǔ)上，Carreira和Zisserman（2017）提出了一種I3D模型，將卷積從2維擴展到3維，并提出了雙流3D卷積網(wǎng)絡(luò)用于動作識別，雙流網(wǎng)絡(luò)也成為后人模仿借鑒的經(jīng)典方法。圖 7為I3D中改進后的Inception模塊，其中大小為1的3D卷積作用為減少參數(shù)量，尺寸都為3的最大池化和3D卷積提取不同尺度的特征，同時殘差連接輸入與輸出，保持模型的穩(wěn)定性。同時Carreira和Zisserman（2017）提出了Kinetics數(shù)據(jù)集，將許多經(jīng)典算法在此數(shù)據(jù)集上進行實驗對比，分析各算法的優(yōu)缺點。Zhu等人（2018）提出了一種名為隱式雙流神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的CNN體系結(jié)構(gòu)，將原始視頻幀作為輸入并直接預(yù)測動作類別，通過隱式捕獲相鄰幀之間的運動信息，使用端到端的方法解決了需要計算光流的問題。研究者通過改進卷積網(wǎng)絡(luò)的模塊和深度，行為識別的準確率大幅提升。雖然加深網(wǎng)絡(luò)能更有效地提取特征，但網(wǎng)絡(luò)也會變得臃腫和訓(xùn)練緩慢。為了保證時空流之間的可分辨性和探索互補信息，Zhang等人（2019）提出了一種新穎的協(xié)同跨流網(wǎng)絡(luò)，該網(wǎng)絡(luò)調(diào)查多種不同模式中的聯(lián)合信息，通過端到端的學(xué)習(xí)方式提取共同空間和時間流的網(wǎng)絡(luò)特征，探索出不同流特征之間的相關(guān)性，從中提取不同模態(tài)的互補信息。神經(jīng)網(wǎng)絡(luò)方便了特征提取的方法，但不能拘泥于網(wǎng)絡(luò)深度等方面，更應(yīng)該從多個角度（幀選擇和跨流網(wǎng)絡(luò)的想法）優(yōu)化識別過程。為了解決光流的計算復(fù)雜度問題，Kwon等人（2020）用運動特征的內(nèi)部信息和輕量級學(xué)習(xí)代替對光流的繁重計算，提出了一種名為MotionSqueeze的可訓(xùn)練神經(jīng)模塊，用于有效的運動特征提取。該模塊即插即用，能插入任何神經(jīng)網(wǎng)絡(luò)的中間來學(xué)習(xí)幀間關(guān)系，并將其轉(zhuǎn)換為運動特征，然后送到下一個網(wǎng)絡(luò)層進行更好的預(yù)測。

學(xué)者的創(chuàng)新曾經(jīng)局限在提取特征的技術(shù)，Gowda等人（2020）從幀選擇的角度出發(fā)，保留行為特征在時間序列上區(qū)別明顯的“好”幀，剔除特征類似和無法分類的幀，提出一種名為SMART的智能幀選擇網(wǎng)絡(luò)，如圖 8所示，綜合考慮單個幀和多個幀的質(zhì)量，而不是一次僅考慮一個幀。在降低計算量的同時，提高了識別準確率。Qiu等人（2019）注意到視頻是具有復(fù)雜時間變化的信息密集型媒體，而神經(jīng)網(wǎng)絡(luò)中的卷積濾波器都是局部操作，忽略了視頻幀之間的相關(guān)性，提出了一種新的基于局部和全局擴散的時空表示學(xué)習(xí)框架，并行學(xué)習(xí)局部和全局表示。每個塊建模這兩種表示方式，并且兩者之間交換信息來更新局部和全局特征，多個塊組成此網(wǎng)絡(luò)結(jié)構(gòu)，有效地保持了信息的局部性和整體性，獲得了強大的特征學(xué)習(xí)方式。這些行為識別技術(shù)的革新都是在其他研究的基礎(chǔ)上，保留優(yōu)點，減弱負面影響或者解決存在的問題，最終實現(xiàn)行為識別技術(shù)的突破。

03 基于深度數(shù)據(jù)的行為識別方法

RGB數(shù)據(jù)受干擾性較大，促使了深度數(shù)據(jù)的產(chǎn)生。深度圖中的紋理和顏色信息少，將圖像采集器到場景中各點的距離（深度）作為像素值，對光照的魯棒性強。深度傳感器的產(chǎn)生極大地擴展了計算機系統(tǒng)感知3D視覺世界和獲取視覺信息的能力。深度數(shù)據(jù)的信息與RGB數(shù)據(jù)本質(zhì)上不同，它對場景的距離信息進行編碼，而不是對顏色強度進行編碼。因此，深度數(shù)據(jù)可以更簡單精確地獲取關(guān)鍵區(qū)域。但深度信息也不是一直具有魯棒性，遮擋物和閃爍噪聲可能會對行為識別造成誤差。

3.1 基于運動變化和外觀信息的方法

基于深度數(shù)據(jù)的行為識別方法主要利用人體深度圖中的運動變化來描述動作。動作的特征由深度變化的外觀或運動信息進行描述。Yang等人（2012）通過深度運動圖（DMM）來投影和壓縮時空深度結(jié)構(gòu)，再從正面，側(cè)面和俯視圖形成3個運動歷史圖。然后，利用HOG特征表示這些運動歷史圖，并將生成的HOG特征串聯(lián)起來以描述動作。除了計算運動變化來描述動作的方法外，另一種流行的方法是通過外觀信息來描述動作。Yang等人（2012）基于深度序列構(gòu)造一個超向量特征來表示動作，通過連接來自深度視頻的局部相鄰超曲面法線來擴展HON4D，聯(lián)合局部形狀和運動信息，引入了一種自適應(yīng)時空金字塔，將深度視頻細分為一組時空單元，以獲得更具鑒別力的特征。為了剔除噪聲影響，Xia和Aggarwal（2013）提出了一種新的深度長方體相似性特征，用來描述具有自適應(yīng)支撐尺寸的3維深度長方體，從而獲得更可靠的時空興趣點。Chen和Guo（2015）通過分析前、側(cè)和上方向的時空結(jié)構(gòu)，提取時空興趣點的運動軌跡形狀和邊界直方圖特征，以及每個視圖中的密集樣本點和關(guān)節(jié)點來描述動作。深度模態(tài)較RGB模態(tài)多了深度這一信息，因此如何充分利用深度相關(guān)信息，如大小、變化等，是基于深度模態(tài)的行為識別的關(guān)鍵。這一思想不但適用于手工特征法，也適用于深度學(xué)習(xí)法。

3.2 基于深度學(xué)習(xí)的方法

深度模態(tài)下基于深度學(xué)習(xí)的方法可分為兩類：一類是深度特征圖和卷積神經(jīng)網(wǎng)絡(luò)的結(jié)合；另一類是提取深度信息的點集與點云網(wǎng)絡(luò)的結(jié)合。為了充分利用深度序列中的空間、時間和結(jié)構(gòu)信息進行不同時間尺度的動作識別，Wang等人（2018a）提出了3種簡單、緊湊而有效的深度序列表示方法，分別稱為動態(tài)深度圖像（DDI）、動態(tài)深度法線圖像（DDNI）和動態(tài)深度運動法線圖像（DDMNI），用于孤立和連續(xù)動作識別。其中，DDI記錄了隨時間變化的動態(tài)姿勢，DDNI和DDMNI記錄了深度圖捕獲的3維結(jié)構(gòu)信息。然后將3種特征圖輸入神經(jīng)網(wǎng)絡(luò)，提取不同的特征。Trelinski和Kwolek（2019）提出了一種基于深度圖序列的動作識別算法。首先，在單個深度圖中提取描述人形的特征，然后，對每個類單獨訓(xùn)練提取單個類的特征，同時對每個深度圖中代表人形的像素計算手工的特征。最后，所有動作共用的手工特征和特定動作的特征連接在一起，形成動作特征向量。深度圖和點云可以相互轉(zhuǎn)換，并且點云的表示簡單，有非常統(tǒng)一的結(jié)構(gòu)，避免組合的不規(guī)則性和復(fù)雜性。因此，Wang等人（2020）提出了3維動態(tài)像素（3DV）作為新穎的3維運動表示。通過時間順序池化將深度視頻中的3維運動信息壓縮成規(guī)則的3DV像素點集，每個可用的3DV像素本質(zhì)上涉及3維空間和運動功能，然后將3DV抽象為一個點集。由于3維點集的不規(guī)則，常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)不適合處理不規(guī)則的信息形狀，將點集輸入點云網(wǎng)絡(luò)（PointNet++），保持了點集的置換不變形。如圖 9所示，動作流提取3D像素表示的人體動作特征，外觀流提取人體的外觀特征，結(jié)合兩個特征的信息進行行為識別。Wang等人（2015）將卷積網(wǎng)絡(luò)與深度圖結(jié)合起來，通過卷積網(wǎng)絡(luò)來學(xué)習(xí)深度圖像序列的動作特征。利用分層深度運動映射（HDMMs）來提取人體的形狀和運動信息，然后在HDMMs上訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)進行人體動作識別。在此基礎(chǔ)上，Liu和Xu（2021）設(shè)計一個端到端的幾何運動網(wǎng)絡(luò)（GeometryMotion-Net），分別利用點云網(wǎng)絡(luò)提取運動特征和幾何特征，而3DV PointNet不能進行端到端的訓(xùn)練。3DV PointNet并沒有充分考慮時間信息，而GeometryMotion-Net將每個點云序列表示為一個虛擬整體幾何點云和多個虛擬運動點云來明確時間信息。兩項改進措施使得識別準確率有了較大提升。

04 基于骨骼數(shù)據(jù)的行為識別方法

該方法通過骨骼關(guān)節(jié)實時對3D人體關(guān)節(jié)位置進行編碼，實現(xiàn)人體行為的動作識別。由于人體骨骼的運動可以區(qū)分許多動作，利用骨骼數(shù)據(jù)進行動作識別是一個有前景的方向。骨骼數(shù)據(jù)包含的時空信息豐富，關(guān)節(jié)節(jié)點與其相鄰節(jié)點之間存在著很強的相關(guān)性，使得骨架數(shù)據(jù)不但能在同一幀中發(fā)現(xiàn)豐富的人體結(jié)構(gòu)信息，幀與幀之間也存在著強相關(guān)性。同時考慮骨骼和幀序列、時域和空域之間的共現(xiàn)關(guān)系能準確地描述動作。

4.1 基于骨骼特征提取的方法

對現(xiàn)有的基于骨骼數(shù)據(jù)的特征提取方法進行分析，根據(jù)其所對應(yīng)的識別位置可分為基于關(guān)節(jié)和基于身體部位的行為識別方法。Vemulapalli等人（2014）提出了一種新的骨骼表示法，利用3維空間中的旋轉(zhuǎn)和平移來模擬身體各個部位之間的3維幾何關(guān)系。人體骨骼作為李群中的一點，人的行為可以被建模為這個李群中的曲線，將李群中的動作曲線映射到它的李代數(shù)上，形成一個向量空間。然后結(jié)合線性支持向量機進行分類。Koniusz等人（2016）使用張量表示來捕捉3維人體關(guān)節(jié)之間的高階關(guān)系，用于動作識別，該方法采用兩種不同的核，稱為序列相容核和動態(tài)相容核。前者捕捉關(guān)節(jié)的時空相容性，后者則模擬序列的動作動力學(xué)。然后在這些核的線性化特征映射上訓(xùn)練支持向量機進行動作分類。

4.2 基于深度學(xué)習(xí)的方法

Liu等人（2016）通過對骨架序列進行樹結(jié)構(gòu)的遍歷，獲得了空間域的隱藏關(guān)系。其他方法進行關(guān)節(jié)遍歷只是把骨架作為一條鏈，忽略了相鄰關(guān)節(jié)之間存在的依賴關(guān)系，而此遍歷方法不會增加虛假連接。同時使用帶信任門的長短期記憶網(wǎng)絡(luò)（LSTM）對輸入進行判別，通過潛在的空間信息來更新存儲單元。Caetano等人（2019）提出了一種基于運動信息的新表示，稱為SkeleMotion。它通過計算骨骼關(guān)節(jié)的大小和方向值來編碼形成每行的動作信息和每列的描述時間信息，形成調(diào)整后的骨骼圖像。然而，人類3維骨骼數(shù)據(jù)是一個拓撲圖，而不是基于RNN或CNN的方法處理的序列向量或偽圖像，而圖卷積網(wǎng)絡(luò)（GCN）具有天生處理圖結(jié)構(gòu)的優(yōu)勢，使得它在基于骨骼的行為識別技術(shù)取得了重大突破?；趫D卷積的行為識別技術(shù)關(guān)鍵在于骨骼的表示，即如何將原始數(shù)據(jù)組織成拓撲圖。Yan等人（2018）首先提出了一種新的基于骨架的動作識別模型，即時空圖卷積網(wǎng)絡(luò)（ST-GCN），該網(wǎng)絡(luò)首先將人的關(guān)節(jié)作為時空圖的頂點，將人體物理關(guān)節(jié)連接和時間作為圖的邊；然后使用ST-GCN網(wǎng)絡(luò)進行信息的傳遞匯集，獲取高級的特征圖，并用Softmax分類器劃分為對應(yīng)的類別。在此基礎(chǔ)上，Li等人（2019）提出的AS-GCN不僅可以識別人的動作，而且可以利用多任務(wù)學(xué)習(xí)策略輸出對物體下一個可能姿勢的預(yù)測。

構(gòu)造的拓撲圖通過動作連接和結(jié)構(gòu)連接的兩個模塊來捕捉關(guān)節(jié)之間更豐富的相關(guān)性。Shi等人（2020）提出了一種新的多流注意增強自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)來進行基于骨架的動作識別。模型中的圖拓撲可以基于輸入數(shù)據(jù)以端到端的方式統(tǒng)一或單獨地學(xué)習(xí)。這種數(shù)據(jù)驅(qū)動的方法增加了圖形構(gòu)造模型的靈活性，使其更具有通用性，以適應(yīng)各種數(shù)據(jù)樣本。同時關(guān)節(jié)差值和幀間差值的數(shù)據(jù)構(gòu)造多流網(wǎng)絡(luò)，在決策階段融合，實現(xiàn)識別率的進一步提升。Obinata和Yamamoto （2021）從另一角度注意到幀間的拓撲圖，不僅僅在幀間同一關(guān)節(jié)對應(yīng)的頂點之間進行連接，在幀間多個相鄰頂點之間添加連接，并提取額外的特征，實現(xiàn)識別率的提高。改進拓撲圖后的識別效果理想，使得后續(xù)的許多研究都著重于這一點，如設(shè)計動態(tài)可訓(xùn)練拓撲圖（Ye等，2020）、各通道獨享的拓撲圖（Cheng等，2020a）以及結(jié)合全局和局部的拓撲圖（Chen等，2021a）。如圖 10所示，空間圖卷積過程是離重心（3號下方的最小點）近的3號近心點和離重心遠的6號和7號遠心點通過骨骼連接向5號根節(jié)點傳遞信息，如此反復(fù)，獲得提取空間特征；時間卷積是將同一關(guān)節(jié)在時間維度上進行信息匯集，即同一關(guān)節(jié)的部分幀序列進行信息匯集，得到時間特征。骨架序列的時空圖表示是圖卷積網(wǎng)絡(luò)（GCN）的擴展，專門用于執(zhí)行人類行為識別。首先，通過在人體骨架的相鄰身體關(guān)節(jié)之間以及沿時間方向插入邊來構(gòu)造時空圖。然后，應(yīng)用GCN和分類器來推斷圖中的依賴關(guān)系并進行分類。

圖卷積作為基于骨骼數(shù)據(jù)的行為識別的熱點研究之一，其數(shù)據(jù)形式——拓撲圖十分契合人體骨骼圖，特征和信息的獲取與傳遞在物理結(jié)構(gòu)和語義層面都符合圖結(jié)構(gòu)，因此取得了較為理想的效果。但圖結(jié)構(gòu)也成為行為識別的限制，如坐標的分布會影響圖卷積的魯棒性，缺失一些重要的關(guān)節(jié)點會降低識別的效果。另外，圖卷積將每個關(guān)節(jié)點視為圖中的一個點，其復(fù)雜性和人數(shù)成正比，而現(xiàn)實中的許多動作涉及多人以及相關(guān)物體。成倍增加的計算消耗量使得圖卷積難以在多人動作的任務(wù)上實現(xiàn)較好的應(yīng)用。

05 基于數(shù)據(jù)融合的行為識別方法

RGB數(shù)據(jù)、深度數(shù)據(jù)和骨骼數(shù)據(jù)具有各自的優(yōu)點。RGB數(shù)據(jù)的優(yōu)點是外觀信息豐富，深度數(shù)據(jù)的優(yōu)點是不易受光照影響，骨骼數(shù)據(jù)的優(yōu)點是通過關(guān)節(jié)能更準確地描述動作。所以，選擇哪種模態(tài)進行行為識別也是研究人員權(quán)衡的方面之一。根據(jù)匯集的文獻資料，本文總結(jié)了各類模態(tài)的特點和適用場景，如表 2所示。

由于單模態(tài)始終存在一些問題，研究者嘗試使用多種方式進行特征融合，克服這些問題。

融合方式有3種：特征層融合、決策層融合和混合融合。不同的方式融合結(jié)果具有各自的優(yōu)點，彌補缺點，得到對運動的動作有更好的描述。

5.1 基于RGB模態(tài)與深度模態(tài)的融合方法

根據(jù)模態(tài)產(chǎn)生的時間順序，RGB模態(tài)與深度模態(tài)的融合是最先提出也是最為普遍的組合方式。Jalal等人（2017）從連續(xù)的深度圖序列中分割人體深度輪廓，并提取4個骨骼關(guān)節(jié)特征和一個體形特征形成時空多融合特征，利用多融合特征的編碼向量進行模型訓(xùn)練。Yu等人（2020）使用卷積神經(jīng)網(wǎng)絡(luò)分別訓(xùn)練多模態(tài)數(shù)據(jù)，并在適當位置進行RGB和深度特征的實時融合，通過局部混合的合成獲得更具代表性的特征序列，提高了相似行為的識別性能。同時引入了一種改進的注意機制，實時分配不同的權(quán)值來分別關(guān)注每一幀。Ren等人（2021）設(shè)計了一個分段協(xié)作的卷積網(wǎng)絡(luò)SC-ConvNets）來學(xué)習(xí)RGB-D模式的互補特征，整個網(wǎng)絡(luò)框架如圖 11所示。首先將整個RGB和深度數(shù)據(jù)序列壓縮成動態(tài)圖像分別輸入雙流卷積網(wǎng)絡(luò)中，再計算距離的平方值獲得融合的特征。與先前基于卷積網(wǎng)絡(luò)的多通道特征學(xué)習(xí)方法不同，這個分段協(xié)作的網(wǎng)絡(luò)能夠聯(lián)合學(xué)習(xí)，通過優(yōu)化單個損失函數(shù)，縮小了RGB和深度模態(tài)之間的差異， 進而提高了識別性能。

深度模態(tài)沒有RGB模態(tài)的紋理和顏色信息，RGB模態(tài)比深度模態(tài)在空間上少一個深度信息的維度，因此兩者的數(shù)據(jù)模態(tài)可以很好地互補對方缺失的特征信息。大量研究結(jié)果表明了此種融合方法的合理性和優(yōu)越性。因此提取另一個模態(tài)缺少的信息，避免相同信息的冗余，是模態(tài)融合的重點和難點。

5.2 其他模態(tài)的融合方法

其他模態(tài)的關(guān)系，如骨骼模態(tài)與深度模態(tài)互補關(guān)系，稍弱于RGB和深度模態(tài)的互補關(guān)系。但不同模態(tài)仍有互補信息的存在，所以不同模態(tài)融合也是研究人員的研究方向之一。Elmadany等人（2018）使用規(guī)范相關(guān)分析（CCA）來最大化從不同傳感器提取的特征的相關(guān)性。此論文研究的特征包括從骨架數(shù)據(jù)中提取的角度數(shù)據(jù)、從深度視頻中提取的深度運動圖和從RGB視頻提取的光流數(shù)據(jù)，通過學(xué)習(xí)這些特征共享的子空間，再使用平均池化來獲取最終的特征描述符。Rahmani等人（2014）提出一種稱為深度梯度直方圖的描述子，結(jié)合深度圖像和3維關(guān)節(jié)位置提取的4種局部特征來處理局部遮擋，分別計算深度、深度導(dǎo)數(shù)和關(guān)節(jié)位置差的直方圖，將每個關(guān)節(jié)運動量的變化并入全局特征向量中，形成時空特征，并使用兩個隨機決策森林，一個用于特征修剪，另一個用于分類，提高識別的精度。特征可以在初級階段融合，也可以在高級階段形成語義信息的時期融合。前者相當于對數(shù)據(jù)進行補充增廣，后者形成新的語義信息。融合也可以發(fā)生在決策階段，聯(lián)合不同模態(tài)的預(yù)測結(jié)果后得到一個綜合的預(yù)測結(jié)果。一般而言，越早期的模態(tài)融合需要的計算量越小，越后期的模態(tài)融合復(fù)雜度越大。研究者常常使用混合折中的方法，保持兩者優(yōu)勢的同時，也克服了一些缺點。融合的具體方式及其優(yōu)缺點如表 3所示。對于神經(jīng)網(wǎng)絡(luò)，不同模態(tài)的融合可以在特征提取階段，可以將多流網(wǎng)絡(luò)的輸出匯集到單個網(wǎng)絡(luò)中實現(xiàn)特征融合。融合的關(guān)鍵在于數(shù)據(jù)模態(tài)的選擇和融合的時間。研究者需要思考一種模態(tài)融入另一種模態(tài)后的特征是否克服了原有模態(tài)的缺點，否則融合操作只會增加計算量。

06 行為識別方法對比

對不同數(shù)據(jù)模態(tài)下的行為識別方法進行比較，通過表格和柱狀圖等方式的對比，以期得出一些行為識別技術(shù)的結(jié)論。Top-1代表概率最大的結(jié)果是正確答案的準確率，Top-5代表概率排名前5的結(jié)果是正確答案的準確率。交叉主題（cross subject）和交叉視角（cross view）是NTU RGB+D 60數(shù)據(jù)集中訓(xùn)練集和測試集的劃分。交叉主題將40個志愿者劃分為訓(xùn)練和測試兩個隊伍。每個隊伍包含20個志愿者，其中1，2，4，5，8，9，13，14，15，16，17，18，19，25，27，28，31，34，35，38為訓(xùn)練集，其余為測試集。交叉視角將3個視角的相機中，相機2號和3號作為訓(xùn)練集，相機1號為測試集。NTU RGB+D 120中的訓(xùn)練集和測試集劃分方式包括交叉主題（cross subject）和交叉設(shè)置（cross setup）兩種。交叉主題表示訓(xùn)練集包含53個主題，測試集包含另外53個主題。交叉設(shè)置表示訓(xùn)練集樣本來自偶數(shù)編號，測試集樣本來自奇數(shù)編號。6.1 RGB模態(tài)的方法對比

RGB模態(tài)數(shù)據(jù)集選取了經(jīng)典的UCF101數(shù)據(jù)集和HMDB-51數(shù)據(jù)集，以及新穎的Something-Something數(shù)據(jù)集，對比了經(jīng)典方法和新發(fā)表的效果最佳的方法，如表4和表5所示。

對于HMDB-51數(shù)據(jù)集，手工特征方法的準確率最高僅有61.7%，而深度學(xué)習(xí)方法的最低準確率是55.2%?；谏疃葘W(xué)習(xí)的方法將該數(shù)據(jù)集的最高準確率提高到85.1%。對于UCF101數(shù)據(jù)集，手工特征方法的最高準確率88.3%，基于深度學(xué)習(xí)的方法將準確率提高到98.7%，已經(jīng)基本符合應(yīng)用的要求。在Something-Something數(shù)據(jù)集上，手工特征法鮮有研究，大都是基于深度學(xué)習(xí)方法的開展。原因是該數(shù)據(jù)集規(guī)模較大，手工制作的特征已經(jīng)無法準確地描述動作。而且動作類別多，使得Top-1的最高識別率僅有69%，是RGB模態(tài)的行為識別方向下一個需要攻克的數(shù)據(jù)集。根據(jù)大量文獻和實驗的依據(jù)，本文總結(jié)了兩類方法的優(yōu)缺點如表 6所示。

本文將統(tǒng)計的數(shù)據(jù)繪制成柱狀圖，從圖12中能明顯觀察出，基于手工特征的方法（灰色表示的柱狀）基本低于深度學(xué)習(xí)方法的識別率（灰色以外的其他顏色），說明深度學(xué)習(xí)的方法一般具有更好的識別性能。類似的情況也發(fā)生在其他模態(tài)中。

6.2 深度模態(tài)的方法對比深度模態(tài)數(shù)據(jù)集選取了經(jīng)典的MSR-Action3D數(shù)據(jù)集與當前主流的NTU RGB+D深度數(shù)據(jù)集，和RGB模態(tài)的實驗思路相同，比較了經(jīng)典算法和最新卓越方法，結(jié)果如表 7和表 8所示。

當前的多數(shù)方法已經(jīng)在MSR-Action3D深度數(shù)據(jù)集上達到了90%的準確率，說明該數(shù)據(jù)集的大部分價值已被挖掘，但MSR-Action3D仍然是評價一個算法好壞的經(jīng)典數(shù)據(jù)集之一。近期主流的數(shù)據(jù)集是NTU RGB+D數(shù)據(jù)集中的深度模態(tài)部分，深度數(shù)據(jù)模態(tài)的人體行為數(shù)據(jù)集相較其他兩個模態(tài)發(fā)布較少，在這方面還有很大的進步空間。在NTU RGB+D數(shù)據(jù)集的深度模態(tài)部分，手工特征的方法在這個大型數(shù)據(jù)集上效果較差。原因與RGB模態(tài)的情況相似，該數(shù)據(jù)集規(guī)模大、樣本多、類別多，手工制作的特征能表示部分動作信息，但難以覆蓋整個數(shù)據(jù)集的動作范圍。兩個新發(fā)布的網(wǎng)絡(luò)的變體：點云網(wǎng)絡(luò)（PointNet++）和Transformer網(wǎng)絡(luò)，在NTU RGB+D深度模態(tài)部分的識別率達到了近90%和90.2%的高度。研究者可以從不同的角度改進這兩個網(wǎng)絡(luò)，可能會達到新的性能高度。這也給了研究者另一種想法，通過移植或者改進領(lǐng)域外的新穎網(wǎng)絡(luò)，適配到行為識別方向中，或許能取得意想不到的效果。

6.3 骨骼模態(tài)的方法對比

骨骼模態(tài)是近年越發(fā)流行的模態(tài)，本文選取了主流的NTU RGB+D skeleton骨骼數(shù)據(jù)集，對比了許多算法的差異。在NTU RGB+D 60和120數(shù)據(jù)集的實驗設(shè)置下，手工特征和深度學(xué)習(xí)的方法對比如表 9和表 10所示。深度學(xué)習(xí)的方法全面超越了手工特征方法。從中可發(fā)現(xiàn)，基于深度學(xué)習(xí)的方法幾乎占據(jù)了全部范圍。其中，早期研究者多使用標準卷積網(wǎng)絡(luò)將骨骼數(shù)據(jù)編碼成像素排列的偽圖像，借鑒圖像分類和視頻分類的思想提取特征。這種方式取得的效果并不理想，因為它割裂了骨骼內(nèi)在的連接性。之后，提出了卷積網(wǎng)絡(luò)的變體——圖卷積。由于圖的結(jié)構(gòu)十分符合人體骨骼連接，取得了理想的效果，也促進了圖卷積在行為識別領(lǐng)域中快速發(fā)展。本文發(fā)現(xiàn)，初期研究者往往僅考慮識別率的高低，忽略了算法和模型的復(fù)雜度。

統(tǒng)計在骨骼模態(tài)上相關(guān)模型的訓(xùn)練參數(shù)量后如表 11所示。以ST-GCN為基礎(chǔ)，科研人員通過加深模型層次和改進模型結(jié)構(gòu)，設(shè)計出AS-GCN、2S-GCN等優(yōu)秀模型。雖然提高了識別性能，但是模型越來越龐大，識別率也達到了瓶頸。意識到這一問題后，研究人員開始設(shè)計更輕量的網(wǎng)絡(luò)，如MS-G3D、Dynamic GCN、CTR-GCN等。在達到相同識別效果的同時，設(shè)計了復(fù)雜度更小、訓(xùn)練速度更快的網(wǎng)絡(luò)。從模型優(yōu)化的角度進一步發(fā)展了行為識別技術(shù)。

圖卷積的應(yīng)用將NTU RGB+D 60骨骼數(shù)據(jù)庫的交叉識別率從50%快速提升至88%。經(jīng)過科研人員的不斷努力研究，目前交叉主題和交叉視角的最高識別率已經(jīng)達到94.1%和97.1%。在NTU RGB+D 60數(shù)據(jù)集上已經(jīng)基本完成行為識別的任務(wù)。在NTU RGB+D 120數(shù)據(jù)集，動作類別數(shù)更多，更加有挑戰(zhàn)性和難度。目前的最高識別率只有90%左右。所以，NTU RGB+D 120數(shù)據(jù)集是目前最全面和權(quán)威評價一個算法和模型好壞的數(shù)據(jù)集。希望相關(guān)人員能首先考慮以該數(shù)據(jù)集作為基準，通過數(shù)據(jù)驅(qū)動行為識別的進一步發(fā)展。本文發(fā)現(xiàn)，越高的識別率增長的幅度越小。這也從側(cè)面反映了圖卷積在行為識別領(lǐng)域達到了一定的瓶頸期。從本文數(shù)據(jù)模態(tài)的角度出發(fā)，有以下兩點建議：1）融合其他模態(tài)的數(shù)據(jù)，補充骨骼數(shù)據(jù)的信息，進而獲得更好的結(jié)果。2）使用一種新的方式代替拓撲圖表示骨骼的信息，便于提取更多的動作特征。

6.4 多模態(tài)融合的方法對比

NTU RGB+D包括了RGB、深度和骨骼模態(tài)，選擇該數(shù)據(jù)集作為基準對比不同的算法，結(jié)果如表 12所示。

選取其中的兩個方法Pose-drive Attention和Deep Bilinear作為代表，比較其在不同模態(tài)下的識別率。從表 13中可以清楚地觀察到，對于Pose-drive Attention模型，RGB和骨骼模態(tài)融合的識別率明顯高于RGB或者骨骼單個模態(tài)的識別率。對于Deep Bilinear模型，3個模態(tài)融合后的識別率高于兩個模態(tài)融合的識別率。因此，融合多個模態(tài)的方法十分有利于行為識別的效果提升。

最常用的組合是RGB模態(tài)和深度模態(tài)，原因是由于深度模態(tài)比RGB模態(tài)多了深度信息，而RGB模態(tài)比深度模態(tài)多了顏色紋理信息，兩者能較好地互補信息，從而提取到描述更好的特征，達到提高識別率的效果。其次是骨骼和其他模態(tài)的組合，由于骨骼數(shù)據(jù)在早期較難與其他模態(tài)融合，研究者一般都選擇在高維特征階段進行融合，實現(xiàn)信息的互補。最后，本文從各類模態(tài)內(nèi)部比較和各類模態(tài)之間比較發(fā)現(xiàn)了一些規(guī)律和特點。骨骼模態(tài)數(shù)據(jù)和RGB模態(tài)數(shù)據(jù)是人體行為識別中使用較多的模態(tài)。在各類模態(tài)下，深度學(xué)習(xí)的方法一般都優(yōu)于手工特征的方法，這是因為深度學(xué)習(xí)提取的特征基于數(shù)據(jù)集本身的數(shù)據(jù)信息，相較于手工特征，深度學(xué)習(xí)獲得的特征更加準確地描述了動作。通過融合不同數(shù)據(jù)模態(tài)的特征或者決策層融合，實現(xiàn)信息互補，達到更優(yōu)異的效果。

07 結(jié)語

目前，行為識別在一些數(shù)據(jù)集上的識別率已經(jīng)很高，在日常生活中也有一些應(yīng)用。但是行為識別仍然存在許多挑戰(zhàn)。1）數(shù)據(jù)集的規(guī)模越來越大，環(huán)境越來越復(fù)雜，愈發(fā)符合現(xiàn)實場景。物體遮擋、視頻的像素值和幀數(shù)、交互運動以及圖像的多尺寸等因素，都會極大地影響識別過程。2）盡管目前有許多模態(tài)的數(shù)據(jù)，但并非所有模態(tài)的數(shù)據(jù)都易采集。RGB模態(tài)是能夠利用一般相機直接獲得，深度模態(tài)需要深度傳感器（如Kinect相機）獲得，而骨骼模態(tài)是從前兩者模態(tài)中抽象得到的一種描述人體行為的模態(tài)數(shù)據(jù)。3）特殊動作的識別包括相似動作的識別、多人動作的識別以及高速動作的識別。對于這些挑戰(zhàn)，研究者還需不斷探索，尋找解決問題的方案。本文總結(jié)了一些行為識別領(lǐng)域在未來可行的研究方向：1）多模態(tài)融合是一個具有前景的研究方向。無論是在特征層的特征融合，或者在預(yù)測階段的決策融合，都已經(jīng)被證明是一個可行的方案。除了上述所提的主流模態(tài)外，一些模態(tài)（如紅外線、聲音）等信息也能夠融合其中，實現(xiàn)信息補充，提高識別性能。2）深度學(xué)習(xí)網(wǎng)絡(luò)已經(jīng)成為主流，符合數(shù)據(jù)集規(guī)模增加的趨勢。手工制作的特征并非完全舍棄。研究人員依然可以借鑒制作特征的思想，從視頻中提取去除無關(guān)信息的手工特征后再輸入深度學(xué)習(xí)的網(wǎng)絡(luò)中，減少了網(wǎng)絡(luò)參數(shù)，也提高了識別效果。3）設(shè)計和移植新型網(wǎng)絡(luò)，增加注意力模塊。自從2D卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在行為識別領(lǐng)域，識別效果大幅提升。然后，3D卷積神經(jīng)網(wǎng)絡(luò)、圖卷積網(wǎng)絡(luò)的應(yīng)用使識別效果又提升了一個層次。所以，設(shè)計新型的網(wǎng)絡(luò)或者移植其他領(lǐng)域的網(wǎng)絡(luò)是有參考價值的。同時，注意力模塊在網(wǎng)絡(luò)中愈發(fā)廣泛應(yīng)用。注意力模塊能夠較好地去除時間和空間特征中的無關(guān)信息，將重點放在顯著區(qū)域，進而提升識別準確率。本文從多模態(tài)的角度對行為識別的研究進行了綜述，整理了主流的數(shù)據(jù)集，全面分析了各類模態(tài)的行為識別方法，重點分析了特征的設(shè)計和網(wǎng)絡(luò)的結(jié)構(gòu)，最后對比不同算法或網(wǎng)絡(luò)的效果，總結(jié)出一些存在的問題和未來可行的方向。本文的分類結(jié)構(gòu)希望能給初學(xué)者提供一個完整的行為識別領(lǐng)域的知識，使相關(guān)研究人員能從中獲得一些創(chuàng)新的思路和啟發(fā)。

編輯：黃飛