姿態(tài)估計(jì)

人體姿態(tài)估計(jì)：估計(jì)人的關(guān)節(jié)點(diǎn)坐標(biāo)（回歸問(wèn)題）

RGB or RGBD

圖像 or 視頻

單目 or 多視角

單人 or 多人

2D or 3D

3D姿態(tài) or 3D形態(tài)

2D姿態(tài)估計(jì)

任務(wù)

Benchmark: MPII (2014)

代表作: CPM (CVPR 2016), Hourglass (ECCV 2016)

Benchmark: COCO (2016), CrowdPose (2018)

自底向上: OpenPose (CVPR 2017), Associative Embedding (NIPS 2017)

自頂向下: CPN (CVPR 2018), MSPN (Arxiv 2018), HRNet (CVPR 2019)

Benchmark: PoseTrack (2017)

代表作: Simple Baselines (ECCV 2018)

單人姿態(tài)估計(jì)

多人姿態(tài)估計(jì)

人體姿態(tài)跟蹤

挑戰(zhàn)

遮擋

復(fù)雜背景

特殊姿態(tài)

3D姿態(tài)估計(jì)

問(wèn)題

估計(jì)出關(guān)節(jié)點(diǎn)的三維坐標(biāo) (x, y, z) （回歸問(wèn)題）

輸入: 包含人體的圖片

輸出: N×3個(gè)人體關(guān)節(jié)點(diǎn)

挑戰(zhàn)

缺少特殊姿態(tài)的數(shù)據(jù)集（如摔倒，打滾等）

由于數(shù)據(jù)集是在實(shí)驗(yàn)室環(huán)境下建立的，模型的泛化能力較差

3D姿態(tài)數(shù)據(jù)集是依靠適合室內(nèi)環(huán)境的動(dòng)作捕捉（MOCAP）系統(tǒng)構(gòu)建的。MOCAP系統(tǒng)需要帶有多個(gè)傳感器和緊身衣褲的復(fù)雜裝置，在室外環(huán)境使用是不切實(shí)際的

巨大的3D姿態(tài)空間、自遮擋

單視角2D到3D的映射中固有的深度模糊性、不適定性（一個(gè)2D骨架可以對(duì)應(yīng)多個(gè)3D骨架）

缺少大型的室外數(shù)據(jù)集（主要瓶頸）

?

應(yīng)用

動(dòng)畫(huà)，游戲

運(yùn)動(dòng)捕捉系統(tǒng)

行為理解

姿態(tài)估計(jì)可以做為其他算法的輔助環(huán)節(jié)（行人重識(shí)別）

人體姿態(tài)估計(jì)跟人體相關(guān)的其他任務(wù)一起聯(lián)合學(xué)習(xí)（人體解析）

?

方法

3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network (ACCV 2014)

Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose (CVPR 2017)

通過(guò)深度學(xué)習(xí)模型建立單目RGB圖像到3D坐標(biāo)的端到端映射，但是對(duì)于單一模型來(lái)說(shuō)需要學(xué)習(xí)的特征太過(guò)復(fù)雜。

聯(lián)合2D，3D共同訓(xùn)練（2D信息通常以heatmap來(lái)表示）

Towards 3D Human Pose Estimation in the Wild (ICCV 2017)

3D Hand Shape and Pose Estimation from a Single RGB Image (CVPR 2019)

需要復(fù)雜的網(wǎng)絡(luò)架構(gòu)和充足的訓(xùn)練樣本。

直接用預(yù)訓(xùn)練好的2D姿態(tài)網(wǎng)絡(luò)，將得到的2D坐標(biāo)輸入到3D姿態(tài)估計(jì)網(wǎng)絡(luò)中（得益于2D姿態(tài)估計(jì)較為成熟）

減少了模型在2D姿態(tài)估計(jì)上的學(xué)習(xí)壓力

網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，輕量級(jí)

實(shí)時(shí)性，快速

訓(xùn)練快，占用顯存少

缺少原始圖像輸入，可能會(huì)丟失一些空間信息

2D姿態(tài)估計(jì)的誤差會(huì)在3D估計(jì)中放大

Simple Yet Effective Baseline (ICCV 2017)

3D human pose estimation in video with temporal convolutions (CVPR 2019)

2D姿態(tài)網(wǎng)絡(luò): Hourglass (ECCV 2016), CPN (CVPR 2018)

優(yōu)點(diǎn)

缺點(diǎn)

因?yàn)榛跈z測(cè)的模型在2D的關(guān)節(jié)點(diǎn)檢測(cè)中表現(xiàn)更好，而在3D空間下，由于非線性程度高，輸出空間大，所以基于回歸的模型比較流行。

從2D圖片直接暴力回歸得到3D坐標(biāo)

先獲取2D信息，然后再“提升”到3D姿態(tài)

為什么要先進(jìn)行2D估計(jì)再進(jìn)行3D估計(jì)？

數(shù)據(jù)集

3D姿態(tài)估計(jì)最大、最廣泛使用的數(shù)據(jù)集

360萬(wàn)張圖像，4個(gè)不同的視角 (原數(shù)據(jù)集提供的是視頻，50fps)

15個(gè)動(dòng)作: directions, discussion, eating, greeting, phoning, posing, purchases, sitting, sitting down, smoking, taking photo, waiting, walking, walking dog, walking together

11 個(gè)人，但只有7個(gè)人包含3D姿態(tài)標(biāo)簽

訓(xùn)練: S1, S5, S6, S7, S8 (1559752張圖像)

測(cè)試: S9, S11 (550644張圖像)

備注：實(shí)際使用的時(shí)候只用了7個(gè)人的數(shù)據(jù)，總共210萬(wàn)張圖像，所以我感覺(jué)應(yīng)該稱(chēng)為Human2.1M。而且從原數(shù)據(jù)的視頻中提取出圖片的時(shí)候，提取出的圖片數(shù)會(huì)比標(biāo)簽要多，提取出來(lái)有2137070張圖像，而標(biāo)簽只有2110396個(gè)。在使用這個(gè)數(shù)據(jù)集的時(shí)候?qū)⒚總€(gè)視頻舍棄尾部幾幀多出來(lái)的圖像使得與標(biāo)簽一一對(duì)應(yīng)。

Human3.6M (2014)

HumanEva (2010)

MPI-INF-3DHP (2017)

?

?

評(píng)價(jià)指標(biāo)

網(wǎng)絡(luò)輸出的關(guān)節(jié)點(diǎn)坐標(biāo)與ground truth的平均歐式距離（通常轉(zhuǎn)換到相機(jī)坐標(biāo)）

先對(duì)網(wǎng)絡(luò)輸出進(jìn)行剛性變換（平移，旋轉(zhuǎn)和縮放）向ground truth對(duì)齊后，再計(jì)算MPJPE

如果預(yù)測(cè)關(guān)節(jié)與ground truth之間的距離在特定閾值內(nèi)，則檢測(cè)到的關(guān)節(jié)被認(rèn)為是正確的

如果兩個(gè)預(yù)測(cè)的關(guān)節(jié)位置與ground truth之間的距離小于肢體長(zhǎng)度的一半，則認(rèn)為肢體被檢測(cè)到

計(jì)算機(jī)視覺(jué)：相機(jī)成像原理：世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系、像素坐標(biāo)系之間的轉(zhuǎn)換

相機(jī)成像模型——建立過(guò)程（世界坐標(biāo)系，相機(jī)坐標(biāo)系，圖像坐標(biāo)系，圖像像素坐標(biāo)系，四者之間的關(guān)系

Mean Per Joint Position Error (MPJPE): Protocol 1，關(guān)節(jié)點(diǎn)坐標(biāo)誤差的平均值

Procrustes analysis MPJPE (P-MPJPE): Protocol 2，基于Procrustes分析的MPJPE

Percentage of Correct Key-points (PCK)，正確關(guān)鍵點(diǎn)的百分比

Percentage of Correct Parts (PCP)，正確部件的百分比

備注：做3D的問(wèn)題，需要掌握各個(gè)坐標(biāo)系間的轉(zhuǎn)換，如世界坐標(biāo)、相機(jī)坐標(biāo)、圖像坐標(biāo)等?？蓞⒖家韵聝善┪?/p>

監(jiān)督方法

深度圖、點(diǎn)云、網(wǎng)格、GAN、3D投影到2D

3D投影到2D

弱監(jiān)督: 不直接用標(biāo)簽，而用其他信息計(jì)算Loss

半監(jiān)督

自監(jiān)督

全監(jiān)督

視頻序列的優(yōu)點(diǎn)

當(dāng)前幀有遮擋的時(shí)候，可利用相鄰幀的完整性解決這個(gè)問(wèn)題

由于單獨(dú)預(yù)測(cè)每個(gè)幀的3D姿態(tài)時(shí)，每個(gè)幀中的結(jié)果與其他幀無(wú)關(guān)，會(huì)導(dǎo)致輸出不連貫，帶有視頻抖動(dòng)

單張圖片包含的深度信息是有限的，網(wǎng)絡(luò)可以從序列中挖掘到更豐富的深度信息

一張2D圖片可以對(duì)應(yīng)無(wú)窮多個(gè)3D姿態(tài)，讓模型“多看”同個(gè)視角不同時(shí)間人的圖片，可以減少深度模糊性，縮小3D姿態(tài)的空間范圍

3D形態(tài)估計(jì)

問(wèn)題

人體姿態(tài)重建：從圖片或視頻中重建或恢復(fù)人體姿態(tài)的3D模型

3D形態(tài)的表示

網(wǎng)格: 由三角形組成的多邊形網(wǎng)格

深度圖: 每個(gè)像素值代表的是物體到相機(jī)xy平面的距離

體素: 三維空間中的一個(gè)有大小的點(diǎn)，一個(gè)小方塊，相當(dāng)于是三維空間中的像素

點(diǎn)云: ?某個(gè)坐標(biāo)系下的點(diǎn)的數(shù)據(jù)集。點(diǎn)包含了豐富的信息，包括三維坐標(biāo)xyz、顏色、分類(lèi)值、強(qiáng)度值、時(shí)間等

SMPL(A Skinned Multi-Person Linear Model)

輸入 (82): Shape??+ Pose

各個(gè)參數(shù)代表人體哪個(gè)部分？可參考“SMPL模型Shape和Pose參數(shù)”

輸出: Mesh

優(yōu)點(diǎn): 只需要估計(jì)少量的參數(shù)便可得到包含6890個(gè)頂點(diǎn)的高質(zhì)量的人體3D Mesh

可從3D Mesh中回歸得到，其中??為預(yù)先訓(xùn)練好的線性回歸器

3D Mesh: SMPL

3D Pose

可從3D Pose中使用相機(jī)內(nèi)參計(jì)算得到

2D Pose

編輯：黃飛

?