手勢(shì)是無聲的語言。人們?cè)谏钪薪栌檬謩?shì)，來表達(dá)各種各樣的感情。現(xiàn)在，人還可以與計(jì)算機(jī)之間進(jìn)行手勢(shì)互動(dòng)。 與人之間的手勢(shì)互動(dòng)很容易理解，與計(jì)算機(jī)之間是怎么實(shí)現(xiàn)的呢？ 手勢(shì)分割 想要使計(jì)算機(jī)識(shí)別人的手勢(shì)，首先得將手勢(shì)從背景中分割出來。因?yàn)橛?jì)算機(jī)采集手勢(shì)信息的同時(shí)，也會(huì)采集到手勢(shì)所處的場(chǎng)景信息。 手勢(shì)分割通常采用以下幾種方法： 用黑色或白色的墻壁做背景，著深顏色服裝，盡可能簡(jiǎn)化背景。要求人手戴上特殊的手套來強(qiáng)調(diào)手部也可，總之在環(huán)境上要突出顯示手部。 采集各種手勢(shì)在各個(gè)時(shí)刻、不同位置、不同比例的手型圖像，作為手勢(shì)匹配的模板，建立一個(gè)龐大的數(shù)據(jù)庫。 使用邊緣檢測(cè)，將手與背景分離開來。 手勢(shì)模型訓(xùn)練 計(jì)算機(jī)同人一樣，在識(shí)別一個(gè)手勢(shì)前，必須先告訴它這個(gè)手勢(shì)是什么，代表什么意思。 這個(gè)過程就是手勢(shì)建模。模型的選取取決于具體應(yīng)用，如果要實(shí)現(xiàn)自然的人機(jī)交互，就必須建立一個(gè)精細(xì)有效的手勢(shì)模型，使得識(shí)別系統(tǒng)能夠?qū)τ脩羲龅慕^大多數(shù)手勢(shì)做出正確反應(yīng)。 目前，手勢(shì)建模方法可以歸結(jié)為兩大類：基于表觀的手勢(shì)建模和基于 3D 模型的手勢(shì)建模。 基于表觀的手勢(shì)建模是：根據(jù)手勢(shì)的指頭數(shù)以及指間的夾角不同，對(duì)手勢(shì)進(jìn)行分類，實(shí)現(xiàn)手勢(shì)在旋轉(zhuǎn)縮放條件下的快速識(shí)別。 基于 3D 模型的手勢(shì)建模方法是：首先合成人體的 3D 模型，然后改變模型的參數(shù)，直到模型和真實(shí)人體映射出同樣的視覺圖像，然后分析身體姿態(tài)。 基于表觀特征的手勢(shì)建模方式比較直觀、適應(yīng)性強(qiáng)、運(yùn)算速度快。但實(shí)際應(yīng)用中，需要考慮到光線及身體其他部位顏色的影響，這些因素都將直接影響手勢(shì)區(qū)域的提取。 基于 3D 模型的手勢(shì)建模識(shí)別精度比較高，避免了基于表觀特征識(shí)別時(shí)因遮擋造成的錯(cuò)誤識(shí)別。雖然 3D 建模技術(shù)已經(jīng)相當(dāng)成熟，但模型還是太復(fù)雜，以至于不能快速地渲染響應(yīng)。 因此大多數(shù)產(chǎn)品，如 Leap Motion 和 HoloLens 等，都采用了深度圖像信息和手勢(shì)表觀特征相結(jié)合的方式。這種方式既可以達(dá)到基于表觀的識(shí)別速度，又可以實(shí)現(xiàn)基于 3D 的識(shí)別精度。 手勢(shì)分析 對(duì)手勢(shì)進(jìn)行建模后，接下來需要對(duì)手勢(shì)進(jìn)行分析。手勢(shì)分析就是估計(jì)選定的手勢(shì)模型參數(shù)，這一步一般由特征檢測(cè)和參數(shù)估計(jì)組成。在特征檢測(cè)過程中，必須先確定人手位置。根據(jù)所用的線索不同，可以把定位技術(shù)分為基于顏色定位、基于運(yùn)動(dòng)定位以及多模式定位三種。 基于顏色定位技術(shù)的主要缺點(diǎn)是：在不同的光照條件下皮膚顏色變化較大，并且手和身體顏色相同，當(dāng)身體其他部位出現(xiàn)在手勢(shì)背景中，會(huì)導(dǎo)致識(shí)別錯(cuò)誤。解決這一問題的簡(jiǎn)單方法，就是佩戴一副特殊的手套。 基于運(yùn)動(dòng)的定位技術(shù)通常跟某些假設(shè)一起使用。例如，假設(shè)通常情況下只有一個(gè)人在做手勢(shì)，并且手勢(shì)者相對(duì)于背景的運(yùn)動(dòng)量很小，也就是說圖像中只有手部是運(yùn)動(dòng)的。 基于多模式定位技術(shù)，就是運(yùn)動(dòng)和顏色信息的融合定位人手。這種方式效果更加準(zhǔn)確，但是計(jì)算量會(huì)增大。 匹配 分析完手勢(shì)就等于把手勢(shì)分好了類，接下來只需要將讀取到的手勢(shì)信息，與這些分析結(jié)果相匹配，匹配過程就叫手勢(shì)識(shí)別。 手勢(shì)識(shí)別分為靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別。靜態(tài)手勢(shì)相當(dāng)于我們檢測(cè)視力時(shí)，對(duì)醫(yī)生做的表明方向手勢(shì)；動(dòng)態(tài)手勢(shì)相當(dāng)于籃球場(chǎng)上裁判員做的一些列手勢(shì)。 靜態(tài)手勢(shì)識(shí)別一般采用模板匹配方法來實(shí)現(xiàn)。通過一些相似準(zhǔn)則，實(shí)時(shí)地比較手勢(shì)與模板庫中預(yù)定義手勢(shì)的相似度，從而根據(jù)最大相似度來提取出手勢(shì)模板。 與靜態(tài)手勢(shì)不同，動(dòng)態(tài)手勢(shì)涉及時(shí)間及空間上下文。絕大多數(shù)動(dòng)態(tài)手勢(shì)被建模為手勢(shì)模型空間里的一條軌跡。不同用戶做手勢(shì)時(shí)存在的速率差異、熟練程度等問題，會(huì)使運(yùn)動(dòng)軌跡與模型軌跡產(chǎn)生較大偏差。 為了消除這一問題?，F(xiàn)有的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)可以分為三類：基于隱馬爾科夫模型（Hidden Markow Models，HMM）的識(shí)別，基于動(dòng)態(tài)時(shí)間規(guī)整（Dynamic Time Warping，DTW）的識(shí)別，基于壓縮時(shí)間軸的識(shí)別。 HMM 算法因具有自動(dòng)分割和分類能力，被廣泛應(yīng)用，以下例子能很好地說明這一算法的原理。 假設(shè)你有一個(gè)住得很遠(yuǎn)的朋友，他每天跟你打電話告訴你他那天做了什么。朋友僅僅對(duì)三種活動(dòng)感興趣：公園散步、購物以及清理房間。他選擇做什么事情只憑天氣。 盡管你對(duì)于他所住地方的天氣情況并不了解，但是你可以根據(jù)他今天所做的事情，來猜測(cè)天氣情況。這整個(gè)系統(tǒng)就是一個(gè)隱馬爾可夫模型 HMM。 在這個(gè)系統(tǒng)里，你知道的這個(gè)地區(qū)的天氣趨勢(shì)以及朋友在做的事情，這些就是隱馬爾可夫模型里的參數(shù)，它們是已知的。而手勢(shì)可以描述為一系列由方向向量構(gòu)成的系列，相近向量可以用一個(gè)符號(hào)來描述。如下圖所示： 我們可以識(shí)別手指的位置，然后根據(jù) HMM 模型去猜測(cè)軌跡，通過軌跡即可分析手勢(shì)的意思。 本文配圖來自 Google 題圖來源：YouTube 轉(zhuǎn)載于： (mbbeetchina)