計(jì)算機(jī)視覺中手語識別研究

手語識別的目的就是通過計(jì)算機(jī)提供一種有效的、準(zhǔn)確的機(jī)制將聾啞人常用的手語手勢識別出來，使得他們與健全人之間的交互變得更方便、快捷。同時(shí)，手語識別的應(yīng)用還可以提供更自然的人機(jī)交互方式，方便聾啞人對計(jì)算機(jī)等常用信息設(shè)備的使用。目前手語識別可以分為基于視覺（圖像）的識別系統(tǒng)和基于數(shù)據(jù)手套（佩戴式設(shè)備）的識別系統(tǒng)?；谝曈X的手勢識別系統(tǒng)采用常見的視頻采集設(shè)備作為手勢感知輸入設(shè)備，價(jià)格便宜、便于安裝。鑒于基于視覺的手勢識別方法交互自然便利，適于普及應(yīng)用，且更能反映機(jī)器模擬人類視覺的功能，所以目前是手勢識別的研究重點(diǎn)。

手語識別的研究開始于1982年，Shantz和Poizner實(shí)現(xiàn)了一個(gè)合成美國手語的計(jì)算機(jī)程序。之后，中國、美國、日本、德國等許多國家都進(jìn)行了自己國家的手語識別與合成研究，并取得了許多重要的研究成果。Triesch和Malsburg開發(fā)了一種彈性圖模板匹配技術(shù)對復(fù)雜背景下的手形進(jìn)行分類，在相對復(fù)雜的背景下的識別率達(dá)到86.2%。Davis和Shah將戴上指間具有高亮標(biāo)記的視覺手套的手勢作為系統(tǒng)的輸入，可識別7種手勢。Starner等在對美國手語中帶有詞性的40個(gè)詞匯隨機(jī)組成的短句子識別率達(dá)到99.2%。Yang等人采用7Hu不變矩特征量進(jìn)行手語字母識別，最好識別率為90%。

在圖像特征提取方面，為了能夠同時(shí)表征圖像的全局特性和局部特性，需要同時(shí)提取圖像的全局特征和局部特征，并且這些特征中用以描述圖像整體形狀的特征應(yīng)當(dāng)具備平移、旋轉(zhuǎn)和尺度不變性。SIFT（Scale Invariant Feature Transform）是一種對尺度空間、圖像縮放、旋轉(zhuǎn)甚至仿射不變的圖像局部特征描述算子;而7Hu不變矩特征量具有平移、旋轉(zhuǎn)和尺度不變性的特點(diǎn)，具有很好的穩(wěn)定性，適合描述目標(biāo)整體形狀。

數(shù)據(jù)堂自制版權(quán)的系列數(shù)據(jù)集產(chǎn)品為“手勢識別”這一技術(shù)路徑的實(shí)現(xiàn)提供了強(qiáng)有力的支持。

1314,178張18種手勢識別數(shù)據(jù)

314,178張18種手勢識別數(shù)據(jù)涵蓋多種場景、18種手勢、5種拍攝角度、多年齡段、多種光照條件。在標(biāo)注方面，標(biāo)注21關(guān)鍵點(diǎn)（每個(gè)關(guān)鍵點(diǎn)有可見不可見屬性）、手勢類別和手勢屬性。314,178張18種手勢識別數(shù)據(jù)可用于手勢識別、人機(jī)交互等任務(wù)。

基于線性核函數(shù)的SVM平均識別率為95.556%，基于徑向基核函數(shù)的SVM平均識別率為83.1282%。實(shí)驗(yàn)表明，采用徑向基核函數(shù)的SVM識別率普遍低于采用線性核函數(shù)的SVM。

本文提出了一種采用7Hu不變矩特征量等多種圖像特征相融合的SVMs手語識別方法。實(shí)驗(yàn)表明，在手語識別中，采用圖像全局和局部特征相結(jié)合的方法，可獲得較高的識別率，為手語識別方法的早日推廣應(yīng)用提供了理論依據(jù)。

審核編輯黃宇