基于深度學(xué)習(xí)的人臉識(shí)別與檢測(cè)方案

　　一、項(xiàng)目介紹前言

　　人臉識(shí)別作為一種生物特征識(shí)別技術(shù)，具有非侵?jǐn)_性、非接觸性、友好性和便捷性等優(yōu)點(diǎn)。人臉識(shí)別通用的流程主要包括人臉檢測(cè)、人臉裁剪、人臉校正、特征提取和人臉識(shí)別。人臉檢測(cè)是從獲取的圖像中去除干擾，提取人臉信息，獲取人臉圖像位置，檢測(cè)的成功率主要受圖像質(zhì)量，光線強(qiáng)弱和遮擋等因素影響。下圖是整個(gè)人臉檢測(cè)過程。二、識(shí)別檢測(cè)方法傳統(tǒng)識(shí)別方法

　?。?）基于點(diǎn)云數(shù)據(jù)的人臉識(shí)別

　?。?）基于面部特征的3D人臉識(shí)別深度學(xué)習(xí)識(shí)別方法

　?。?）基于深度圖的人臉識(shí)別

　　（2）基于RGB-3DMM的人臉識(shí)別

　?。?）基于RGB-D的人臉識(shí)別本文方法關(guān)鍵點(diǎn)定位概述

　　一般人臉中有5個(gè)關(guān)鍵點(diǎn)，其中包括眼睛兩個(gè)，鼻子一個(gè)，嘴角兩個(gè)。還可以細(xì)致的分為68個(gè)關(guān)鍵點(diǎn)，這樣的話會(huì)概括的比較全面，我們本次研究就是68個(gè)關(guān)鍵點(diǎn)定位。上圖就是我們定位人臉的68個(gè)關(guān)鍵點(diǎn)，其中他的順序是要嚴(yán)格的進(jìn)行排序的。從1到68點(diǎn)的順序不能錯(cuò)誤。項(xiàng)目解析使用機(jī)器學(xué)習(xí)框架dlib做本次的項(xiàng)目。首先我們要指定參數(shù)時(shí)，要把dlib中的68關(guān)鍵點(diǎn)人臉定位找到。設(shè)置出來的68關(guān)鍵點(diǎn)人臉定位找到。并且設(shè)置出來。

　　from collecTIons import OrderedDict

　　import numpy as np

　　import argparse

　　import dlib

　　import cv2

　　首先我們導(dǎo)入工具包。其中dlib庫(kù)是通過這個(gè)網(wǎng)址http://dlib.net/files/進(jìn)行下載的。然后我們導(dǎo)入?yún)?shù)。

　　ap = argparse.ArgumentParser（）

　　ap.add_argument（“-p”， “--shape-predictor”， required=True，

　　help=“path to facial landmark predictor”）

　　ap.add_argument（“-i”， “--image”， required=True，

　　help=“path to input image”）

　　args = vars（ap.parse_args（））

　　這里我們要設(shè)置參數(shù)，--shape-predictor shape_predictor_68_face_landmarks.dat --image images/lanqiudui.jpg。

　　如果一張圖像里面有多個(gè)人臉，那么我們分不同部分進(jìn)行檢測(cè)，裁剪出來所對(duì)應(yīng)的ROI區(qū)域。我們的整體思路就是先檢測(cè)人臉?biāo)诘囊粋€(gè)區(qū)域位置，然后檢測(cè)鼻子相對(duì)于人臉框所在的一個(gè)位置，比如說人的左眼睛在0.2w，0.2h的人臉框處。

　　FACIAL_LANDMARKS_68_IDXS = OrderedDict（［

　?。ā癿outh”，（48， 68）），

　?。ā皉ight_eyebrow”，（17， 22）），

　?。ā發(fā)eft_eyebrow”，（22， 27）），

　　（“right_eye”，（36， 42）），

　　（“l(fā)eft_eye”，（42， 48）），

　?。ā皀ose”，（27， 36）），

　?。ā癹aw”，（0， 17））

　　］）

　　這個(gè)是68個(gè)關(guān)鍵點(diǎn)定位的各個(gè)部位相對(duì)于人臉框的所在位置。分別對(duì)應(yīng)著嘴，左眼、右眼、左眼眉、右眼眉、鼻子、下巴。

　　FACIAL_LANDMARKS_5_IDXS = OrderedDict（［

　?。ā皉ight_eye”，（2， 3）），

　?。ā發(fā)eft_eye”，（0， 1）），

　　（“nose”，（4））

　?。荩?/p>

　　如果是5點(diǎn)定位，那么就需要定位左眼、右眼、鼻子。0、1、2、3、4分別表示對(duì)應(yīng)的5個(gè)點(diǎn)。

　　detector = dlib.get_frontal_face_detector（）

　　predictor = dlib.shape_predictor（args［“shape_predictor”］）

　　加載人臉檢測(cè)與關(guān)鍵點(diǎn)定位。加載出來。其中detector默認(rèn)的人臉檢測(cè)器。然后通過傳入?yún)?shù)返回人臉檢測(cè)矩形框4點(diǎn)坐標(biāo)。其中predictor以圖像的某塊區(qū)域?yàn)檩斎?，輸出一系列的點(diǎn)（point locaTIon）以表示此圖像region里object的姿勢(shì)pose。返回訓(xùn)練好的人臉68特征點(diǎn)檢測(cè)器。

　　image = cv2.imread（args［“image”］）

　?。╤， w） = image.shape［：2］

　　width=500

　　r = width / float（w）

　　dim = （width， int（h * r））

　　image = cv2.resize（image， dim， interpolaTIon=cv2.INTER_AREA）

　　gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）

　　這里我們把數(shù)據(jù)讀了進(jìn)來，然后進(jìn)行需處理，提取h和w，其中我們自己設(shè)定圖像的w為500，然后按照比例同比例設(shè)置h。然后進(jìn)行了resize操作，最后轉(zhuǎn)化為灰度圖。

　　rects = detector（gray， 1）

　　這里調(diào)用了detector的人臉框檢測(cè)器，要使用灰度圖進(jìn)行檢測(cè)，這個(gè)1是重采樣個(gè)數(shù)。這里面返回的是人臉檢測(cè)矩形框4點(diǎn)坐標(biāo)。然后對(duì)檢測(cè)框進(jìn)行遍歷

　　for （i， rect） in enumerate（rects）：

　　# 對(duì)人臉框進(jìn)行關(guān)鍵點(diǎn)定位

　　# 轉(zhuǎn)換成ndarray

　　shape = predictor（gray， rect）

　　shape = shape_to_np（shape）

　　這里面返回68個(gè)關(guān)鍵點(diǎn)定位。shape_to_np這個(gè)函數(shù)如下。

　　def shape_to_np（shape， dtype=“int”）：

　　# 創(chuàng)建68*2

　　coords = np.zeros（（shape.num_parts， 2）， dtype=dtype）

　　# 遍歷每一個(gè)關(guān)鍵點(diǎn)

　　# 得到坐標(biāo)

　　for i in range（0， shape.num_parts）：

　　coords［i］ = （shape.part（i）.x， shape.part（i）.y）

　　return coords

　　這里shape_to_np函數(shù)的作用就是得到關(guān)鍵點(diǎn)定位的坐標(biāo)。

　　for （name，（i， j）） in FACIAL_LANDMARKS_68_IDXS.items（）：

　　clone = image.copy（）

　　cv2.putText（clone， name，（10， 30）， cv2.FONT_HERSHEY_SIMPLEX，

　　0.7，（0， 0， 255）， 2）

　　# 根據(jù)位置畫點(diǎn)

　　for （x， y） in shape［i:j］：

　　cv2.circle（clone，（x， y）， 3，（0， 0， 255）， -1）

　　# 提取ROI區(qū)域

　　（x， y， w， h） = cv2.boundingRect（np.array（［shape［i:j］］））

　　roi = image［y:y + h， x:x + w］

　?。╤， w） = roi.shape［：2］

　　width=250

　　r = width / float（w）

　　dim = （width， int（h * r））

　　roi = cv2.resize（roi， dim， interpolaTIon=cv2.INTER_AREA）

　　# 顯示每一部分

　　cv2.imshow（“ROI”， roi）

　　cv2.imshow（“Image”， clone）

　　cv2.waitKey（0）

　　這里字典FACIAL_LANDMARKS_68_IDXS.items（）是同時(shí)提取字典中的key和value數(shù)值。然后遍歷出來這幾個(gè)區(qū)域，并且進(jìn)行顯示具體是那個(gè)區(qū)域，并且將這個(gè)區(qū)域畫圓。隨后提取roi區(qū)域并且進(jìn)行顯示。后面部分就是同比例顯示w和h。然后展示出來。

　　output = visualize_facial_landmarks（image， shape）

　　cv2.imshow（“Image”， output）

　　cv2.waitKey（0）

　　最后展示所有區(qū)域。其中visualize_facial_landmarks函數(shù)就是：

　　def visualize_facial_landmarks（image， shape， colors=None， alpha=0.75）：

　　# 創(chuàng)建兩個(gè)copy

　　# overlay and one for the final output image

　　overlay = image.copy（）

　　output = image.copy（）

　　# 設(shè)置一些顏色區(qū)域

　　if colors is None：

　　colors = ［（19， 199， 109），（79， 76， 240），（230， 159， 23），

　?。?68， 100， 168），（158， 163， 32），

　　（163， 38， 32），（180， 42， 220）］

　　# 遍歷每一個(gè)區(qū)域

　　for （i， name） in enumerate（FACIAL_LANDMARKS_68_IDXS.keys（））：

　　# 得到每一個(gè)點(diǎn)的坐標(biāo)

　?。╦， k） = FACIAL_LANDMARKS_68_IDXS［name］

　　pts = shape［j:k］

　　# 檢查位置

　　if name == “jaw”：

　　# 用線條連起來

　　for l in range（1， len（pts））：

　　ptA = tuple（pts［l - 1］）

　　ptB = tuple（pts［l］）

　　cv2.line（overlay， ptA， ptB， colors［i］， 2）

　　# 計(jì)算凸包

　　else：

　　hull = cv2.convexHull（pts）

　　cv2.drawContours（overlay，［hull］， -1， colors［i］， -1）

　　# 疊加在原圖上，可以指定比例

　　cv2.addWeighted（overlay， alpha， output， 1 - alpha， 0， output）

　　return output

　　這個(gè)函數(shù)是計(jì)算cv2.convexHull凸包的，也就是下圖這個(gè)意思。這個(gè)函數(shù)cv2.addWeighted是做圖像疊加的。

　　src1， src2：需要融合疊加的兩副圖像，要求大小和通道數(shù)相等 alpha：src1 的權(quán)重 beta：src2 的權(quán)重 gamma：gamma 修正系數(shù)，不需要修正設(shè)置為 0 dst：可選參數(shù)，輸出結(jié)果保存的變量，默認(rèn)值為 None dtype：可選參數(shù)，輸出圖像數(shù)組的深度，即圖像單個(gè)像素值的位數(shù)（如 RGB 用三個(gè)字節(jié)表示，則為 24 位），選默認(rèn)值 None 表示與源圖像保持一致。 dst = src1 × alpha + src2 × beta + gamma;上面的式子理解為，結(jié)果圖像 = 圖像 1× 系數(shù) 1+圖像 2× 系數(shù) 2+亮度調(diào)節(jié)量。

　　編輯：黃飛

閱讀全文