大家好，這是一個(gè)樹莓派和OpenCV的連載專題。

使用樹莓派與OpenCV實(shí)現(xiàn)姿態(tài)估計(jì)和面部特征點(diǎn)追蹤

使用樹莓派與OpenCV實(shí)現(xiàn)面部和運(yùn)動(dòng)追蹤的云臺(tái)系統(tǒng)

使用樹莓派和OpenCV實(shí)現(xiàn)手部識(shí)別與手指識(shí)別

使用樹莓派和OpenCV實(shí)時(shí)掃描并存儲(chǔ)二維碼

使用樹莓派和OpenCV實(shí)現(xiàn)物體與動(dòng)物識(shí)別

使用樹莓派、攝像頭和OpenCV進(jìn)行速度檢測(cè)

今天是第一部分：使用樹莓派與OpenCV實(shí)現(xiàn)姿態(tài)估計(jì)和面部特征點(diǎn)追蹤

如果大家對(duì)這個(gè)專題感興趣，記得關(guān)注樹莓派開發(fā)者，這樣你將會(huì)第一時(shí)間收到我們的內(nèi)容更新通知。

考驗(yàn)?zāi)阌⒄Z(yǔ)聽力的時(shí)候到了，你可以選擇觀看視頻演示。

[更新——在OPEN-CV與新版樹莓派“Bullseye”操作系統(tǒng)完全兼容之前，我強(qiáng)烈建議現(xiàn)階段將先前的樹莓派“Buster”操作系統(tǒng)刷寫到Micro-SD卡上，以配合本指南使用——官方“Buster”鏡像下載鏈接在下方]

為了進(jìn)一步探索樹莓派在人工智能領(lǐng)域的全面知識(shí)，我自然而然地邁出了下一步，即利用強(qiáng)大的樹莓派單板計(jì)算機(jī)研究姿態(tài)識(shí)別（人體關(guān)鍵點(diǎn)檢測(cè)）和面部遮罩技術(shù)。

你是否曾好奇過Snapchat濾鏡是如何工作的？答案就三個(gè)字——面部特征點(diǎn)識(shí)別。面部特征點(diǎn)識(shí)別（遮罩）與面部識(shí)別有何不同？主要有兩點(diǎn)實(shí)際差異。面部遮罩追蹤會(huì)在你的整個(gè)面部創(chuàng)建點(diǎn)和線段（因此它能準(zhǔn)確知道你的眼睛相對(duì)于眉毛的位置），并且它只關(guān)注你的面部，別無他物。（而面部識(shí)別則會(huì)在你的頭部周圍畫一個(gè)框，并判定框內(nèi)的任何東西都是面部。它不知道你的下巴在哪里，還會(huì)把你身后的背景也當(dāng)作“人臉”。）另一方面，姿態(tài)估計(jì)則是利用機(jī)器學(xué)習(xí)模型，通過估計(jì)身體關(guān)鍵關(guān)節(jié)（稱為關(guān)鍵點(diǎn)）的空間位置，從圖像或視頻中估計(jì)人的姿態(tài)。

跟隨本指南，你將確切了解如何操作，從而在創(chuàng)客領(lǐng)域中建立一個(gè)適合你特定項(xiàng)目的類似系統(tǒng)。請(qǐng)參見以下指南內(nèi)容：

你需要準(zhǔn)備什么

初始設(shè)置與安裝流程

功能完備的姿態(tài)追蹤腳本

功能完備的面部遮罩腳本

接下來做什么（GPIO控制和其他應(yīng)用）

在樹莓派“Buster”操作系統(tǒng)上設(shè)置Open-CV

下載腳本

以下是一張圖片，展示了在樹莓派“Buster”操作系統(tǒng)上運(yùn)行姿態(tài)追蹤和面部遮罩軟件時(shí)的情景，使用的是樹莓派4 Model B、高質(zhì)量攝像頭模塊和5毫米鏡頭。

在本頁(yè)底部，你可以找到將Open-CV安裝到樹莓派上的流程。這里探索的所有腳本都將使用Python編程語(yǔ)言（如果你需要，可以來參加Python研討會(huì)）。OpenCV和MediaPipe共同協(xié)作，使腳本得以運(yùn)行。MediaPipe及其創(chuàng)建的TensorFlow使我們能夠?qū)崿F(xiàn)姿態(tài)檢測(cè)和面部特征點(diǎn)檢測(cè)算法。MediaPipe擁有最強(qiáng)大的面部特征點(diǎn)數(shù)據(jù)集，可在樹莓派上運(yùn)行。

你需要準(zhǔn)備什么

以下是一份清單，列出了你需要快速搭建并運(yùn)行本系統(tǒng)所需的組件。

樹莓派4 Model B（樹莓派提供的額外計(jì)算能力對(duì)這項(xiàng)任務(wù)非常有幫助，但此設(shè)置也適用于樹莓派3 Model B，只是速度會(huì)稍慢一些）

樹莓派高質(zhì)量攝像頭和攝像頭鏡頭（你也可以使用樹莓派官方攝像頭模塊V2）

Micro SD卡

電源

顯示器

HDMI線

鼠標(biāo)和鍵盤

初始設(shè)置與安裝流程

將樹莓派作為臺(tái)式計(jì)算機(jī)連接，并連接到顯示器、鼠標(biāo)和鍵盤。確保樹莓派攝像頭已正確安裝在插槽中，且排線方向正確，然后啟動(dòng)下面將介紹的Open-CV安裝流程。完成此流程后，你將在全新版本的樹莓派“Buster”操作系統(tǒng)上安裝好Open-CV。然后，打開樹莓派配置菜單（通過左上角的菜單并滾動(dòng)至首選項(xiàng)找到），并在接口選項(xiàng)卡下啟用攝像頭。啟用后，重啟樹莓派以使更改生效。設(shè)置位置請(qǐng)參見下圖。

完成上述步驟后，下一步是使用屏幕左上角的黑色按鈕打開一個(gè)新的終端。下面你可以看到在樹莓派“Buster”桌面上打開終端時(shí)的樣子，圖中有一個(gè)大箭頭指向用鼠標(biāo)點(diǎn)擊以打開終端的圖標(biāo)。

現(xiàn)在，我們將在終端窗口中逐行輸入以下命令以安裝必要的軟件包。當(dāng)需要你繼續(xù)安裝這些軟件包時(shí)，請(qǐng)按鍵盤上的 | Y | 鍵。

sudo apt-getupdate&&sudo apt-getupgradesudo apt-getinstall python-opencv python3-opencv opencv-datasudo pip3 install mediapipe-rpi3sudo pip3 install mediapipe-rpi4sudo pip3 install gttssudo apt install mpg321

功能完備的姿態(tài)追蹤腳本

完成上述步驟后，讓我們開始吧。以下是我們將用于搭建姿態(tài)追蹤系統(tǒng)的腳本。請(qǐng)?jiān)诒卷?yè)底部找到并下載它。運(yùn)行時(shí)，它將識(shí)別人體。當(dāng)識(shí)別人體后，它將在識(shí)別出的人體的重要關(guān)節(jié)和面部放置點(diǎn)。這些點(diǎn)也被稱為特征點(diǎn)，每個(gè)點(diǎn)都有關(guān)聯(lián)的X、Y坐標(biāo)。這意味著，與樹莓派手部追蹤非常相似，你將能夠識(shí)別出某些關(guān)節(jié)是在其他關(guān)節(jié)的上方還是下方。這種變化可以用作計(jì)數(shù)器來追蹤特定動(dòng)作。

#Import all important functionalityimportcv2importmediapipeasmp#Start cv2 video capturing through CSI portcap=cv2.VideoCapture(0)#Initialise Media Pipe Pose featuresmp_pose=mp.solutions.posempDraw=mp.solutions.drawing_utilspose=mp_pose.Pose()#Start endless loop to create video frame by frame Add details about video size and image post-processing to better identify bodieswhileTrue: ret,frame=cap.read() flipped=cv2.flip(frame,flipCode=1) frame1 = cv2.resize(flipped,(640,480)) rgb_img=cv2.cvtColor(frame1,cv2.COLOR_BGR2RGB) result=pose.process(rgb_img) #Print general details about observed body print(result.pose_landmarks)
#Uncomment below to see X,Y coordinate Details on single location in this case the Nose Location.
#try: # print('X Coords are', result.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE].x * 640) # print('Y Coords are', result.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE].y * 480) #except: # pass
#Draw the framework of body onto the processed image and then show it in the preview window mpDraw.draw_landmarks(frame1,result.pose_landmarks,mp_pose.POSE_CONNECTIONS) cv2.imshow("frame",frame1)
#At any point if the | q | is pressed on the keyboard then the system will stop key = cv2.waitKey(1) &0xFF ifkey ==ord("q"): break

運(yùn)行上述腳本時(shí)，打開的預(yù)覽窗口如下所示。它將在它認(rèn)為能看到人體的地方創(chuàng)建一個(gè)框架并覆蓋上去。值得注意的是，此腳本還能識(shí)別你頭部上的面部和眼睛的大致位置。它還會(huì)向shell輸出一個(gè)表示可見度的數(shù)字（介于0和1之間）。如果只看到你的身體的一部分，那么這個(gè)可見度數(shù)字可能約為0.1。

與我們?cè)凇稑漭墒植孔R(shí)別》的這一部分中看到的如何識(shí)別并獲取人手上特定關(guān)節(jié)的實(shí)時(shí)X-Y數(shù)據(jù)點(diǎn)類似，我們也可以在這里對(duì)身體部位進(jìn)行同樣的操作。請(qǐng)參見下圖，該圖展示了MediaPipe在代碼中如何對(duì)人體的每個(gè)部位進(jìn)行標(biāo)記和編號(hào)。因此，如果你想知道某個(gè)人的鼻子的確切X、Y坐標(biāo)，你可以使用索引號(hào) | 0 | 或通過其全名 | NOSE | 來引用。因此，如果你取上述腳本，取消注釋特定部分，然后保存并運(yùn)行它，它將向shell輸出任何識(shí)別出的鼻子的X和Y坐標(biāo)。有趣的是，它甚至似乎能在鼻子不在屏幕上時(shí)預(yù)測(cè)其位置。

功能完備的面部遮罩腳本

以下是我們將用于搭建面部遮罩系統(tǒng)的腳本。請(qǐng)?jiān)诒卷?yè)底部找到并下載它。這將識(shí)別人臉，并在識(shí)別出的人臉上繪制大量點(diǎn)。這些點(diǎn)（也稱為特征點(diǎn)）都有關(guān)聯(lián)的X、Y坐標(biāo)。這個(gè)深度學(xué)習(xí)系統(tǒng)擁有的特征點(diǎn)比68個(gè)面部特征點(diǎn)還要多（實(shí)際上有468個(gè)點(diǎn)），并且在樹莓派4 Model B上的幀率超過10 FPS。

importcv2importsys, timeimportmediapipe as mpmp_drawing= mp.solutions.drawing_utilsmp_face_mesh= mp.solutions.face_mesh# For static images:drawing_spec= mp_drawing.DrawingSpec(thickness=1, circle_radius=1)face_mesh= mp_face_mesh.FaceMesh(static_image_mode=True, max_num_faces=1, min_detection_confidence=0.5)defget_face_mesh(image): results= face_mesh.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB)) # Print and draw face mesh landmarks on the image. ifnot results.multi_face_landmarks: returnimage annotated_image= image.copy() forface_landmarks in results.multi_face_landmarks: #print(' face_landmarks:', face_landmarks) mp_drawing.draw_landmarks( image=annotated_image, landmark_list=face_landmarks, connections=mp_face_mesh.FACEMESH_CONTOURS, landmark_drawing_spec=drawing_spec, connection_drawing_spec=drawing_spec) #print('%d facemesh_landmarks'%len(face_landmarks.landmark)) returnannotated_image

font= cv2.FONT_HERSHEY_SIMPLEX cap= cv2.VideoCapture(0)if(cap.isOpened() == False): print("Unable to read camera feed")
cap.set(cv2.CAP_PROP_FRAME_WIDTH,640)cap.set(cv2.CAP_PROP_FRAME_HEIGHT,480)whilecap.isOpened(): s= time.time() ret, img = cap.read() ifret == False: print('WebCAM Read Error') sys.exit(0)
annotated= get_face_mesh(img) e= time.time() fps=1/ (e - s) cv2.putText(annotated, 'FPS:%5.2f'%(fps), (10,50), font, fontScale =1, color = (0,255,0), thickness =1) cv2.imshow('webcam', annotated) key= cv2.waitKey(1) ifkey ==27: #ESC breakcap.release()

運(yùn)行上述腳本時(shí)，如果它能看到人臉，那么實(shí)時(shí)預(yù)覽窗口如下所示。它將在它認(rèn)為是一張臉的地方覆蓋上一個(gè)完整的映射框架。

接下來做什么（GPIO控制和其他應(yīng)用）

你可以對(duì)這兩個(gè)腳本進(jìn)行多種拓展。你可以“教”系統(tǒng)識(shí)別俯臥撐或肱二頭肌彎舉的動(dòng)作（基于這些動(dòng)作中哪些關(guān)節(jié)在上方和下方），然后使用姿態(tài)追蹤來記錄你做了多少次。你還可以根據(jù)可見度因素確保某人仍然在攝像頭前，如果他們?cè)噲D躲開攝像頭，系統(tǒng)可以觸發(fā)警報(bào)。你還可以創(chuàng)建一個(gè)“改善你的姿勢(shì)”提醒機(jī)器。每當(dāng)你開始彎腰時(shí)，一個(gè)煩人的蜂鳴器就會(huì)響起，迫使你坐直。此外，如果你想從姿態(tài)追蹤系統(tǒng)中獲取更多三維數(shù)據(jù)，可以看看PoseNet架構(gòu)。3D PoseNet可以從連接的2D姿態(tài)和深度特征中預(yù)測(cè)3D姿態(tài)。

面部遮罩腳本可以拓展以實(shí)現(xiàn)各種功能。虛擬主播（vtubers）歡呼吧，你可以創(chuàng)建自定義Snapchat濾鏡。你還可以使用此設(shè)置進(jìn)行基本的情緒檢測(cè)。這樣，如果樹莓派檢測(cè)到你情緒低落，它可以播放你最喜歡的曲子來讓你振作起來！或者你可以創(chuàng)建一個(gè)防瞌睡檢測(cè)樹莓派系統(tǒng)以提高安全性。通過關(guān)注眼睛之間的距離（上下），你可以跟蹤自己有多困。無論你做什么，希望這能激發(fā)你創(chuàng)作一些有創(chuàng)意的樹莓派項(xiàng)目！

那么，面部特征點(diǎn)識(shí)別與面部識(shí)別有何不同呢？面部遮罩的感興趣區(qū)域要緊密和準(zhǔn)確得多。面部遮罩只關(guān)注你的面部，別無他物。這意味著面部遮罩可以用來確定你頭部的方向，而面部識(shí)別只能以一定的置信度告訴你，在其邊界框內(nèi)的某個(gè)地方有一張臉。因此，面部識(shí)別無法確定邊界框內(nèi)哪些是背景，哪些是人臉。

在樹莓派“Buster”操作系統(tǒng)上設(shè)置OPEN-CV

以下是一個(gè)詳細(xì)流程，指導(dǎo)你在樹莓派上安裝Open-CV，以便與上面討論的姿態(tài)和面部遮罩追蹤腳本配合使用。很快，我將創(chuàng)建一個(gè)腳本/單獨(dú)的教程來簡(jiǎn)化此流程。打開一臺(tái)運(yùn)行在Micro-SD卡上的全新版本樹莓派“Buster”操作系統(tǒng)的樹莓派4 Model B，并將系統(tǒng)連接到互聯(lián)網(wǎng)。

通過按左上角的終端按鈕打開終端。將每個(gè)命令復(fù)制并粘貼到樹莓派的終端中，按Enter鍵，并等待其完成后再繼續(xù)下一個(gè)命令。如果提示“你想繼續(xù)嗎？（y/n）”，請(qǐng)按Y鍵，然后按Enter鍵繼續(xù)。

sudo apt-getupdate&&sudo apt-getupgrade

在運(yùn)行下一組命令之前，我們必須擴(kuò)展交換文件。為此，在終端中輸入以下行。

sudo nano /etc/dphys-swapfile

將 CONF_SWAPSIZE = 100 上的數(shù)字更改為 CONF_SWAPSIZE=2048。完成此操作后，按Ctrl-X、Y，然后按Enter鍵保存這些更改。此更改只是暫時(shí)的，完成此操作后你應(yīng)該將其改回。為了使這些更改生效，我們必須通過向終端輸入以下命令來重啟交換文件。然后，我們將恢復(fù)正常輸入終端命令。

sudo apt-get install build-essential cmake pkg-configsudo apt-get install libjpeg-dev libtiff5-dev libjasper-dev libpng12-devsudo apt-get install libavcodec-dev libavformat-dev libswscale-dev libv4l-devsudo apt-get install libxvidcore-dev libx264-devsudo apt-get install libgtk2.0-dev libgtk-3-devsudo apt-get install libatlas-base-dev gfortransudo pip3 install numpywget -O opencv.zip https://github.com/opencv/opencv/archive/4.4.0.zipwget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.4.0.zipunzip opencv.zipunzip opencv_contrib.zipcd~/opencv-4.4.0/mkdirbuildcdbuildcmake -D CMAKE_BUILD_TYPE=RELEASE \ -D CMAKE_INSTALL_PREFIX=/usr/local \ -D INSTALL_PYTHON_EXAMPLES=ON \ -D OPENCV_EXTRA_MODULES_PATH=~/opencv_contrib-4.4.0/modules \ -D BUILD_EXAMPLES=ON ..make -j $(nproc)

這個(gè)∣make∣命令將需要超過一個(gè)小時(shí)來安裝，并且不會(huì)有任何指示表明還需要多長(zhǎng)時(shí)間。它也可能會(huì)凍結(jié)顯示器。請(qǐng)耐心等待，它會(huì)正常工作的。一旦完成，你就完成了大部分工作。如果它在任何時(shí)候失敗，你會(huì)收到類似∣make:???[Makefileall]Error2∣的消息，只需重新輸入并輸入上面的行∣make?j(nproc) |。不要害怕，它會(huì)記住所有已經(jīng)完成的工作，并從停止的地方繼續(xù)。一旦完成，我們將繼續(xù)輸入終端命令。

sudomake install && sudo ldconfigsudo reboot

原文地址：

https://core-electronics.com.au/guides/raspberry-pi/pose-and-face-landmark-raspberry-pi/