今天非常榮幸地向各位小伙伴分享一個(gè)由共創(chuàng)社成員完成的遠(yuǎn)程監(jiān)測及人臉識別項(xiàng)目，該項(xiàng)目依托ELF 1開發(fā)板為核心硬件平臺(tái)，構(gòu)建了一套完整的視頻監(jiān)控系統(tǒng)，并在此基礎(chǔ)上集成了人臉識別功能。接下來，就為各位小伙伴詳盡展示這一項(xiàng)目的相關(guān)細(xì)節(jié)。

項(xiàng)目實(shí)現(xiàn)步驟

1.視頻監(jiān)控

這一步驟中需要實(shí)現(xiàn)兩個(gè)程序：

（1）在連接攝像頭的ELF 1開發(fā)板上實(shí)現(xiàn)一個(gè)服務(wù)器程序：它一邊讀取攝像頭數(shù)據(jù)，一邊等待客戶端連接并發(fā)送數(shù)據(jù)?？梢杂脙蓚€(gè)線程實(shí)現(xiàn)，一個(gè)負(fù)責(zé)采集圖像信息；一個(gè)負(fù)責(zé)等待鏈接，并發(fā)送數(shù)據(jù)。

（2）在手機(jī)或電腦上，編寫客戶端程序，它會(huì)從ELF 1開發(fā)板上獲得數(shù)據(jù)并顯示出來。同樣，也可以用兩個(gè)線程來實(shí)現(xiàn)。一個(gè)負(fù)責(zé)接受數(shù)據(jù)，一個(gè)負(fù)責(zé)顯示數(shù)據(jù)。這2個(gè)程序之間，并不需要實(shí)現(xiàn)復(fù)雜的協(xié)議。

MJPG‐streamer是一個(gè)開源軟件。MJPG-streamer從Linux UVC兼容的網(wǎng)絡(luò)攝像頭、文件系統(tǒng)或其他輸入插件獲取JPG，并通過HTTP、RTSP、UDP等將其作為M-JPEG流式傳輸?shù)絎ebBrowser、VLC和其他軟件。

MJPG-streamer 需要很少的CPU和內(nèi)存資源就可以工作，大部分編碼工作都是攝像頭完成的，所以對于內(nèi)存和性能都有限的嵌入式系統(tǒng)十分適用。

將MJPG-streamer移植并運(yùn)行在ARM板上，在同一局域網(wǎng)內(nèi)的設(shè)備輸入正確的ip地址即可直接觀看到視頻畫面。對ARM板的性能要求不高，主頻200MHz的ARM芯片也能實(shí)現(xiàn)。

下載MJPG-streamer：

git clone https://github.com/shrkey/mjpg-streamer

啟動(dòng)MJPG-streamer后，輸入ip地址以及端口號即可看到攝像頭內(nèi)容如下圖：

同時(shí)后續(xù)人臉識別功能中需要能夠從視屏流中提取出照片，需要修改MJPG-streamer源碼，使其支持拍照功能。具體修改如下：

修改完成之后只要向有名管道/tmp/webcom寫入相應(yīng)的字符串就能實(shí)現(xiàn)拍照功能。

# cd mjpg-streamer-rc63/plugins/output_file # vim output_file.c //在96行 函數(shù) void*worker_thread(void *arg) 體中加入以下代碼： charbuf[10]; // intflags = 0; // intfd_com = 0; //打開管道 stop_num = 0; //拍照計(jì)數(shù) if ( access(“/tmp/webcom”,F_OK) < 0 ) //創(chuàng)建有名管道用于接收拍照命令 { if ( mkfifo(“/tmp/webcom”,0666 ) < 0) { Printf(“ photo fifo create failed\n”); } } fd_com = open (“/tmp/webcom”,O_RDONLY,0666); if (fd < 0) { perror (“open the file webcom error”); } //在while( ok >= 0 && !pglobal->stop){ 后加入 if (flags == 0) { while(1) { reade(fd_com,buf,sizeof(buf)); if(strncmp(buf,”danger”,6) == 0) //拍11張照片 { flags = 1; bzero(buf,sizeof(buf)); break; } if(strncmp(buf,”one”,3) == 0) //拍1張照片 { flags = 2; bzero(buf,sizeof(buf)); break; } } } //在if (delay > 0){ usleep(1000*delay); }后加入 stop_num++ if(flags == 1) //判斷拍照的數(shù)量 { if ( stop_num > 9) { stop_num= 0; flsgs= 0; } } elseif (flags == 2) { stop_num= 0; flags= 0; }

2.人臉檢測

'haarcascade_frontalface_default.xml'是Opencv中已經(jīng)訓(xùn)練好的人臉分類器文件。它是基于Haar特征的級聯(lián)分類器，可以用于檢測正面的人臉。該文件是通過大量的正負(fù)樣本訓(xùn)練而成，可以用于人臉檢測的應(yīng)用中。具體調(diào)用代碼如下：

#! user/bin/python #- * -coding:UTF-8 - * - import cv2 import numpy as np def myfilter(img): # 圖像轉(zhuǎn)化為灰度格式 gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) # 導(dǎo)入人臉級聯(lián)分類器引擎，'xml'文件包含訓(xùn)練好的人臉特征 face_cascade=cv2.CascadeClassifier(' \ /home/xuyang/test1/haarcascade_frontalface_default.xml') #為防止報(bào)錯(cuò)使用該文件在opencv下的絕對路徑 # 用人臉級聯(lián)分類器引擎進(jìn)行人臉識別，返回的faces為人臉坐標(biāo)列表 faces = face_cascade.detectMultiScale(gray) return faces def myfaces_count(img,faces): count = 0 #人臉計(jì)數(shù)初值 # 對每張臉，操作如下 for (x,y,w,h) in faces: '''畫矩形圈出人臉 輸入?yún)?shù)依次為：圖片，右上角的點(diǎn)坐標(biāo)，矩形大小，線條顏色，寬度 ''' cv2.rectangle(img,(x,y),(x+w,y+h),(255,255,255),2) count += 1 # 累計(jì)人數(shù) # 把統(tǒng)計(jì)人數(shù)顯示出來 cv2.putText(img,'{}'.format(count),(x,y-7),3,1.2,(0,0,255),2) return img #打開mjpg-streamer視頻流（通過URL） #cap = cv2.VideoCapture('http://192.168.106.128:8080/?action=stream') #打開視頻 cap = cv2.VideoCapture('video.mp4') y = 0 #獲取視頻相關(guān)數(shù)據(jù)以便于保存視頻 width = int(cap.get(3)) height = int(cap.get(4)) fps = cap.get(5) fourcc = cv2.VideoWriter_fourcc(*'MJPG') output_file = 'output_video.mp4' video_writer = cv2.VideoWriter(output_file,fourcc,fps,(width,height),isColor = True) while True: # 讀取每一幀圖像 ret, frame = cap.read() if not ret: break if y == 0: faces = myfilter(frame) #人臉識別特征每10次循環(huán)做一次 不然運(yùn)行速度太慢了 y = y + 1 if y == 10: y =0 frame = myfaces_count(frame,faces) # 在窗口上顯示當(dāng)前幀的圖像 cv2.imshow("Frame", frame) video_writer.write(frame) #保存視頻 # 按下 'q' 退出循環(huán) if cv2.waitKey(1) & 0xFF == ord('q'): break # 關(guān)閉所有窗口及釋放對象 cap.release() video_writer.release() cv2.destroyAllWindows()

3.人臉識別

鑒于開發(fā)板運(yùn)行人臉檢測模型已經(jīng)有一定的運(yùn)算壓力，同時(shí)為了豐富項(xiàng)目內(nèi)容，人臉識別部分我們通過傳送照片在云端完成。

本文通過libcurl庫調(diào)用云端API實(shí)現(xiàn)人臉識別。需要libcurl庫支持https協(xié)議。要讓LibCurl庫支持https協(xié)議實(shí)現(xiàn)人臉識別，就需要安裝移植Openssl這個(gè)庫。此篇人臉識別介紹主要目的是判斷兩張人臉圖片的相似程度或者接近程度。安裝移植LibCurl庫和Openssl庫不多贅述。

首先是注冊一個(gè)OCR云識別平臺(tái)賬號如圖：

詢對應(yīng)平臺(tái)的API和接口地址：

下面是調(diào)用人臉識別API的代碼：

#include #include #include #include #include #include #include #include #include typedef unsigned int bool; #define true 1 #define false 0 char buf[1024]={'\0'}; size_t readData(void *ptr, size_t size, size_t nmemb, void *stream) { strncpy(buf,ptr,1024); } char* getPic(char *pic) { char cmd[128]={'\0'}; memset(cmd,'\0',128); sprintf(cmd,"base64 %s > tmpFile",pic); system(cmd); int fd = open("./tmpFile",O_RDWR); int filelen = lseek(fd,0,SEEK_END); lseek(fd,0,SEEK_SET); char *base64Buf = (char*)malloc(filelen + 8); memset(base64Buf,'\0',filelen + 8); read(fd,base64Buf,filelen+8); close(fd); system("rm -f tmpFile"); return base64Buf; } bool postUrl()//POST請求 { char buf1[1024] = {0},buf2[1024] = {0}; unsigned long long counter = 0; static char *folder = "/tmp"; time_t t; struct tm *now; t = time(NULL); now = localtime(&t); system("echo one > /tmp/webcom"); //向有名管道webcom寫入字符串實(shí)現(xiàn)拍照 strftime(buf1, sizeof(buf1), "%%s/%Y_%m_%d_%H_%M_%S_picture_%%09llu.jpg", now); snprintf(buf2, sizeof(buf2), buf1,"/tmp", counter); sleep(1); CURL *curl; CURLcode res; char *postString = NULL; char *base64Buf1 = getPic(buf2); char *base64Buf2 = getPic("./me5.jpg"); char *key = "xxxxxxxxxxxxxxxxxxxxxxx"; char *secret = "xxxxxxxxxxxxxxxxxxxxxxx"; int typeld = 21; char *format = "xml"; int len = strlen(key)+strlen(secret)+strlen(format)+ \ strlen(base64Buf1)+strlen(base64Buf2)+128; printf("%d",len); postString = (char *)malloc(len); sprintf(postString,"img1=%s&img2=%s&key=%s&secret=%s&typeId=%d&format=%s",\ base64Buf1,base64Buf2,key,secret,typeld,format); curl = curl_easy_init(); if (curl) { curl_easy_setopt(curl, CURLOPT_COOKIEFILE, "/tmp/cookie.txt"); // 指定cookie文件 curl_easy_setopt(curl, CURLOPT_POSTFIELDS, postString); // 指定post內(nèi)容 curl_easy_setopt(curl, CURLOPT_URL, "https://netocr.com/api/faceliu.do"); //指定url curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, readData); res = curl_easy_perform(curl);//執(zhí)行 //printf("res = %d\n",res); if(strstr(buf,"是")!=NULL) { printf("is same people\n"); } else { printf("not the same people\n"); } curl_easy_cleanup(curl); } return true; } int main(void) { postUrl(); }

本項(xiàng)目的工作流程設(shè)計(jì)邏輯是，首先系統(tǒng)啟動(dòng)視頻監(jiān)控機(jī)制，智能判斷畫面中是否存在人臉；一旦檢測到人臉，則觸發(fā)拍照動(dòng)作，然后通過調(diào)用云端API進(jìn)行人臉識別對比并返回結(jié)果，上述視頻的對比結(jié)果如下：

左圖為提前準(zhǔn)備好的相關(guān)人臉的照片，右圖為拍照得到的照片，下面為對比結(jié)果判定為是同一個(gè)人。同時(shí)開發(fā)板返回結(jié)果也正確：

至此，關(guān)于基于ELF 1開發(fā)板實(shí)現(xiàn)的遠(yuǎn)程監(jiān)測及人臉識別項(xiàng)目的介紹告一段落。衷心期待這項(xiàng)案例能夠?qū)φ阢@研嵌入式開發(fā)的小伙伴帶來啟示與借鑒，助力各位的學(xué)習(xí)之旅。