1. 車(chē)牌識(shí)別檢測(cè)簡(jiǎn)介

EAI-LPR是一個(gè)高性能中文車(chē)牌識(shí)別框架，識(shí)別速度快。準(zhǔn)確率高，在出入口場(chǎng)景下，準(zhǔn)確率可達(dá)98%；支持多種車(chē)牌類(lèi)型，包括單行藍(lán)牌、單行黃牌、新能源車(chē)牌、教練車(chē)牌等，還可有限支持白色警用車(chē)牌、使館/港澳車(chē)牌、雙層黃牌、武警車(chē)牌等；采用端到端識(shí)別，無(wú)需字符分割，直接輸出識(shí)別結(jié)果。

使用輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)定位圖像中的車(chē)牌區(qū)域，對(duì)傾斜的車(chē)牌進(jìn)行仿射變換矯正，使其水平，再采用端到端的OCR模型直接輸出車(chē)牌號(hào)碼。廣泛應(yīng)用于智能交通、安防監(jiān)控、智慧城市、移動(dòng)應(yīng)用等領(lǐng)域，如車(chē)輛出入口管理、停車(chē)場(chǎng)系統(tǒng)、車(chē)輛軌跡追蹤、異常行為檢測(cè)、交通流量統(tǒng)計(jì)、違章抓拍以及手機(jī)APP車(chē)牌識(shí)別功能等。

本教程針對(duì)EAI-LPR車(chē)牌識(shí)別算法部署到EASY-EAI-Nano-TB(RV1126B)進(jìn)行說(shuō)明。

本車(chē)牌識(shí)別算法在數(shù)據(jù)集表現(xiàn)如下所示：

基于EASY-EAI-Nano-TB硬件主板的運(yùn)行效率：

2. 快速上手

2.1 開(kāi)發(fā)環(huán)境準(zhǔn)備

如果您初次閱讀此文檔，請(qǐng)閱讀《入門(mén)指南/開(kāi)發(fā)環(huán)境準(zhǔn)備/Easy-Eai編譯環(huán)境準(zhǔn)備與更新》，并按照其相關(guān)的操作，進(jìn)行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進(jìn)入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh 2204

2.2 源碼下載

在EASY-EAI編譯環(huán)境下創(chuàng)建存放源碼倉(cāng)庫(kù)的管理目錄：

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通過(guò)git工具，在管理目錄內(nèi)克隆遠(yuǎn)程倉(cāng)庫(kù)

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git

注：

* 此處可能會(huì)因網(wǎng)絡(luò)原因造成卡頓，請(qǐng)耐心等待。

* 如果實(shí)在要在gitHub網(wǎng)頁(yè)上下載，也要把整個(gè)倉(cāng)庫(kù)下載下來(lái)，不能單獨(dú)下載本實(shí)例對(duì)應(yīng)的目錄。

2.3 模型部署

要完成算法Demo的執(zhí)行，需要先下載車(chē)牌識(shí)別算法模型。

百度網(wǎng)盤(pán)鏈接為：https://pan.baidu.com/s/1y-NIDZjIZCEqZLxlYgU8Vw?pwd=1234 （提取碼：1234 ）。

同時(shí)需要把下載的車(chē)牌識(shí)別算法模型復(fù)制粘貼到Release/目錄：

2.4 例程編譯

進(jìn)入到對(duì)應(yīng)的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd EASY-EAI-Toolkit-1126B/Demos/algorithm-lpr/ ./build.sh cpres

注：

* 由于依賴(lài)庫(kù)部署在板卡上，因此交叉編譯過(guò)程中必須保持/mnt掛載。

* 若build.sh腳本帶有cpres參數(shù)，則會(huì)把Release/目錄下的所有資源都拷貝到開(kāi)發(fā)板上。

2.5 例程運(yùn)行及效果

通過(guò)串口調(diào)試或ssh調(diào)試，進(jìn)入板卡后臺(tái)，定位到例程部署的位置，如下所示：

cd /userdata/Demo/algorithm-lpr/

運(yùn)行例程命令如下所示：

sudo ./test-lpr lpr_det.model lpr_cls.model lpr_rec.model 2.jpg

在EASY-EAI編譯環(huán)境可以取回測(cè)試圖片:

cp /mnt/userdata/Demo/algorithm-lpr/dst.jpg .

結(jié)果圖片如下所示：

API的詳細(xì)說(shuō)明，以及API的調(diào)用（本例程源碼），詳細(xì)信息見(jiàn)下方說(shuō)明。

3. 車(chē)牌識(shí)別API說(shuō)明

3.1 引用方式

為方便客戶(hù)在本地工程中直接調(diào)用我們的EASY EAI api庫(kù)，此處列出工程中需要鏈接的庫(kù)以及頭文件等，方便用戶(hù)直接添加。

3.2 車(chē)牌識(shí)別初始化函數(shù)

車(chē)牌識(shí)別初始化函數(shù)原型如下所示。

int lpr_init(const char *p_det_model, const char *p_cls_model, const char *p_rec_model, rknn_lpr_t *p_lpr)

具體介紹如下所示。

3.3 車(chē)牌識(shí)別運(yùn)行函數(shù)

車(chē)牌識(shí)別運(yùn)行函數(shù)lpr_run原型如下所示。

std::vector lpr_run(cv::Mat image, rknn_lpr_t *p_lpr, float conf_thresh, float nms_thresh);

具體介紹如下所示。

3.4 車(chē)牌識(shí)別釋放函數(shù)

車(chē)牌識(shí)別釋放函數(shù)原型如下所示。

int lpr_release(rknn_lpr_t *p_lpr)

具體介紹如下所示。

4. 車(chē)輛識(shí)別算法例程

例程目錄為Demos/algorithm-car/test-lpr.cpp，操作流程如下。

參考例程如下所示。

#include #include #include #include #include #include #include #include #include #include "lpr_detector.h" #include "lpr_classifier.h" #include "lpr_recognizer.h" #include "lpr.h" #include "put_text_zh.h" /******************************************* * 車(chē)牌識(shí)別demo ********************************************/ int lpr_demo(char *p_det_path, char *p_cls_path, char *p_rec_path, char *p_img_path) { struct timeval start; struct timeval end; float time_use=0; std::vector layers = { "單層", "雙層"}; std::vector colors = { "藍(lán)色", "綠色", "黃色" }; PutTextZH put_text = PutTextZH("./simhei.ttf"); cv::Scalar font_size{ 30, 0.5, 0.1, 0 }; // 字體大小/空白比例/間隔比例/旋轉(zhuǎn)角度 put_text.setFont(nullptr, &font_size, nullptr, nullptr); cv::Mat image = cv::imread(p_img_path); rknn_lpr_t lpr; // 車(chē)牌識(shí)別初始化 int ret; ret = lpr_init(p_det_path, p_cls_path, p_rec_path, &lpr); // 車(chē)牌識(shí)別 float conf_thresh = 0.35; float nms_thresh = 0.35; gettimeofday(&start,NULL); std::vector results = lpr_run(image, &lpr, conf_thresh, nms_thresh); gettimeofday(&end,NULL); time_use=(end.tv_sec-start.tv_sec)*1000000+(end.tv_usec-start.tv_usec);//微秒 printf("車(chē)牌識(shí)別耗時(shí)： %f\n",time_use/1000); // 繪制結(jié)果 int num = results.size(); for (int i = 0; i < num; i++) { cv::rectangle(image, results[i].box, CV_RGB(255, 0, 0), 2); for (int j = 0; j < 4; j++) { cv::circle(image, results[i].key_pts[j], 2, CV_RGB(0, 255, 0), 3); } //char p_text[128] = ""; //for (int j = 0; j < results[i].char_list.size(); j++) { // sprintf(p_text, "%s%s", p_text, results[i].char_list[j].c_str()); //} //sprintf(p_text, "%s score: %0.2f", p_text, results[i].det_score); //cv::putText(image, p_text, cv::Point(results[i].box.x, results[i].box.y - 5), 1, 2, CV_RGB(255, 0, 0), 3); std::string temp_str; int num = results[i].char_list.size(); for (int j = 0; j < num; j++) { temp_str += results[i].char_list[j]; } // 轉(zhuǎn)換為寬字符字符串 std::wstring_convert> converter; std::wstring wstr = converter.from_bytes(temp_str); // 如果需要 wchar_t 數(shù)組 wchar_t w_text[256]; wcsncpy(w_text, wstr.c_str(), sizeof(w_text) / sizeof(wchar_t)); w_text[255] = L'\0'; put_text.putText(image, w_text, cv::Point(results[i].box.x, results[i].box.y - 5), CV_RGB(255, 0, 0)); printf("車(chē)牌%d：%s, 顏色: %s, 車(chē)牌層數(shù): %s\n", i+1, temp_str.c_str(), colors[results[i].color].c_str(), layers[results[i].layer_num].c_str()); } cv::imwrite("dst.jpg", image); // 車(chē)牌識(shí)別釋放 ret = lpr_release(&lpr); return ret; } /******************************************* * 車(chē)牌檢測(cè)demo ********************************************/ int lpr_detector_demo(char *p_det_path, char *p_img_path) { cv::Mat image = cv::imread(p_img_path); rknn_lpr_detector_t lpr_det; // 車(chē)牌檢測(cè)初始化 int ret = rknn_lpr_detector_init(p_det_path, &lpr_det); // 車(chē)牌檢測(cè) float conf_thresh = 0.35; float nms_thresh = 0.35; std::vector results = rknn_lpr_detector_calc(image, &lpr_det, conf_thresh, nms_thresh); // 繪制結(jié)果 int num = results.size(); for (int i = 0; i < num; i++) { cv::rectangle(image, results[i].box, CV_RGB(255, 0, 0), 2); for (int j = 0; j < 4; j++) { cv::circle(image, results[i].key_pts[j], 2, CV_RGB(0, 255, 0), 3); } printf("Layer num = %d\n", results[i].layer_num); } cv::imwrite("det.jpg", image); // 車(chē)牌檢測(cè)釋放 ret = rknn_lpr_detector_deinit(&lpr_det); return ret; } /******************************************* * 車(chē)牌分類(lèi)Demo ********************************************/ int lpr_classifer_demo(char *p_cls_path, char *p_img_path) { int label = 0; float score; std::vector colors = { "blue", "green", "yellow" }; cv::Mat image = cv::imread(p_img_path); // 車(chē)牌分類(lèi)初始化 rknn_lpr_classifer_t lpr_cls; int ret = rknn_lpr_classifer_init(p_cls_path, &lpr_cls); // 車(chē)牌分類(lèi)計(jì)算 ret = rknn_lpr_classifer_calc(image, &lpr_cls, label, score); // 車(chē)牌分類(lèi)釋放 ret = rknn_lpr_classifer_deinit(&lpr_cls); return ret; } /******************************************* * 車(chē)牌字符識(shí)別Demo ********************************************/ int lpr_recognizer_demo(char *p_rec_path, char *p_img_path) { float score; cv::Mat image = cv::imread(p_img_path); // 車(chē)牌字符識(shí)別初始化 rknn_lpr_recognizer_t lpr_rec; int ret = rknn_lpr_recognizer_init(p_rec_path, &lpr_rec); //車(chē)牌字符識(shí)別計(jì)算 10ms std::vector char_list; ret = rknn_lpr_recognizer_calc(image, &lpr_rec, char_list, score); /* char p_text[128] = ""; int num = char_list.size(); for (int j = 0; j < num; j++) { sprintf(p_text,"%s%s", p_text, char_list[j].c_str()); } printf("車(chē)牌字符識(shí)別耗時(shí)：%0.2fms, 車(chē)牌號(hào)：%s, score = %0.2f\n", run_time, p_text, score); */ // 車(chē)牌字符識(shí)別釋放 ret = rknn_lpr_recognizer_deinit(&lpr_rec); return ret; } /******************************************* * 主函數(shù) ********************************************/ int main(int argc, char **argv) { if (argc != 5) { printf("%s \n", argv[0]); return -1; } char *p_det_path = argv[1]; char *p_cls_path = argv[2]; char *p_rec_path = argv[3]; char *p_img_path = argv[4]; // 車(chē)牌識(shí)別demo lpr_demo(p_det_path, p_cls_path, p_rec_path, p_img_path); //// 車(chē)牌檢測(cè)demo //lpr_detector_demo(p_det_path, p_img_path); //// 車(chē)牌分類(lèi)Demo //lpr_classifer_demo(p_cls_path, p_img_path); ////// 車(chē)牌字符識(shí)別Demo //lpr_recognizer_demo(p_rec_path, p_img_path); return 0; }