前言

實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。因?yàn)橛X(jué)得一板一眼地學(xué)習(xí)OpenCV太過(guò)枯燥，于是在網(wǎng)上找了一個(gè)以項(xiàng)目為導(dǎo)向的教程學(xué)習(xí)。話不多說(shuō)，動(dòng)手做起來(lái)。

1、案例介紹

提供信用卡上的數(shù)字模板：

要求：識(shí)別出信用卡上的數(shù)字，并將其直接打印在原圖片上。雖然看起來(lái)很蠢，但既然可以將數(shù)字打印在圖片上，說(shuō)明已經(jīng)成功識(shí)別數(shù)字，因此也可以將其轉(zhuǎn)換為數(shù)字文本保存。車牌號(hào)識(shí)別等項(xiàng)目的思路與此案例類似。

示例：

原圖

處理后的圖

步驟

大致分為如下幾個(gè)步驟：

1.模板讀入
2.模板預(yù)處理，將模板數(shù)字分開，并排序
3.輸入圖像預(yù)處理，將圖像中的數(shù)字部分提取出來(lái)
4.將數(shù)字與模板數(shù)字進(jìn)行匹配，匹配率最高的即為對(duì)應(yīng)數(shù)字。

1、模板讀入，以及一些包的導(dǎo)入，函數(shù)定義等

import cv2 as cvimport numpy as npimport myutilsdef cv_show(name, img): # 自定義的展示函數(shù) cv.imshow(name, img) cv.waitKey(0)# 讀入模板圖n = 'text'img = cv.imread("images/ocr_a_reference.png")#cv_show(n,template)#自定義的展示函數(shù)，方便顯示圖

2、模板預(yù)處理，將模板數(shù)字分開，并排序

模板的預(yù)處理順序：灰度圖，二值化，再進(jìn)行輪廓檢測(cè)。需要注意的是openCV檢測(cè)輪廓時(shí)是檢測(cè)白色邊框，因此要將模板圖的數(shù)字二值化變?yōu)榘咨?/p>

# 模板轉(zhuǎn)換為灰度圖ref = cv.cvtColor(img, cv.COLOR_BGR2GRAY)# cv_show(n, ref) # 轉(zhuǎn)換為二值圖,把數(shù)字部分變?yōu)榘咨玶ef = cv.threshold(ref, 10, 255, cv.THRESH_BINARY_INV)[1] # 騷寫法，函數(shù)多個(gè)返回值為元組，這里取第二個(gè)返回值cv_show(n, ref) # 對(duì)模板進(jìn)行輪廓檢測(cè)，得到輪廓信息refCnts, hierarchy = cv.findContours(ref.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE)cv.drawContours(img, refCnts, -1, (0, 0, 255), 2) # 第一個(gè)參數(shù)為目標(biāo)圖像#cv_show(n,img

紅色部分即為檢測(cè)出的輪廓。接下來(lái)進(jìn)行輪廓排序，因?yàn)闄z測(cè)出的輪廓是無(wú)序的，因此要按照輪廓的左上角點(diǎn)的x坐標(biāo)來(lái)排序。輪廓排序后按順序放入字典，則字典中的鍵值對(duì)是正確匹配的，如‘0’對(duì)應(yīng)輪廓0 ,‘1’對(duì)應(yīng)輪廓1。

# 輪廓排序refCnts = myutils.sort_contours(refCnts)[0]digits = {} # 單個(gè)輪廓提取到字典中for (i, c) in enumerate(refCnts): (x, y, w, h) = cv.boundingRect(c) roi = ref[y:y + h, x:x + w] # 在模板中復(fù)制出輪廓 roi = cv.resize(roi, (57, 88)) # 改成相同大小的輪廓 digits[i] = roi # 此時(shí)字典鍵對(duì)應(yīng)的輪廓即為對(duì)應(yīng)數(shù)字。如鍵‘1’對(duì)應(yīng)輪廓‘1’

至此，模板圖處理完畢。

3、輸入圖像預(yù)處理，將圖像中的數(shù)字部分提取出來(lái)

在此步驟中需要將信用卡上的每個(gè)數(shù)字提取出來(lái)，并與上一步得到的模板一一匹配。首先初始化卷積核，方便之后tophat操作以及閉運(yùn)算操作使用。

# 初始化卷積核rectKernel = cv.getStructuringElement(cv.MORPH_RECT, (9, 3))sqKernel = cv.getStructuringElement(cv.MORPH_RECT, (5, 5))

接下來(lái)讀入圖片，調(diào)整圖片大小，轉(zhuǎn)換為灰度圖。

# 待分析圖片讀入,預(yù)處理card_image = cv.imread("images/credit_card_01.png")# cv_show('a', card_image)card_image = myutils.resize(card_image, width=300) # 更改圖片大小gray = cv.cvtColor(card_image, cv.COLOR_BGR2GRAY)# cv_show('gray', gray)

然后進(jìn)行tophat操作，tophat可以突出圖片中明亮的區(qū)域，過(guò)濾掉較暗的部分：

tophat = cv.morphologyEx(gray, cv.MORPH_TOPHAT, rectKernel)# cv_show('tophat', tophat)

再通過(guò)sobel算子檢測(cè)邊緣，進(jìn)行一次閉操作，二值化，再進(jìn)行一次閉操作，填補(bǔ)空洞。

# x方向的Sobel算子gradX = cv.Sobel(tophat, cv.CV_32F, 1, 0, ksize=3) gradX = np.absolute(gradX) # absolute: 計(jì)算絕對(duì)值min_Val, max_val = np.min(gradX), np.max(gradX)gradX = (255 * (gradX - min_Val) / (max_val - min_Val))gradX = gradX.astype("uint8") # 通過(guò)閉操作（先膨脹，再腐蝕）將數(shù)字連在一起. 將本是4個(gè)數(shù)字的4個(gè)框膨脹成1個(gè)框,就腐蝕不掉了gradX = cv.morphologyEx(gradX, cv.MORPH_CLOSE, rectKernel)# cv_show('close1', gradX) # 二值化thresh = cv.threshold(gradX, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)[1] # 閉操作,填補(bǔ)空洞thresh = cv.morphologyEx(thresh, cv.MORPH_CLOSE, sqKernel)# cv_show('close2', thresh)

之后就可以查找輪廓了。

threshCnts = cv.findContours(thresh.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)[0]card_copy = card_image.copy()cv.drawContours(card_copy, threshCnts, -1, (0, 0, 255), 2)cv_show('Input_Contours', card_copy)

4、模板匹配

將模板數(shù)字和待識(shí)別的圖片都處理好后，就可以進(jìn)行匹配了。

locs = [] # 存符合條件的輪廓for i, c in enumerate(threshCnts): # 計(jì)算矩形 x, y, w, h = cv.boundingRect(c) ar = w / float(h) # 選擇合適的區(qū)域，根據(jù)實(shí)際任務(wù)來(lái)，這里的基本都是四個(gè)數(shù)字一組 if 2.5 < ar < 4.0: if (40 < w < 55) and (10 < h < 20): # 符合的留下來(lái) locs.append((x, y, w, h)) # 將符合的輪廓從左到右排序locs = sorted(locs, key=lambda x: x[0])?

接下來(lái)，遍歷每一個(gè)大輪廓，每個(gè)大輪廓中有四個(gè)數(shù)字，對(duì)應(yīng)四個(gè)小輪廓。將小輪廓與模板匹配。

output = [] # 存正確的數(shù)字for (i, (gx, gy, gw, gh)) in enumerate(locs): # 遍歷每一組大輪廓(包含4個(gè)數(shù)字) groupOutput = [] # 根據(jù)坐標(biāo)提取每一個(gè)組(4個(gè)值) group = gray[gy - 5:gy + gh + 5, gx - 5:gx + gw + 5] # 往外擴(kuò)一點(diǎn) # cv_show('group_' + str(i), group) # 預(yù)處理 group = cv.threshold(group, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)[1] # 二值化的group # cv_show('group_'+str(i),group) # 計(jì)算每一組的輪廓 這樣就分成4個(gè)小輪廓了 digitCnts = cv.findContours(group.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)[0] # 排序 digitCnts = myutils.sort_contours(digitCnts, method="left-to-right")[0] # 計(jì)算并匹配每一組中的每一個(gè)數(shù)值 for c in digitCnts: # c表示每個(gè)小輪廓的終點(diǎn)坐標(biāo) z = 0 # 找到當(dāng)前數(shù)值的輪廓,resize成合適的的大小 (x, y, w, h) = cv.boundingRect(c) # 外接矩形 roi = group[y:y + h, x:x + w] # 在原圖中取出小輪廓覆蓋區(qū)域,即數(shù)字 roi = cv.resize(roi, (57, 88)) # cv_show("roi_"+str(z),roi) # 計(jì)算匹配得分: 0得分多少,1得分多少... scores = [] # 單次循環(huán)中,scores存的是一個(gè)數(shù)值 匹配 10個(gè)模板數(shù)值的最大得分 # 在模板中計(jì)算每一個(gè)得分 # digits的digit正好是數(shù)值0,1,...,9;digitROI是每個(gè)數(shù)值的特征表示 for (digit, digitROI) in digits.items(): # 進(jìn)行模板匹配, res是結(jié)果矩陣 res = cv.matchTemplate(roi, digitROI, cv.TM_CCOEFF) # 此時(shí)roi是X digitROI是0 依次是1,2.. 匹配10次,看模板最高得分多少 Max_score = cv.minMaxLoc(res)[1] # 返回4個(gè),取第二個(gè)最大值Maxscore scores.append(Max_score) # 10個(gè)最大值 # print("scores：",scores) # 得到最合適的數(shù)字 groupOutput.append(str(np.argmax(scores))) # 返回的是輸入列表中最大值的位置 z = z + 1# 畫出來(lái) cv.rectangle(card_image, (gx - 5, gy - 5), (gx + gw + 5, gy + gh + 5), (0, 0, 255), 1) # 左上角,右下角# putText參數(shù)：圖片,添加的文字,左上角坐標(biāo),字體,字體大小,顏色,字體粗細(xì) cv.putText(card_image, "".join(groupOutput), (gx, gy - 15), cv.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)

最后將其打印出來(lái)，任務(wù)就完成了。

cv.imshow("Output_image_"+str(i), card_image)cv.waitKey(0)

總結(jié)

信用卡識(shí)別的案例用到了圖像處理的一些基本操作，對(duì)剛上手CV的人來(lái)說(shuō)還是比較友好的。

責(zé)任編輯：lq