華為發(fā)明的物體檢測方法，通過構(gòu)建跨域知識(shí)圖譜，可以捕捉到不同待檢測物體間的內(nèi)在關(guān)系，從而更加精確的進(jìn)行物體識(shí)別，在智能安防等復(fù)雜場景中有著極其重要的應(yīng)用。

2020年10月，由華為技術(shù)有限公司主辦、成都優(yōu)普誠科技有限公司協(xié)辦的“普惠AI，破浪前行”2020華為好望秋季品鑒會(huì)在成都首座萬豪酒店成功舉辦，該會(huì)就機(jī)器視覺、智慧安防等領(lǐng)域展開了交流討論。

其中華為的機(jī)器視覺技術(shù)尤其適合應(yīng)用在智慧安防等領(lǐng)域，尤其是在AI技術(shù)的加持下，可以讓安防變得更加的省心且智能。例如，物體檢測就是一項(xiàng)基本的計(jì)算機(jī)視覺任務(wù)，它可以識(shí)別圖像中物體的位置和類別。在實(shí)際應(yīng)用中，研究員和工程師們會(huì)根據(jù)應(yīng)用場景與實(shí)際任務(wù)需求的不同創(chuàng)建針對(duì)不同具體問題的數(shù)據(jù)集，用于訓(xùn)練高度定制化和獨(dú)特的自動(dòng)物體檢測器。

而在智慧安防領(lǐng)域，物體檢測也是非常重要的一個(gè)環(huán)節(jié)，在進(jìn)行很多任務(wù)之前，首要的就是將待檢測物體定位并進(jìn)行類別識(shí)別。為此，華為在20年1月21日申請(qǐng)了一項(xiàng)名為“一種物體檢測方法、裝置以及存儲(chǔ)介質(zhì)”的發(fā)明專利（申請(qǐng)?zhí)枺?02010072238.0），申請(qǐng)人為華為技術(shù)有限公司。

該專利中發(fā)明的系統(tǒng)可以應(yīng)用在大規(guī)模物體檢測場景中，例如手機(jī)人臉識(shí)別、手機(jī)識(shí)別萬物、無人車的感知系統(tǒng)、安防攝像頭、社交網(wǎng)站照片物體識(shí)別、智能機(jī)器人等等。同時(shí)，由于這種物體檢測方法在對(duì)物體進(jìn)行檢測時(shí)結(jié)合了跨域知識(shí)圖譜，因此其物體檢測效果會(huì)更好。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項(xiàng)物體檢測方法吧。

如上圖，為該專利中發(fā)明的系統(tǒng)架構(gòu)的結(jié)構(gòu)示意圖，該架構(gòu)中包括執(zhí)行設(shè)備110、訓(xùn)練設(shè)備12、數(shù)據(jù)庫130、客戶設(shè)備140、數(shù)據(jù)存儲(chǔ)系統(tǒng)150以及數(shù)據(jù)采集設(shè)備160。數(shù)據(jù)采集設(shè)備可以采集訓(xùn)練數(shù)據(jù)，并將數(shù)據(jù)存入數(shù)據(jù)庫中，但是這種用于人工智能訓(xùn)練的數(shù)據(jù)需要進(jìn)行人工標(biāo)注。

訓(xùn)練設(shè)備可以根據(jù)訓(xùn)練數(shù)據(jù)訓(xùn)練出目標(biāo)檢測模型，當(dāng)其他未知的圖片由用戶傳遞到計(jì)算模塊時(shí)，就可以由目標(biāo)模型來進(jìn)行識(shí)別，從而得到物體的類別信息，并將物體的檢測結(jié)果通過I/O接口呈現(xiàn)給客戶設(shè)備。

如上圖，為這種芯片的硬件結(jié)構(gòu)圖解，該芯片主要包括神經(jīng)網(wǎng)絡(luò)處理器，主CPU和外部存儲(chǔ)器分別用于提供控制指令以及數(shù)據(jù)。配合系統(tǒng)架構(gòu)圖可知，這種芯片就是訓(xùn)練設(shè)備120中所使用的，可以完成訓(xùn)練設(shè)備的訓(xùn)練任務(wù)并輸出物體的類型信息。

神經(jīng)網(wǎng)絡(luò)處理器NPU作為協(xié)處理器掛載到主中央處理器上，由主CPU分配任務(wù)，NPU的核心部分為運(yùn)算電路303，控制器304控制運(yùn)算電路提取存儲(chǔ)器中的數(shù)據(jù)并進(jìn)行運(yùn)算。

我們知道在神經(jīng)網(wǎng)絡(luò)的計(jì)算中是需要大量的矩陣乘加運(yùn)算的。舉例來說，假設(shè)有輸入矩陣A，權(quán)重矩陣B，輸出矩陣C，運(yùn)算電路從權(quán)重存儲(chǔ)器中取矩陣B相應(yīng)的數(shù)據(jù)，并緩存在運(yùn)算電路中每一個(gè)PE上。運(yùn)算電路從輸入存儲(chǔ)器中取矩陣A數(shù)據(jù)與矩陣B進(jìn)行矩陣運(yùn)算，得到的矩陣的部分結(jié)果或最終結(jié)果，保存在累加器中。

向量計(jì)算單元可以對(duì)運(yùn)算電路的輸出做進(jìn)一步處理，如：向量乘、加、指數(shù)運(yùn)算、對(duì)數(shù)運(yùn)算以及大小比較等等，例如向量計(jì)算單元可以用于神經(jīng)網(wǎng)絡(luò)中非卷積的網(wǎng)絡(luò)計(jì)算（池化、批歸一化），這些結(jié)構(gòu)則正是進(jìn)行AI運(yùn)算的基礎(chǔ)。

如上圖，為該專利中申請(qǐng)的物體檢測方法的識(shí)別步驟的流程圖，首先系統(tǒng)會(huì)獲取待檢測的圖像，圖像可以通過攝像頭拍攝從街景等場合提取。接著確定待檢測圖像中的待檢測物體的初始圖像特征，這個(gè)步驟中，可以對(duì)整個(gè)圖像進(jìn)行卷積運(yùn)算以得到整個(gè)圖像的圖像特征，然后再從整個(gè)圖像的特征圖中獲取物體的初始圖像特征。

接著根據(jù)跨域知識(shí)圖譜信息來確定待檢測物體的增強(qiáng)圖像特征，這個(gè)跨域知識(shí)圖譜信息包括不同域中待檢測物體對(duì)應(yīng)的物體類別之間的關(guān)聯(lián)關(guān)系，增強(qiáng)圖像特征指示不同域中與待檢測物體相關(guān)聯(lián)的其他物體對(duì)應(yīng)的物體類別的語義信息，這種對(duì)應(yīng)關(guān)系如下圖所示。

從上圖可以看到，這種對(duì)應(yīng)關(guān)系即：兩個(gè)類別在同一個(gè)圖像中同時(shí)出現(xiàn)的概率越大，則認(rèn)為兩個(gè)類別之間有關(guān)聯(lián)關(guān)系。上圖的第一個(gè)域中的物體類別包括男人、女人、男孩、女孩和馬路；街道第二個(gè)域中的物體類別包括人、手提包、書包、汽車和卡車。

我們認(rèn)為第一個(gè)域中的男人、女人、男孩以及女孩與第二個(gè)域中的人之間具有關(guān)聯(lián)關(guān)系，第一個(gè)域中的女人和女孩與第二個(gè)域中的手提包具有關(guān)聯(lián)關(guān)系。這些關(guān)聯(lián)信息是通過常識(shí)來推理出來的，這樣的語義信息可以輔助進(jìn)行圖像檢測的高級(jí)別信息。例如，待檢測物體為女人，待檢測圖像中與女人相關(guān)聯(lián)的其他物體包括手提包，那么，待檢測物體的增強(qiáng)圖像特征指示的可以是手提包的語義信息。

最后，我們再來看看這種物體檢測方法的整體流程圖，待檢測圖像可以先通過傳統(tǒng)的物體檢測器進(jìn)行處理（例如Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)），再提取初始候選區(qū)域的初始圖像特征以及分類層的參數(shù)，并構(gòu)建域內(nèi)的區(qū)域圖。

通過構(gòu)建域內(nèi)的區(qū)域圖，利用域間圖卷積網(wǎng)絡(luò)傳播節(jié)點(diǎn)上不同域下待檢測物體的高級(jí)語義表示，得到經(jīng)過推理推斷后的融合了不同域下待檢測物體高級(jí)語義表示的特征。最后將域內(nèi)圖卷積、域間圖卷積經(jīng)過推理推斷后得到的特征投影到相應(yīng)的待檢測物體的高級(jí)語義表示中，并進(jìn)行分類和回歸，由此來得到待檢測物體的位置信息以及類別信息。

以上就是華為發(fā)明的物體檢測方法，通過構(gòu)建跨域知識(shí)圖譜，可以捕捉到不同待檢測物體間的內(nèi)在關(guān)系，由此來提高物體檢測方法的效果。這種方法可以應(yīng)用在復(fù)雜場景下，例如在商場以及商業(yè)街等區(qū)域，可以輔助安保人員對(duì)該區(qū)域的行人、物體進(jìn)行檢測，例如可以幫助尋找遺失物品以及進(jìn)行可以物體檢測等，有效提高城市安防能力！

關(guān)于嘉德

深圳市嘉德知識(shí)產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強(qiáng)企業(yè)工作多年的知識(shí)產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識(shí)產(chǎn)權(quán)法律理論和實(shí)務(wù)，在全球知識(shí)產(chǎn)權(quán)申請(qǐng)、布局、訴訟、許可談判、交易、運(yùn)營、標(biāo)準(zhǔn)專利協(xié)同創(chuàng)造、專利池建設(shè)、展會(huì)知識(shí)產(chǎn)權(quán)、跨境電商知識(shí)產(chǎn)權(quán)、知識(shí)產(chǎn)權(quán)海關(guān)保護(hù)等方面擁有豐富的經(jīng)驗(yàn)。
責(zé)任編輯:tzh