當(dāng)前,中國(guó)正在大力推進(jìn)包括人工智能、5G和工業(yè)物聯(lián)網(wǎng)在內(nèi)的新基礎(chǔ)設(shè)施建設(shè),為智慧城市的發(fā)展注入新動(dòng)能。其中,城市的智能交通是至關(guān)重要的組成部分。通過(guò)對(duì)于人工智能、計(jì)算機(jī)視覺(jué)、云計(jì)算和大數(shù)據(jù)等技術(shù)的融合應(yīng)用,智能交通管理系統(tǒng)將使得道路使用者(人與各種車(chē)輛)與道路交通設(shè)施和諧互動(dòng),有助于提升交通安全與效率(包括緩解交通擁堵),從而改善人民的出行體驗(yàn)。

面向智能交通管理的應(yīng)用場(chǎng)景,深圳市新創(chuàng)中天信息科技發(fā)展有限公司(以下簡(jiǎn)稱(chēng):新創(chuàng)中天)推出了基于英特爾?AI計(jì)算機(jī)視覺(jué)的智能交通路側(cè)視頻邊緣計(jì)算設(shè)備(以下簡(jiǎn)稱(chēng):路側(cè)視頻邊緣計(jì)算設(shè)備),適用于交通路口、城市道路以及高速公路等不同的場(chǎng)景。部署在網(wǎng)絡(luò)邊緣的該設(shè)備搭載了英特爾?賽揚(yáng)?系列CPU(Central Processing Unit:中央處理器)和英特爾?Movidius?Myriad? X VPU(Vision Processing Unit:視覺(jué)處理器),并基于 OpenVINO? 工具套件快速進(jìn)行高性能AI計(jì)算機(jī)視覺(jué)算法開(kāi)發(fā),實(shí)現(xiàn)了優(yōu)異的性能。以城市中的交通路口為例,該設(shè)備能夠?qū)崿F(xiàn)對(duì)于機(jī)動(dòng)車(chē)(包括特種車(chē)輛)、非機(jī)動(dòng)車(chē)、行人、交通信號(hào)燈、路面交通標(biāo)識(shí)、交通流量狀態(tài)和交通事件等的檢測(cè)和識(shí)別,并為路側(cè)交通基礎(chǔ)設(shè)施設(shè)備(如交通信號(hào)紅綠燈等)的自動(dòng)控制提供相關(guān)視頻檢測(cè)分析數(shù)據(jù)。

背景:基于“端-邊-云”架構(gòu)的智能交通管理系統(tǒng)

充分提升交通安全與效率,除了改善城市空間布局、提升道路供給等措施之外,還需積極發(fā)展基于“端-邊-云”架構(gòu)的先進(jìn)智能交通管理系統(tǒng)。如圖1所示,這一系統(tǒng)的核心理念是基于在端側(cè)對(duì)于交通狀況的全面感知、在邊緣和云對(duì)交通數(shù)據(jù)的精準(zhǔn)綜合分析以及對(duì)路側(cè)交通基礎(chǔ)設(shè)施的實(shí)時(shí)控制,從而完成豐富多樣的智能交通管理功能。

圖1. 智能交通管理系統(tǒng)"端-邊-云"整體系統(tǒng)架構(gòu)

在這一智能交通管理系統(tǒng)中,基于邊緣計(jì)算與AI計(jì)算機(jī)視覺(jué)的路側(cè)視頻邊緣計(jì)算設(shè)備是極為重要的基礎(chǔ)性設(shè)備。該設(shè)備負(fù)責(zé)對(duì)路側(cè)感知設(shè)備如相機(jī)所采集的視覺(jué)信息(包括視頻和圖像)進(jìn)行實(shí)時(shí)計(jì)算分析,并在必要時(shí)與位于云端的控制中心進(jìn)行數(shù)據(jù)交互,將優(yōu)化的信號(hào)相位和配時(shí)方案輸入給路側(cè)的交通信號(hào)控制機(jī)。結(jié)合其它的輸入信號(hào),交通信號(hào)控制機(jī)通過(guò)其特定的算法確定最終的相位和配時(shí)方案,對(duì)路口的交通信號(hào)燈進(jìn)行控制。

相較于傳統(tǒng)的感應(yīng)線圈、磁力計(jì)以及激光雷達(dá)等檢測(cè)技術(shù),基于各種相機(jī)采集信息的AI計(jì)算機(jī)視覺(jué)技術(shù)用于交通目標(biāo)、狀態(tài)和事件的檢測(cè)和分析具有顯著的成本優(yōu)勢(shì),非常適合大規(guī)模的部署。除了交通路況信息,該設(shè)備還可以感知天氣(如雨、雪、霧)等環(huán)境信息,并將這些信息和本地分析的結(jié)果上傳至控制中心,作進(jìn)一步的處理。該設(shè)備的普及,有助于全面提升交通安全與效率。

挑戰(zhàn):面向智能交通管理的邊緣計(jì)算設(shè)備

路側(cè)視頻邊緣計(jì)算設(shè)備需要實(shí)現(xiàn)對(duì)于機(jī)動(dòng)車(chē)(包括特種車(chē)輛)、非機(jī)動(dòng)車(chē)、行人、交通信號(hào)燈、路面交通標(biāo)識(shí)、交通流量狀態(tài)和交通事件等的檢測(cè)和識(shí)別,因此需要連接多種相機(jī)(包括電警相機(jī)、卡口相機(jī)、交通流量檢測(cè)相機(jī)、路口監(jiān)控球機(jī)和行人檢測(cè)相機(jī))以收集所需的視頻信息。

電警相機(jī):主要用于拍攝車(chē)輛尾部,識(shí)別車(chē)牌號(hào)碼等車(chē)輛信息;通常安裝在電警桿(距離停止線20-25米)上;1臺(tái)相機(jī)能覆蓋1-3條車(chē)道。卡口相機(jī):主要用于拍攝車(chē)輛前部,識(shí)別車(chē)牌號(hào)碼等車(chē)輛信息;通常安裝在電警桿上;1臺(tái)相機(jī)能覆蓋1-3條車(chē)道。

交通流量檢測(cè)相機(jī):主要用于拍攝車(chē)輛前部或尾部,檢測(cè)車(chē)流量、車(chē)道占有時(shí)間、排隊(duì)長(zhǎng)度、擁堵路況等,將檢測(cè)分析數(shù)據(jù)提供給交通信號(hào)控制機(jī),用于交通信號(hào)的相位和配時(shí)優(yōu)化;通常安裝在電警桿或者交通信號(hào)燈桿上;1臺(tái)相機(jī)覆蓋4-8車(chē)道。路口監(jiān)控球形相機(jī):主要用于監(jiān)控路口,也可用于路口下行的反溢(擁堵)檢測(cè);可以通過(guò)遠(yuǎn)程控制隨時(shí)改變拍攝方向和焦距;通常安裝在電警桿上。

行人檢測(cè)相機(jī):主要用于檢測(cè)行人等待區(qū)和斑馬線上的行人;通常安裝在行人信號(hào)燈燈桿或附近路側(cè)設(shè)施上。該設(shè)備是事關(guān)交通安全的關(guān)鍵設(shè)備,在實(shí)際的部署和使用中,需要解決來(lái)自于低成本與低功耗限制下的數(shù)據(jù)處理性能、可靠穩(wěn)定性、連接和兼容能力等多方面的技術(shù)挑戰(zhàn)。

該設(shè)備承擔(dān)著多路相機(jī)的視頻編解碼、基于深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)的車(chē)輛和行人實(shí)時(shí)檢測(cè)和分析、車(chē)流量和人流量的實(shí)時(shí)分析、路口交通信號(hào)燈的相位和配時(shí)分析等負(fù)載。該設(shè)備的性能主要體現(xiàn)在可同時(shí)處理的視頻通道數(shù)、處理時(shí)延和準(zhǔn)確率。因?yàn)樯婕暗綄?duì)交通信號(hào)燈的控制,處理時(shí)延和準(zhǔn)確率對(duì)于確保交通安全尤為重要。對(duì)于作為最終用戶(hù)的交通管理部門(mén)而言,性能還體現(xiàn)在交通安全與效率的提升。該設(shè)備性能的提升,對(duì)于芯片的處理能力提出了新的挑戰(zhàn),同時(shí)也要滿(mǎn)足客戶(hù)對(duì)整體設(shè)備成本和功耗的要求,因此需要高性?xún)r(jià)比和高能效比的芯片產(chǎn)品和系統(tǒng)架構(gòu)設(shè)計(jì)。

該設(shè)備大多部署于環(huán)境惡劣的道路周邊,溫度和濕度的變化劇烈,外物沖擊等司空見(jiàn)慣。這就要求該設(shè)備具有極強(qiáng)的環(huán)境適應(yīng)能力,能夠適應(yīng)溫度和濕度的變化,具備防水、防塵、防腐蝕和防震動(dòng)沖擊等能力,同時(shí)還需具備出色的電磁兼容和抗干擾能力,以確保在整個(gè)產(chǎn)品生命周期內(nèi)不間斷地提供穩(wěn)定可靠的服務(wù)。

該設(shè)備需要連接多種相機(jī)和交通信號(hào)控制機(jī)等路側(cè)設(shè)備,并能與本文中提到的各種智能交通管理子系統(tǒng)進(jìn)行數(shù)據(jù)交互。因此它的連接和兼容能力對(duì)整體性能至關(guān)重要。

新創(chuàng)中天?路側(cè)視頻邊緣計(jì)算設(shè)備搭載了英特爾?賽揚(yáng)?CPU和英特爾?Movidius? Myriad? X VPU,擁有傳統(tǒng)計(jì)算機(jī)視覺(jué)和基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)的強(qiáng)大處理能力。其硬件與軟件架構(gòu)分別如圖2和圖3所示。用于自動(dòng)交通信號(hào)控制時(shí),其與其它設(shè)備的連接如圖4所示。

圖2. 路側(cè)視頻邊緣計(jì)算設(shè)備硬件架構(gòu)

圖3. 路側(cè)視頻邊緣計(jì)算設(shè)備軟件架構(gòu)

圖4. 用于自動(dòng)交通信號(hào)控制的路側(cè)視頻邊緣計(jì)算設(shè)備

英特爾?賽揚(yáng)?系列CPU具備業(yè)界領(lǐng)先的性能,支持不同的操作系統(tǒng),能夠滿(mǎn)足廣泛的業(yè)務(wù)需求。這一系列CPU不僅具備較強(qiáng)的計(jì)算能力,還具備高性?xún)r(jià)比、高能效比和安全可靠等優(yōu)點(diǎn)。該處理器內(nèi)嵌了英特爾?核芯顯卡,具備較強(qiáng)的視頻編碼和解碼處理能力。基于這一處理器的路側(cè)視頻邊緣計(jì)算設(shè)備不但充分勝任對(duì)相關(guān)數(shù)據(jù)的計(jì)算、存儲(chǔ)與轉(zhuǎn)發(fā),以及對(duì)各種所連接設(shè)備的控制等功能需求,還具備低成本與低功耗的顯著優(yōu)勢(shì)。

Myriad? X VPU 是英特爾第一個(gè)包含神經(jīng)計(jì)算引擎(用于深度神經(jīng)網(wǎng)絡(luò)推理的專(zhuān)用硬件加速器)的視覺(jué)處理器。神經(jīng)計(jì)算引擎結(jié)合 16 個(gè)強(qiáng)大的 SHAVE 內(nèi)核和高吞吐量智能內(nèi)存結(jié)構(gòu),使得Myriad? X VPU成為設(shè)備上深度神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺(jué)應(yīng)用的理想選擇。Myriad? X VPU可以使用 OpenVINO? 工具套件的英特爾分發(fā)版編程,從而將神經(jīng)網(wǎng)絡(luò)移植到邊緣,還可以通過(guò)包含所有必要開(kāi)發(fā)工具、框架和 API 的 Myriad 開(kāi)發(fā)套件 (MDK: Myriad Development Kit) 編程,用于在芯片上實(shí)現(xiàn)自定義視覺(jué)、成像和深度神經(jīng)網(wǎng)絡(luò)工作負(fù)載。在實(shí)際應(yīng)用中,Myriad? X VPU展現(xiàn)出了算力強(qiáng)且功耗低等獨(dú)特優(yōu)勢(shì)。

新創(chuàng)中天正在使用 OpenVINO? 工具套件來(lái)提升視頻檢測(cè)和分析等算法的準(zhǔn)確度,加速推理時(shí)間,并節(jié)約算力資源。OpenVINO? 工具套件是源自英特爾的一款功能非常全面的優(yōu)秀軟件工具套件,支持快速開(kāi)發(fā)豐富多樣的應(yīng)用和解決方案,來(lái)模擬人類(lèi)的視覺(jué) [1][2][3]。該工具套件基于卷積神經(jīng)網(wǎng)絡(luò) (CNN: Convolutional Neural Network),可在多種英特爾? 硬件中擴(kuò)展計(jì)算機(jī)視覺(jué) (CV: Computer Vision) 的工作負(fù)載,實(shí)現(xiàn)卓越性能。OpenVINO? 工具套件支持傳統(tǒng)計(jì)算機(jī)視覺(jué)和基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)的豐富多樣的應(yīng)用,其主要包含的功能模塊如圖5所示。

圖5. OpenVINO?工具套件的主要功能模塊

支持跨英特爾?深度學(xué)習(xí)推理加速器的異構(gòu)執(zhí)行,將通用 API 用于英特爾的不同硬件平臺(tái),包括CPU、集成顯卡、包含有英特爾?Movidius? VPU的神經(jīng)計(jì)算棒和英特爾? HDDL視覺(jué)處理加速卡、FPGA等等,可幫助客戶(hù)實(shí)現(xiàn)跨架構(gòu)的算法移植和優(yōu)化；通過(guò)易于使用的計(jì)算機(jī)視覺(jué)函數(shù)庫(kù)和預(yù)優(yōu)化的內(nèi)核,加快產(chǎn)品開(kāi)發(fā)和上市速度;包括針對(duì)計(jì)算機(jī)視覺(jué)的標(biāo)準(zhǔn)優(yōu)化調(diào)用,包括 OpenCV、OpenCL和 OpenVX。

除了使用OpenVINO? 工具套件中的AI計(jì)算機(jī)視覺(jué)功能之外,路側(cè)視頻邊緣計(jì)算設(shè)備還用到了其中的英特爾?Media SDK,支持在英特爾?集成顯卡上進(jìn)行高性能的視頻編碼和解碼。

得益于英特爾?賽揚(yáng)?系列CPU和Myriad? X VPU提供的強(qiáng)大通用計(jì)算和AI計(jì)算機(jī)視覺(jué)推理能力,該設(shè)備能夠?qū)η拔奶岬降母鞣N相機(jī)采集的視頻或圖像信息進(jìn)行處理,對(duì)視頻畫(huà)面中的車(chē)輛和行人進(jìn)行位置坐標(biāo)標(biāo)定,能夠?qū)崿F(xiàn)對(duì)于機(jī)動(dòng)車(chē)(包括特種車(chē)輛)、非機(jī)動(dòng)車(chē)、行人、交通信號(hào)燈、路面交通標(biāo)識(shí)、交通流量狀態(tài)和交通事件等的檢測(cè)和識(shí)別。以交通流量狀態(tài)為例,該設(shè)備能夠?qū)崟r(shí)檢測(cè)每條車(chē)道和每輛車(chē)的狀態(tài)數(shù)據(jù),包括每個(gè)車(chē)道的車(chē)輛進(jìn)入/離開(kāi)狀態(tài)、車(chē)道占有時(shí)間、過(guò)車(chē)總數(shù)量、過(guò)車(chē)速度、區(qū)域內(nèi)實(shí)時(shí)車(chē)輛數(shù)目、最后一輛車(chē)的位置、車(chē)隊(duì)長(zhǎng)度和車(chē)型分類(lèi)等關(guān)鍵數(shù)據(jù)信息。該設(shè)備可進(jìn)一步對(duì)檢測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

新創(chuàng)中天研發(fā)總工程師周長(zhǎng)軍表示:“路側(cè)視頻邊緣計(jì)算設(shè)備是智能交通管理的重要基礎(chǔ)性設(shè)備,能夠全面增強(qiáng)交通管理部門(mén)對(duì)于交通路況的感知能力,并基于對(duì)實(shí)時(shí)數(shù)據(jù)的分析進(jìn)行高效管理,從而提升交通安全與效率。除了對(duì)于機(jī)動(dòng)車(chē)(包括特種車(chē)輛)、非機(jī)動(dòng)車(chē)、行人、交通信號(hào)燈、路面交通標(biāo)識(shí)、交通流量狀態(tài)和交通事件等的檢測(cè)和識(shí)別之外,我們還將進(jìn)一步增加對(duì)道路路面狀態(tài)和天氣等的檢測(cè)功能,滿(mǎn)足更精細(xì)化和更有預(yù)見(jiàn)性的交通管理需求?！?/p>

目前,基于英特爾?AI計(jì)算機(jī)視覺(jué)的新創(chuàng)中天?路側(cè)視頻邊緣計(jì)算設(shè)備已經(jīng)在北京、江西和山東等省市實(shí)現(xiàn)了廣泛的部署。在用戶(hù)實(shí)踐中,該設(shè)備展現(xiàn)了以下顯著的優(yōu)勢(shì):通過(guò)充分利用英特爾的各類(lèi)芯片產(chǎn)品的出色多媒體處理能力,深度學(xué)習(xí)加速能力,以及多任務(wù)多進(jìn)程的處理能力,該設(shè)備最多可以同時(shí)處理12路視頻,可以實(shí)現(xiàn)基于深度學(xué)習(xí)的車(chē)輛和行人實(shí)時(shí)檢測(cè)和分析,車(chē)流量和人流量的實(shí)時(shí)分析,為智能交通管理及時(shí)提供相關(guān)數(shù)據(jù)。

另外,該設(shè)備將視頻處理負(fù)載轉(zhuǎn)移到了邊緣端,能夠有效降低時(shí)延,緩解網(wǎng)絡(luò)轉(zhuǎn)發(fā)原始視頻信息的帶寬壓力和中心處理服務(wù)器的負(fù)載壓力,更好地保障信息安全,并能為未來(lái)拓展基于位置的服務(wù)。

得益于AI計(jì)算機(jī)視覺(jué)核心算法的創(chuàng)新,以及對(duì)于英特爾硬件和軟件潛能的充分挖掘,該設(shè)備可以精確檢測(cè)和分析視頻采集測(cè)覆蓋區(qū)域內(nèi)每輛車(chē)的特征信息和每條車(chē)道上的交通狀態(tài),并根據(jù)這些分析數(shù)據(jù)精細(xì)化控制交通信號(hào)燈等系統(tǒng)。該設(shè)備還可以通過(guò)視頻檢測(cè)不同車(chē)型,提供如特種車(chē)輛(救護(hù)車(chē)或消防車(chē))和公交車(chē)輛優(yōu)先通行等多種新業(yè)務(wù)。

fqj