當前,中國正在大力推進包括人工智能、5G和工業(yè)物聯(lián)網(wǎng)在內的新基礎設施建設,為智慧城市的發(fā)展注入新動能。其中,城市的智能交通是至關重要的組成部分。通過對于人工智能、計算機視覺、云計算和大數(shù)據(jù)等技術的融合應用,智能交通管理系統(tǒng)將使得道路使用者(人與各種車輛)與道路交通設施和諧互動,有助于提升交通安全與效率(包括緩解交通擁堵),從而改善人民的出行體驗。

面向智能交通管理的應用場景,深圳市新創(chuàng)中天信息科技發(fā)展有限公司(以下簡稱:新創(chuàng)中天)推出了基于英特爾?AI計算機視覺的智能交通路側視頻邊緣計算設備(以下簡稱:路側視頻邊緣計算設備),適用于交通路口、城市道路以及高速公路等不同的場景。部署在網(wǎng)絡邊緣的該設備搭載了英特爾?賽揚?系列CPU(Central Processing Unit:中央處理器)和英特爾?Movidius?Myriad? X VPU(Vision Processing Unit:視覺處理器),并基于 OpenVINO? 工具套件快速進行高性能AI計算機視覺算法開發(fā),實現(xiàn)了優(yōu)異的性能。以城市中的交通路口為例,該設備能夠實現(xiàn)對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別,并為路側交通基礎設施設備(如交通信號紅綠燈等)的自動控制提供相關視頻檢測分析數(shù)據(jù)。

背景:基于“端-邊-云”架構的智能交通管理系統(tǒng)

充分提升交通安全與效率,除了改善城市空間布局、提升道路供給等措施之外,還需積極發(fā)展基于“端-邊-云”架構的先進智能交通管理系統(tǒng)。如圖1所示,這一系統(tǒng)的核心理念是基于在端側對于交通狀況的全面感知、在邊緣和云對交通數(shù)據(jù)的精準綜合分析以及對路側交通基礎設施的實時控制,從而完成豐富多樣的智能交通管理功能。

圖1. 智能交通管理系統(tǒng)"端-邊-云"整體系統(tǒng)架構

在這一智能交通管理系統(tǒng)中,基于邊緣計算與AI計算機視覺的路側視頻邊緣計算設備是極為重要的基礎性設備。該設備負責對路側感知設備如相機所采集的視覺信息(包括視頻和圖像)進行實時計算分析,并在必要時與位于云端的控制中心進行數(shù)據(jù)交互,將優(yōu)化的信號相位和配時方案輸入給路側的交通信號控制機。結合其它的輸入信號,交通信號控制機通過其特定的算法確定最終的相位和配時方案,對路口的交通信號燈進行控制。

相較于傳統(tǒng)的感應線圈、磁力計以及激光雷達等檢測技術,基于各種相機采集信息的AI計算機視覺技術用于交通目標、狀態(tài)和事件的檢測和分析具有顯著的成本優(yōu)勢,非常適合大規(guī)模的部署。除了交通路況信息,該設備還可以感知天氣(如雨、雪、霧)等環(huán)境信息,并將這些信息和本地分析的結果上傳至控制中心,作進一步的處理。該設備的普及,有助于全面提升交通安全與效率。

挑戰(zhàn):面向智能交通管理的邊緣計算設備

路側視頻邊緣計算設備需要實現(xiàn)對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別,因此需要連接多種相機(包括電警相機、卡口相機、交通流量檢測相機、路口監(jiān)控球機和行人檢測相機)以收集所需的視頻信息。

電警相機:主要用于拍攝車輛尾部,識別車牌號碼等車輛信息;通常安裝在電警桿(距離停止線20-25米)上;1臺相機能覆蓋1-3條車道。卡口相機:主要用于拍攝車輛前部,識別車牌號碼等車輛信息;通常安裝在電警桿上;1臺相機能覆蓋1-3條車道。

交通流量檢測相機:主要用于拍攝車輛前部或尾部,檢測車流量、車道占有時間、排隊長度、擁堵路況等,將檢測分析數(shù)據(jù)提供給交通信號控制機,用于交通信號的相位和配時優(yōu)化;通常安裝在電警桿或者交通信號燈桿上;1臺相機覆蓋4-8車道。路口監(jiān)控球形相機:主要用于監(jiān)控路口,也可用于路口下行的反溢(擁堵)檢測;可以通過遠程控制隨時改變拍攝方向和焦距;通常安裝在電警桿上。

行人檢測相機:主要用于檢測行人等待區(qū)和斑馬線上的行人;通常安裝在行人信號燈燈桿或附近路側設施上。該設備是事關交通安全的關鍵設備,在實際的部署和使用中,需要解決來自于低成本與低功耗限制下的數(shù)據(jù)處理性能、可靠穩(wěn)定性、連接和兼容能力等多方面的技術挑戰(zhàn)。

該設備承擔著多路相機的視頻編解碼、基于深度學習計算機視覺的車輛和行人實時檢測和分析、車流量和人流量的實時分析、路口交通信號燈的相位和配時分析等負載。該設備的性能主要體現(xiàn)在可同時處理的視頻通道數(shù)、處理時延和準確率。因為涉及到對交通信號燈的控制,處理時延和準確率對于確保交通安全尤為重要。對于作為最終用戶的交通管理部門而言,性能還體現(xiàn)在交通安全與效率的提升。該設備性能的提升,對于芯片的處理能力提出了新的挑戰(zhàn),同時也要滿足客戶對整體設備成本和功耗的要求,因此需要高性價比和高能效比的芯片產品和系統(tǒng)架構設計。

該設備大多部署于環(huán)境惡劣的道路周邊,溫度和濕度的變化劇烈,外物沖擊等司空見慣。這就要求該設備具有極強的環(huán)境適應能力,能夠適應溫度和濕度的變化,具備防水、防塵、防腐蝕和防震動沖擊等能力,同時還需具備出色的電磁兼容和抗干擾能力,以確保在整個產品生命周期內不間斷地提供穩(wěn)定可靠的服務。

該設備需要連接多種相機和交通信號控制機等路側設備,并能與本文中提到的各種智能交通管理子系統(tǒng)進行數(shù)據(jù)交互。因此它的連接和兼容能力對整體性能至關重要。

新創(chuàng)中天?路側視頻邊緣計算設備搭載了英特爾?賽揚?CPU和英特爾?Movidius? Myriad? X VPU,擁有傳統(tǒng)計算機視覺和基于深度學習的計算機視覺的強大處理能力。其硬件與軟件架構分別如圖2和圖3所示。用于自動交通信號控制時,其與其它設備的連接如圖4所示。

圖2. 路側視頻邊緣計算設備硬件架構

圖3. 路側視頻邊緣計算設備軟件架構

圖4. 用于自動交通信號控制的路側視頻邊緣計算設備

英特爾?賽揚?系列CPU具備業(yè)界領先的性能,支持不同的操作系統(tǒng),能夠滿足廣泛的業(yè)務需求。這一系列CPU不僅具備較強的計算能力,還具備高性價比、高能效比和安全可靠等優(yōu)點。該處理器內嵌了英特爾?核芯顯卡,具備較強的視頻編碼和解碼處理能力?；谶@一處理器的路側視頻邊緣計算設備不但充分勝任對相關數(shù)據(jù)的計算、存儲與轉發(fā),以及對各種所連接設備的控制等功能需求,還具備低成本與低功耗的顯著優(yōu)勢。

Myriad? X VPU 是英特爾第一個包含神經計算引擎(用于深度神經網(wǎng)絡推理的專用硬件加速器)的視覺處理器。神經計算引擎結合 16 個強大的 SHAVE 內核和高吞吐量智能內存結構,使得Myriad? X VPU成為設備上深度神經網(wǎng)絡和計算機視覺應用的理想選擇。Myriad? X VPU可以使用 OpenVINO? 工具套件的英特爾分發(fā)版編程,從而將神經網(wǎng)絡移植到邊緣,還可以通過包含所有必要開發(fā)工具、框架和 API 的 Myriad 開發(fā)套件 (MDK: Myriad Development Kit) 編程,用于在芯片上實現(xiàn)自定義視覺、成像和深度神經網(wǎng)絡工作負載。在實際應用中,Myriad? X VPU展現(xiàn)出了算力強且功耗低等獨特優(yōu)勢。

新創(chuàng)中天正在使用 OpenVINO? 工具套件來提升視頻檢測和分析等算法的準確度,加速推理時間,并節(jié)約算力資源。OpenVINO? 工具套件是源自英特爾的一款功能非常全面的優(yōu)秀軟件工具套件,支持快速開發(fā)豐富多樣的應用和解決方案,來模擬人類的視覺 [1][2][3]。該工具套件基于卷積神經網(wǎng)絡 (CNN: Convolutional Neural Network),可在多種英特爾? 硬件中擴展計算機視覺 (CV: Computer Vision) 的工作負載,實現(xiàn)卓越性能。OpenVINO? 工具套件支持傳統(tǒng)計算機視覺和基于深度學習的計算機視覺的豐富多樣的應用,其主要包含的功能模塊如圖5所示。

圖5. OpenVINO?工具套件的主要功能模塊

支持跨英特爾?深度學習推理加速器的異構執(zhí)行,將通用 API 用于英特爾的不同硬件平臺,包括CPU、集成顯卡、包含有英特爾?Movidius? VPU的神經計算棒和英特爾? HDDL視覺處理加速卡、FPGA等等,可幫助客戶實現(xiàn)跨架構的算法移植和優(yōu)化；通過易于使用的計算機視覺函數(shù)庫和預優(yōu)化的內核,加快產品開發(fā)和上市速度;包括針對計算機視覺的標準優(yōu)化調用,包括 OpenCV、OpenCL和 OpenVX。

除了使用OpenVINO? 工具套件中的AI計算機視覺功能之外,路側視頻邊緣計算設備還用到了其中的英特爾?Media SDK,支持在英特爾?集成顯卡上進行高性能的視頻編碼和解碼。

得益于英特爾?賽揚?系列CPU和Myriad? X VPU提供的強大通用計算和AI計算機視覺推理能力,該設備能夠對前文提到的各種相機采集的視頻或圖像信息進行處理,對視頻畫面中的車輛和行人進行位置坐標標定,能夠實現(xiàn)對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別。以交通流量狀態(tài)為例,該設備能夠實時檢測每條車道和每輛車的狀態(tài)數(shù)據(jù),包括每個車道的車輛進入/離開狀態(tài)、車道占有時間、過車總數(shù)量、過車速度、區(qū)域內實時車輛數(shù)目、最后一輛車的位置、車隊長度和車型分類等關鍵數(shù)據(jù)信息。該設備可進一步對檢測數(shù)據(jù)進行統(tǒng)計分析。

新創(chuàng)中天研發(fā)總工程師周長軍表示:“路側視頻邊緣計算設備是智能交通管理的重要基礎性設備,能夠全面增強交通管理部門對于交通路況的感知能力,并基于對實時數(shù)據(jù)的分析進行高效管理,從而提升交通安全與效率。除了對于機動車(包括特種車輛)、非機動車、行人、交通信號燈、路面交通標識、交通流量狀態(tài)和交通事件等的檢測和識別之外,我們還將進一步增加對道路路面狀態(tài)和天氣等的檢測功能,滿足更精細化和更有預見性的交通管理需求?！?/p>

目前,基于英特爾?AI計算機視覺的新創(chuàng)中天?路側視頻邊緣計算設備已經在北京、江西和山東等省市實現(xiàn)了廣泛的部署。在用戶實踐中,該設備展現(xiàn)了以下顯著的優(yōu)勢:通過充分利用英特爾的各類芯片產品的出色多媒體處理能力,深度學習加速能力,以及多任務多進程的處理能力,該設備最多可以同時處理12路視頻,可以實現(xiàn)基于深度學習的車輛和行人實時檢測和分析,車流量和人流量的實時分析,為智能交通管理及時提供相關數(shù)據(jù)。

另外,該設備將視頻處理負載轉移到了邊緣端,能夠有效降低時延,緩解網(wǎng)絡轉發(fā)原始視頻信息的帶寬壓力和中心處理服務器的負載壓力,更好地保障信息安全,并能為未來拓展基于位置的服務。

得益于AI計算機視覺核心算法的創(chuàng)新,以及對于英特爾硬件和軟件潛能的充分挖掘,該設備可以精確檢測和分析視頻采集測覆蓋區(qū)域內每輛車的特征信息和每條車道上的交通狀態(tài),并根據(jù)這些分析數(shù)據(jù)精細化控制交通信號燈等系統(tǒng)。該設備還可以通過視頻檢測不同車型,提供如特種車輛(救護車或消防車)和公交車輛優(yōu)先通行等多種新業(yè)務。

fqj