案例簡介

博大視野（廈門）科技有限公司是業(yè)內(nèi)領(lǐng)先的智慧港口視覺方案提供商。公司為全球港口用戶提供堅(jiān)固而智慧的港機(jī)智能輔助駕駛系統(tǒng)。公司自主研發(fā)的BroADAS港機(jī)智能駕駛系統(tǒng)是全球首創(chuàng)的ADAS理念運(yùn)用于港口的可嵌入人工智能系統(tǒng)。BroADAS解決方案中通過使用NVIDIA GPU加速訓(xùn)練，使用TensorRT加速了視頻推理和特征工程方面的工作，提升了研發(fā)的效率。

背景

博大視野（廈門）科技有限公司于2016年更名成立，是一家卓越的港口視覺方案提供商。公司以“專注視覺AI 賦能智慧港口”為使命將戶外重工業(yè)攝像機(jī)、視覺AI算法、ADAS智能輔助駕駛理念三者合一，致力于為港口提供視覺解決方案，為起重機(jī)賦能，最終實(shí)現(xiàn)讓港口更安全更智慧的社會(huì)使命。

博大視野自主研發(fā)的BroADAS港機(jī)智能輔助駕駛系統(tǒng)，是行業(yè)領(lǐng)先的將視覺人工智能用于港口輔助駕駛的平臺(tái)?；诟哔|(zhì)量的港機(jī)作業(yè)數(shù)據(jù)，AI 可以減少在人形、鎖孔、集裝箱號以及港口一系列圖像識別方面的人工判斷，并解決視野盲區(qū)的安全隱患，通過建模、模型訓(xùn)練、推理，以確保所研發(fā)的產(chǎn)品為港機(jī)司機(jī)提供安全舒適的駕駛體驗(yàn)，并為港口提升經(jīng)濟(jì)效益。

公司總部位于廈門市軟件園二期，在新加坡、香港、上海、深圳設(shè)有辦事處。如今，公司正攜手業(yè)內(nèi)合作伙伴，服務(wù)于國內(nèi)外港口碼頭如新加坡港，上海港，廈門港，寧波港，泉州港和江蘇港口集團(tuán)。港機(jī)制造商振華重工、三一重工、海西重機(jī)、中聯(lián)、徐工、中車等等都是公司的長期合作伙伴。

挑戰(zhàn)

自動(dòng)化碼頭是未來趨勢，港機(jī)遠(yuǎn)控將成為未來自動(dòng)化碼頭的集裝箱運(yùn)輸部分的主要環(huán)節(jié)，通常的遠(yuǎn)控只實(shí)現(xiàn)控制，通過博大視野的BroADAS港機(jī)輔助駕駛系統(tǒng)，可以實(shí)現(xiàn)人形識別、輔助著箱（鎖孔識別）等功能。通過GPU進(jìn)行浮點(diǎn)運(yùn)算，讓識別功能的實(shí)現(xiàn)更快捷高效，實(shí)現(xiàn)資源的合理分配。

在港口行業(yè)的工業(yè)自動(dòng)化領(lǐng)域有幾大挑戰(zhàn)：一是數(shù)據(jù)，平臺(tái)需要海量的數(shù)據(jù)進(jìn)行建模，分析，對數(shù)據(jù)的處理要快、準(zhǔn)、全。二是算法，得到豐富的數(shù)據(jù)后，需要對數(shù)據(jù)進(jìn)行分類和處理，同時(shí)要用到深度學(xué)習(xí)、機(jī)器學(xué)習(xí)技術(shù)對數(shù)據(jù)進(jìn)行再次加工，計(jì)算出符合港口場景下圖像識別，需要花費(fèi)大量的研究投入。三是算力。需要支持海量策略的訓(xùn)練，只有CPU遠(yuǎn)遠(yuǎn)是不夠的，需要建立 CPU+GPU 異構(gòu)計(jì)算，實(shí)現(xiàn)資源的合理分配。

BroADAS港機(jī)智能輔助駕駛系統(tǒng)方案

該項(xiàng)目用到NVIDIA Jetson系列產(chǎn)品，用于實(shí)現(xiàn)BroADAS岸橋輔助駕駛系統(tǒng)中的行人識別，推理技術(shù)用到了英偉達(dá)的DeepStream SDK框架，該框架集成了豐富的視頻處理功能和神經(jīng)網(wǎng)絡(luò)推理模塊，極大的縮短了AI部署研發(fā)時(shí)間。

NVIDIA Jetson Nano 內(nèi)部有硬件編解碼模塊，加速了視頻編解碼過程，縮短成像延時(shí)，同時(shí)減輕CPU和GPU的負(fù)擔(dān)。

該項(xiàng)目采用了TensorRT進(jìn)行推理加速，推理速度相比未采用TensorRT時(shí)加快了10倍，使得成像延時(shí)低于350ms，解決了增加AI推理成像延時(shí)過長的問題。

影響

在NVIDIA GPU強(qiáng)大的AI算力加持下，博大視野提升了產(chǎn)品的研發(fā)效率，提升了視覺AI功能的準(zhǔn)確度，為博大視野服務(wù)于智慧港口領(lǐng)域打下了良好的基礎(chǔ)，在同行業(yè)競爭中占得先機(jī)。

博大視野創(chuàng)始人及CEO吳南海表示：“在港口行業(yè)，攝像頭就是港機(jī)設(shè)備的眼睛。特別是遠(yuǎn)控系統(tǒng)岸橋和場橋，司機(jī)的操控命令，都是通過攝像頭畫面進(jìn)行判斷。我們公司已經(jīng)為各個(gè)港口提供了穩(wěn)定的監(jiān)控系統(tǒng)，已經(jīng)有堅(jiān)固穩(wěn)定的“眼睛”， 現(xiàn)在我們要做的是，再給港機(jī)設(shè)備賦予智慧的大腦。博大視野自主研發(fā)的BroADAS岸橋輔助駕駛系統(tǒng)中的地面行人識別、正面吊360度環(huán)視行人識別系統(tǒng)，都有用到英偉達(dá)的DeepStream框架和TensorRT加速技術(shù)?！?/p>

博大視野技術(shù)總監(jiān)馮凱表示：‘’DeepStream 框架和TensorRT加速技術(shù)，這兩個(gè)技術(shù)特別適合應(yīng)用于攝像機(jī)的視頻推理加速、集裝箱鎖孔識別、車道線識別，我們會(huì)繼續(xù)擁抱 NVIDIA 的技術(shù)，從而不斷為智慧港口自動(dòng)化碼頭賦能。NVIDIA GPU硬件平臺(tái)為博大視野的產(chǎn)品研發(fā)提供了強(qiáng)大算力支撐，相信在英偉達(dá)初創(chuàng)加速計(jì)劃的助力下，博大視野的視覺AI將研發(fā)及迭代得更快、更穩(wěn)?！?/p>

編輯：jq