伴隨著深度神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，高階自動(dòng)駕駛算法正從傳統(tǒng)2D感知向更先進(jìn)的3D感知范式加速轉(zhuǎn)變，這在為智能駕駛落地應(yīng)用提供更多可能性的同時(shí)，也對(duì)實(shí)際開(kāi)發(fā)效率提出了更高的挑戰(zhàn)。在這個(gè)“快魚(yú)吃慢魚(yú)”的時(shí)代，“效率”已然成為產(chǎn)業(yè)玩家決勝智能駕駛“世界杯”的關(guān)鍵。搶灘智能駕駛技術(shù)高地，需要比快再快一點(diǎn)。

為了幫助產(chǎn)業(yè)開(kāi)發(fā)者更高效地完成基于征程?系列芯片的性能驗(yàn)證與開(kāi)發(fā)部署，地平線面向智能汽車(chē)產(chǎn)業(yè)客戶與生態(tài)伙伴提供了參考算法開(kāi)發(fā)加速包，避免對(duì)于典型任務(wù)的“重復(fù)造輪”，大幅降低算法開(kāi)發(fā)門(mén)檻，加速產(chǎn)品原型的開(kāi)發(fā)與迭代，實(shí)現(xiàn)計(jì)算與效率的并進(jìn)“狂飆”。

軟硬協(xié)同優(yōu)化，發(fā)揮極致計(jì)算性能

地平線作為最懂芯片的軟件公司和最懂軟件的芯片公司，始終踐行“軟硬結(jié)合”的技術(shù)理念，依托征程?系列芯片平臺(tái)打造的地平線天工開(kāi)物?芯片工具鏈，能夠讓算法充分受益軟硬結(jié)合所帶來(lái)的極致性能表現(xiàn)。

天工開(kāi)物提供了算法開(kāi)發(fā)全生命周期內(nèi)所需的完善軟件工具，能夠滿足模型量化、優(yōu)化、編譯、仿真、部署、調(diào)試等各個(gè)開(kāi)發(fā)環(huán)節(jié)的需要。特別是在模型量化方面，提供量化感知訓(xùn)練（QAT）和訓(xùn)練后量化（PTQ）兩類(lèi)方式，可有效縮減模型大小，加速深度學(xué)習(xí)推理效率。同時(shí)，地平線在工具鏈基礎(chǔ)之上，進(jìn)一步提供了豐富的參考算法，全面滿足開(kāi)發(fā)者對(duì)計(jì)算性能與開(kāi)發(fā)效率的要求與期待。

目前，地平線芯片工具鏈已積累近200家客戶與生態(tài)伙伴的應(yīng)用實(shí)踐經(jīng)驗(yàn)，研發(fā)水平各異的開(kāi)發(fā)團(tuán)隊(duì)均能借助這一“得力武器”顯著提升開(kāi)發(fā)效率。經(jīng)統(tǒng)計(jì)，通過(guò)天工開(kāi)物芯片工具鏈在征程與旭日芯片上進(jìn)行算法部署的用戶，模型首次遷移成功率超過(guò)80%，性能和精度水平都能夠充分滿足業(yè)務(wù)預(yù)期。

降低軟件開(kāi)發(fā)門(mén)檻，靈活滿足多樣化開(kāi)發(fā)需求

智能駕駛算法工程師在開(kāi)發(fā)部署中主要涉及兩類(lèi)典型訴求，一方面是期待快速了解某個(gè)典型模型在征程芯片上的性能表現(xiàn)，另一方面則希望針對(duì)具體場(chǎng)景任務(wù)，高效完成在征程芯片上的部署調(diào)優(yōu)。針對(duì)前者，地平線提供了豐富基礎(chǔ)算法與相應(yīng)的benchmark；對(duì)于后者，則提供一系列經(jīng)過(guò)充分調(diào)優(yōu)的場(chǎng)景參考算法。

基礎(chǔ)參考算法

通過(guò)對(duì)智能駕駛算法演進(jìn)與漸進(jìn)式落地的持續(xù)探索，地平線構(gòu)建了包含數(shù)百款算法模型的benchmark驗(yàn)證庫(kù)，用于驗(yàn)證芯片工具鏈對(duì)于各類(lèi)算法的廣泛適用性，地平線還進(jìn)一步篩選典型模型作為基礎(chǔ)示例，幫助開(kāi)發(fā)者快速開(kāi)展benchmark性能評(píng)測(cè)，其中既包含產(chǎn)業(yè)普遍關(guān)注的常見(jiàn)模型，也包含了地平線推薦的基礎(chǔ)模型。值得一提的是，為響應(yīng)高階智能駕駛開(kāi)發(fā)需求，地平線還基于公版Transformer結(jié)構(gòu)開(kāi)發(fā)了適配于征程5的Swin-Transformer，能夠高效支持SW-MSA和W-MSA結(jié)構(gòu)，該模型在征程5芯片上的性能與端側(cè)最強(qiáng)GPU上的部署性能相當(dāng)。

除了基于公版改進(jìn)的基礎(chǔ)示例模型，地平線還開(kāi)發(fā)提供了包含MixVarGENet在內(nèi)，更為高效的自研模型。這類(lèi)模型結(jié)構(gòu)能夠充分發(fā)揮征程5的算力優(yōu)勢(shì)，顯著提升網(wǎng)絡(luò)性能、減少訪存時(shí)間。用戶通過(guò)自由選用征程芯片高效支持的基礎(chǔ)模型，在保證運(yùn)行效率和任務(wù)表現(xiàn)的前提下，輕松實(shí)現(xiàn)自有算法的快速遷移與二次開(kāi)發(fā)。

目前，相關(guān)基礎(chǔ)示例模型均已隨征程5芯片工具鏈發(fā)版，用戶可直接通過(guò)「地平線開(kāi)發(fā)者社區(qū)」獲取相關(guān)文檔與開(kāi)發(fā)包，復(fù)現(xiàn)benchmark結(jié)果。

駕駛場(chǎng)景參考算法

智能駕駛嵌入式算法開(kāi)發(fā)周期長(zhǎng)、投入大、門(mén)檻高，benchmark能夠幫助開(kāi)發(fā)者快速了解典型模型在征程芯片上的性能表現(xiàn)，而在面向?qū)嶋H業(yè)務(wù)場(chǎng)景的開(kāi)發(fā)過(guò)程中，工程師依然要在場(chǎng)景算法的設(shè)計(jì)與調(diào)優(yōu)上花費(fèi)不少精力。

面對(duì)此類(lèi)挑戰(zhàn)，地平線提煉了智能駕駛場(chǎng)景下的各類(lèi)典型難題，并基于公開(kāi)數(shù)據(jù)集提供了一系列經(jīng)過(guò)充分優(yōu)化的場(chǎng)景參考算法，當(dāng)前已覆蓋目標(biāo)檢測(cè)、光流預(yù)測(cè)、語(yǔ)義分割、車(chē)道線檢測(cè)等常見(jiàn)自動(dòng)駕駛?cè)蝿?wù)，還提供支持?jǐn)z像頭與激光雷達(dá)等多類(lèi)傳感器的感知模型，面向高階智能駕駛應(yīng)用，地平線還提供支持Transformer、BEV等當(dāng)下主流算法的先進(jìn)模型示例，助力客戶與生態(tài)伙伴快速布局高階智能駕駛業(yè)務(wù)。

2D場(chǎng)景參考算法

地平線參考算法開(kāi)放提供面向多種感知任務(wù)的2D場(chǎng)景模型，例如征程3、征程5芯片均可支持基于anchor-free實(shí)現(xiàn)的2D檢測(cè)模型FCOS，同時(shí)開(kāi)放提供包括U-Net、DeepLab等極具代表性的語(yǔ)義分割模型，以及GANet車(chē)道線檢測(cè)、PWCNet光流預(yù)測(cè)等多類(lèi)示例模型。

3D感知參考算法

在高階自動(dòng)駕駛感知算法中，3D感知?jiǎng)萑缙浦?，成為主流技術(shù)應(yīng)用方案。對(duì)此，地平線參考算法集成了基于Transformer的純視覺(jué)BEV模型、基于雷達(dá)點(diǎn)云的3D檢測(cè)模型以及單目3D目標(biāo)檢測(cè)算法。

BEV算法能夠從高處統(tǒng)觀全局提供“上帝視角”，地平線所提供的BEV感知模型集成了目標(biāo)檢測(cè)和語(yǔ)義分割多重任務(wù)，可開(kāi)放支持包括IPM、Transformer、LSS等多種轉(zhuǎn)換方式，并在IPM基礎(chǔ)上提供融合時(shí)序特征的bev\_ ipm\_temporal模型；基于Transformer大模型，更開(kāi)放提供包括DETR 3D、GKT、PETR在內(nèi)的多類(lèi)感知示例。

在純視覺(jué)模型外，地平線針對(duì)基于激光雷達(dá)點(diǎn)云的3D檢測(cè)，還提供了備受業(yè)界關(guān)注的PointPillars參考算法。通過(guò)對(duì)voxel-based模型中的復(fù)雜前處理進(jìn)行針對(duì)性編譯優(yōu)化，該模型目前能在保證性能的情況下顯著降低延時(shí)，讓開(kāi)發(fā)體驗(yàn)更加絲滑。

同時(shí)，地平線在FCOS 2D的基礎(chǔ)上進(jìn)一步提供FCOS 3D目標(biāo)檢測(cè)算法。通過(guò)使用征程5支持的高效模型結(jié)構(gòu)efficientnet-b0替換backbone后，目前該示例模型性能可達(dá)雙核502FPS，精度表現(xiàn)更具優(yōu)勢(shì)。

目前，以上經(jīng)地平線充分優(yōu)化的場(chǎng)景參考算法均已上線地平線開(kāi)發(fā)者社區(qū)，未來(lái)還將持續(xù)拓展與豐富，為開(kāi)發(fā)者提供更為開(kāi)放與靈活的技術(shù)支持。

未來(lái)，地平線還將面向關(guān)鍵點(diǎn)檢測(cè)、地圖定位、多目標(biāo)跟蹤、軌跡預(yù)測(cè)、深度估計(jì)、視覺(jué)3D等更多場(chǎng)景算法，不斷推動(dòng)參考算法的研發(fā)擴(kuò)展和升級(jí)迭代，讓智能駕駛算法的開(kāi)發(fā)部署不再艱難，讓開(kāi)發(fā)者收獲遠(yuǎn)超預(yù)期的開(kāi)發(fā)體驗(yàn)。

堅(jiān)守Tier2定位，打造更開(kāi)放的智能計(jì)算平臺(tái)

在參考算法這一開(kāi)發(fā)加速包以外，地平線基于軟硬結(jié)合的前瞻技術(shù)理念，以“芯片+軟件開(kāi)發(fā)平臺(tái)”為核心，已搭建起開(kāi)放、成熟的智能計(jì)算開(kāi)放平臺(tái)。地平線通過(guò)持續(xù)提供高效能的征程系列芯片和配套完善的開(kāi)發(fā)工具，全力支持客戶與生態(tài)伙伴產(chǎn)品創(chuàng)新，為產(chǎn)業(yè)差異化需求提供最優(yōu)解，助力中國(guó)智能汽車(chē)產(chǎn)業(yè)引領(lǐng)全球發(fā)展。