導(dǎo)讀

在CV領(lǐng)域的很多應(yīng)用中，比如工業(yè)質(zhì)檢、遙感圖像、自動(dòng)駕駛，圖像分割是非常關(guān)鍵的技術(shù)。在這個(gè)過(guò)程中，速度和精度都是需要考慮的因素，而如何從網(wǎng)絡(luò)設(shè)計(jì)、模型部署方面進(jìn)行創(chuàng)新提升，PP-LiteSeg會(huì)從項(xiàng)目應(yīng)用、代碼實(shí)戰(zhàn)等角度給出詳細(xì)的行業(yè)分享。

支撐影視人像摳圖、醫(yī)療影像分析、自動(dòng)駕駛感知等萬(wàn)億級(jí)市場(chǎng)背后的核心技術(shù)是什么？那就要說(shuō)到頂頂重要的圖像分割技術(shù)。相比目標(biāo)檢測(cè)、圖像分類(lèi)等技術(shù)，圖像分割需要將每個(gè)像素點(diǎn)進(jìn)行分類(lèi)，在精細(xì)的圖像識(shí)別任務(wù)中不可替代，也是智能視覺(jué)算法工程師擁有關(guān)鍵核心競(jìng)爭(zhēng)力的關(guān)鍵！

圖1 圖像分割應(yīng)用 正因如此，DeepLabv3、OCRNet、BiseNetv2、Fast-SCNN等優(yōu)秀算法層出不窮，然而在實(shí)際產(chǎn)業(yè)落地過(guò)程中往往需要綜合考慮硬件性能、精度等多方面因素，對(duì)算法的需求也是苛刻的。往往業(yè)界算法在保障高識(shí)別精度的情況下，就會(huì)犧牲算法運(yùn)行速度；反之追求速度，則會(huì)帶來(lái)精度的大幅度損失。

圖2 各算法速度與精度平衡情況示意 如何能同時(shí)實(shí)現(xiàn)速度和精度的均衡，在當(dāng)前云、邊、端多場(chǎng)景協(xié)同的產(chǎn)業(yè)大趨勢(shì)下高標(biāo)準(zhǔn)滿(mǎn)足產(chǎn)業(yè)需求，是各屆研究人員致力投入的方向。 PP-LiteSeg就是這樣一個(gè)同時(shí)兼顧精度與速度的SOTA（業(yè)界最佳）語(yǔ)義分割模型。它基于Cityscapes數(shù)據(jù)集，在1080ti上精度為mIoU 72.0時(shí)，速度高達(dá)273.6 FPS, （mIoU 77.5 時(shí)，F(xiàn)PS為102.6），超越現(xiàn)有CVPR SOTA模型STDC，真正實(shí)現(xiàn)了精度和速度的SOTA均衡。

圖3PP-LiteSeg精度/速度說(shuō)明 空口無(wú)憑，歡迎優(yōu)秀的你直接試用?。ㄓ浀肧tar收藏跟進(jìn)最新?tīng)顟B(tài)）傳送門(mén)：https://github.com/PaddlePaddle/PaddleSeg

更值得令人驚喜的是，PP-LiteSeg不僅在開(kāi)源數(shù)據(jù)集評(píng)測(cè)效果優(yōu)秀，在產(chǎn)業(yè)數(shù)據(jù)集也表現(xiàn)出了驚人的實(shí)力！例如在質(zhì)檢、遙感場(chǎng)景，PP-LiteSeg的精度與高精度、大體積的OCRNet持平，而速度卻快了近7倍?。?！

圖4 PP-LiteSeg和OCRNet 在某工業(yè)質(zhì)檢數(shù)據(jù)集識(shí)別情況對(duì)比

圖4 PP-LiteSeg和OCRNet 在deepglobe數(shù)據(jù)集識(shí)別情況對(duì)比 那PP-LiteSeg為何可以擁有這么優(yōu)秀的效果呢？ PP-LiteSeg提出三個(gè)創(chuàng)新模塊：靈活的解碼模塊（FLD）、注意力融合模塊（UAFM）、簡(jiǎn)易金字塔池化模塊（SPPM）。FLD靈活調(diào)整解碼模塊中通道數(shù)，平衡編碼模塊和解碼模塊的計(jì)算量，使得整個(gè)模型更加高效；UAFM模塊效地加強(qiáng)特征表示，更好地提升了模型的精度；SPPM模塊減小了中間特征圖的通道數(shù)、移除了跳躍連接，使得模型性能進(jìn)一步提升。

圖5 PP-LiteSeg 模型結(jié)構(gòu)和優(yōu)化點(diǎn) 正是基于這些模塊的設(shè)計(jì)與改進(jìn)，最終PP-LiteSeg超越其他方法，在1080ti上精度為mIoU 72.0時(shí)，速度高達(dá)273.6 FPS , （mIoU 77.5 時(shí)，F(xiàn)PS為102.6），實(shí)現(xiàn)了精度和速度的SOTA平衡。
為了讓開(kāi)發(fā)者們更深入的了解PP-LiteSeg這個(gè)SOTA模型，解決落地應(yīng)用難點(diǎn)，掌握產(chǎn)業(yè)實(shí)踐的核心能力，飛槳團(tuán)隊(duì)精心準(zhǔn)備了精品直播課！

審核編輯 ：李倩