chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一文帶你讀懂全景分割

自行科技 ? 來源:自行科技 ? 作者:自行科技 ? 2022-09-08 13:48 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

圖像分割(image segmentation)是根據(jù)灰度、色彩、空間紋理、幾何形狀等特征將圖片分成若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域,并提出感興趣目標(biāo)的技術(shù)和過程。

目前圖像分割發(fā)展出以下幾個(gè)子領(lǐng)域:

語義分割(semantic segmentation)

是將輸入圖像中的每個(gè)像素點(diǎn)預(yù)測(cè)為不同的語義類別。更注重類別之間的區(qū)分,會(huì)重點(diǎn)將前景里的車輛和背景里的房屋、天空、地面分割開,但是不區(qū)分重疊車輛。主要有FCN,DeepLab,PSPNet等方法。

實(shí)例分割(instance segmentation)

是目標(biāo)檢測(cè)和語義分割的結(jié)合,將輸入圖像中的目標(biāo)檢測(cè)出來,對(duì)目標(biāo)包含的每個(gè)像素分配類別標(biāo)簽。更注重前景中目標(biāo)個(gè)體之間的分割,背景的房屋、天空、地面均為一類。主要有DeepMask,Mask R-CNN,PANet等方法。

全景分割(panoptic segmentation)

是語義分割和實(shí)例分割的綜合,旨在同時(shí)分割實(shí)例層面的目標(biāo)(thing)和語義層面的背景內(nèi)容(stuff),將輸入圖像中的每個(gè)像素點(diǎn)賦予類別標(biāo)簽和實(shí)例ID,生成全局的,統(tǒng)一的分割圖像。

poYBAGMZgkSAdABMAAD0J0Eu_P8805.png

01 全景分割的應(yīng)用與發(fā)展

從輸入數(shù)據(jù)上分類,全景分割可以分為基于RGB圖像的全景分割和基于點(diǎn)云數(shù)據(jù)的全景分割。

基于RGB圖像的全景分割算法可以分為三類。

1.box-based,thing和stuff使用不同的分支預(yù)測(cè),其中thing的分割基于目標(biāo)檢測(cè)boxes。

如Panoptic FPN模型,首先進(jìn)行特征提取,然后接兩個(gè)分支分別預(yù)測(cè)實(shí)例分割和語義分割。其中實(shí)例分割分支的預(yù)測(cè)過程是先預(yù)測(cè)出實(shí)例的boxes,再在每個(gè)box的范圍內(nèi)預(yù)測(cè)出對(duì)應(yīng)的實(shí)例分割,所以box-based的全景分割最終的預(yù)測(cè)結(jié)果主要取決于boxes的預(yù)測(cè)精度。語義分割分支直接預(yù)測(cè)輸出結(jié)果。最后融合兩個(gè)分支結(jié)果得到全景分割。

pYYBAGMZgkSADLBvAABmR6Fi6j4677.png

由于通過兩個(gè)分支分別預(yù)測(cè)thing和stuff,會(huì)導(dǎo)致出現(xiàn)兩個(gè)分支預(yù)測(cè)結(jié)果有重合區(qū)域,后處理去重過程和NMS比較類似:

(1)根據(jù)不同thing的置信度來去除重疊部分;

(2)以thing優(yōu)先原則去除thing和stuff之間的重疊部分;

(3)去除stuff標(biāo)記為“其他”或者低于給定面積閾值的區(qū)域。

上述模型中

使用FPN(Feature Pyramid Network)特征金字塔網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)。使用一個(gè)標(biāo)準(zhǔn)的網(wǎng)絡(luò)提取多個(gè)空間位置的特征,再在網(wǎng)絡(luò)的最高層開始上采樣并和對(duì)應(yīng)的特征提取網(wǎng)絡(luò)橫向連接,生成多個(gè)尺度的特征圖,從而獲得多尺度的語義信息。

因?yàn)榫W(wǎng)絡(luò)高層的特征雖然包含了豐富的語義信息,但是由于低分辨率,很難準(zhǔn)確地保存物體的位置信息。與之相反,低層的特征雖然語義信息較少,但是由于分辨率高,就可以準(zhǔn)確地包含物體位置信息,所以通過融合這些不同層的特征能達(dá)到識(shí)別和定位更準(zhǔn)確的預(yù)測(cè)效果。

FPN可以應(yīng)用到各種網(wǎng)絡(luò)模型,提升模型效果。如目標(biāo)檢測(cè)模型Faster R-CNN,實(shí)例分割模型Mask R-CNN,以及下述全景分割網(wǎng)絡(luò)Panoptic FCN。

poYBAGMZgkWAZ3JpAABFiP4HAi432.jpeg

特征金字塔網(wǎng)絡(luò)

2.box-free,thing和stuff使用不同的分支預(yù)測(cè),先預(yù)測(cè)語義再生成實(shí)例,不需要先進(jìn)行目標(biāo)檢測(cè)。

如Panoptic-DeepLab模型,去除了Panoptic FPN的box預(yù)測(cè)部分,直接預(yù)測(cè)出thing和stuff。為了得到目標(biāo)實(shí)例預(yù)測(cè),在實(shí)例分割分支同時(shí)預(yù)測(cè)了每個(gè)實(shí)例的中心點(diǎn)及其heatmap,得到像素點(diǎn)與實(shí)例關(guān)鍵點(diǎn)之間的關(guān)系,并依此融合形成類別未知的不同實(shí)例,另外語義分割分支直接預(yù)測(cè)輸出,最后結(jié)合兩個(gè)分支輸出得到全景分割的結(jié)果。

與box-based方法相比,去除了boxes預(yù)測(cè)步驟,推理速度更快,減少了由于boxes的限制對(duì)分割精度的影響。

pYYBAGMZgkWAdRhWAABtE5viB1Q338.png

3.thing和stuff完全使用相同的結(jié)構(gòu)進(jìn)行預(yù)測(cè),如Panoptic-FCN。

Panoptic FCN是將thing和stuff統(tǒng)一成特征描述子(kernels)來進(jìn)行預(yù)測(cè)。主要由FPN、Kernel Generator、Kernel Fusion和Feature Encoder四個(gè)部分組成。

先通過FPN得到多尺度特征圖,對(duì)每個(gè)特征圖的thing和stuff生成kernels權(quán)重,然后通過Kernel Fusion對(duì)多個(gè)特征圖的kernels權(quán)重進(jìn)行合并。

Kernel Generator由Kernel Head和Position Head兩個(gè)分支構(gòu)成,首先同時(shí)預(yù)測(cè)thing和stuff的位置,其中,thing通過預(yù)測(cè)中心點(diǎn)(centers)來定位和分類,stuff通過預(yù)測(cè)區(qū)域(regions)來定位和分類,然后根據(jù)thing和stuff的位置,從Kernel Head中產(chǎn)生kernels權(quán)重。Feature Encoder用來對(duì)高分辨率特征進(jìn)行編碼,最后將得到的kernels權(quán)重和編碼特征融合得到最終預(yù)測(cè)結(jié)果。

上述的box-based和box-free全景分割都是將thing和stuff拆分成兩個(gè)分支來進(jìn)行預(yù)測(cè)的,這必然會(huì)引入更多的后處理還有設(shè)計(jì)不同分支信息融合的操作,使得整個(gè)系統(tǒng)既冗余又復(fù)雜。

Panoptic FCN實(shí)現(xiàn)了真正的端到端全景分割,省去了子任務(wù)融合的操作,推理速度快,效果好。

poYBAGMZgkWAKloVAAC4xAGFBTQ663.png

02 全景分割在自動(dòng)駕駛中的應(yīng)用

1.可行駛區(qū)域識(shí)別,分割路面及車道線確定機(jī)動(dòng)車行駛區(qū)域或者當(dāng)前車道區(qū)域等。

由于這種區(qū)域通常是不規(guī)則多邊形,所以使用分割是一種比較好的解決方法。但是也存在邊緣分割不準(zhǔn)確的問題。

2.判斷碰撞區(qū)域內(nèi)是否有車輛、行人,與目標(biāo)檢測(cè)相比,分割能更精確表示車輛及行人的邊界位置。但是圖像中目標(biāo)重疊時(shí),存在像素分配沖突問題。

03 示例圖

1、ADAS視角城市道路全景分割。

pYYBAGMZgkWAebtlAABmxvxrHjU30.jpeg

poYBAGMZgkWAB1UAAACIMknL_fY28.jpeg

審核編輯:湯梓紅
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • RGB
    RGB
    +關(guān)注

    關(guān)注

    4

    文章

    807

    瀏覽量

    59941
  • 圖像分割
    +關(guān)注

    關(guān)注

    4

    文章

    182

    瀏覽量

    18341
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    讀懂接口模塊的組合應(yīng)用有哪些?

    讀懂接口模塊的組合應(yīng)用有哪些?
    發(fā)表于 05-17 07:15

    讀懂如何去優(yōu)化AC耦合電容?

    讀懂如何去優(yōu)化AC耦合電容?
    發(fā)表于 06-08 07:04

    讀懂什么是NEC協(xié)議

    讀懂什么是NEC協(xié)議?
    發(fā)表于 10-15 09:22

    讀懂中斷方式和輪詢操作有什么區(qū)別嗎

    讀懂中斷方式和輪詢操作有什么區(qū)別嗎?
    發(fā)表于 12-10 06:00

    讀懂車載攝像頭產(chǎn)業(yè)鏈

    車載攝像頭的快速成長(zhǎng)將帶動(dòng)產(chǎn)業(yè)鏈中其他環(huán)節(jié)的直接受益,攝像頭主要組成部分是鏡頭、CMOS傳感器、DSP、模組組裝及其他部件。帶你讀懂車載攝像頭產(chǎn)業(yè)鏈~
    發(fā)表于 11-22 15:41 ?29次下載

    讀懂NB-IoT 的現(xiàn)狀、挑戰(zhàn)和前景

    讀懂 NB-IoT 的現(xiàn)狀、挑戰(zhàn)和前景
    的頭像 發(fā)表于 02-28 15:42 ?6849次閱讀

    帶你讀懂耦合與退耦,上拉與下拉資料下載

    電子發(fā)燒友網(wǎng)為你提供帶你讀懂耦合與退耦,上拉與下拉資料下載的電子資料下載,更有其他相關(guān)的電路圖、源代碼、課件教程、中文資料、英文資料、參考設(shè)計(jì)、用戶指南、解決方案等資料,希望可以幫
    發(fā)表于 04-21 08:50 ?23次下載
    <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>帶你</b><b class='flag-5'>讀懂</b>耦合與退耦,上拉與下拉資料下載

    讀懂MCU的特點(diǎn)、功能及如何編寫

    讀懂MCU的特點(diǎn)、功能及如何編寫
    發(fā)表于 12-05 09:51 ?24次下載
    <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>讀懂</b>MCU的特點(diǎn)、功能及如何編寫

    讀懂圖像分割

    圖像分割(Image Segmentation)是計(jì)算機(jī)視覺領(lǐng)域中的項(xiàng)重要基礎(chǔ)技術(shù),是圖像理解中的重要環(huán)。
    的頭像 發(fā)表于 02-28 09:55 ?2433次閱讀

    沒你想的那么難 | 讀懂圖像分割

    來源:圖靈Topia(ID:turingtopia)圖像分割(ImageSegmentation)是計(jì)算機(jī)視覺領(lǐng)域中的項(xiàng)重要基礎(chǔ)技術(shù),是圖像理解中的重要環(huán)。近日,數(shù)據(jù)科學(xué)家
    的頭像 發(fā)表于 05-16 09:21 ?1402次閱讀
    沒你想的那么難 | <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>讀懂</b>圖像<b class='flag-5'>分割</b>

    讀懂,什么是BLE?

    讀懂,什么是BLE?
    的頭像 發(fā)表于 11-27 17:11 ?3478次閱讀
    <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>讀懂</b>,什么是BLE?

    讀懂車規(guī)級(jí)AEC-Q認(rèn)證

    讀懂車規(guī)級(jí)AEC-Q認(rèn)證
    的頭像 發(fā)表于 12-04 16:45 ?1349次閱讀

    讀懂微力扭轉(zhuǎn)試驗(yàn)機(jī)的優(yōu)勢(shì)

    讀懂微力扭轉(zhuǎn)試驗(yàn)機(jī)的優(yōu)勢(shì)
    的頭像 發(fā)表于 11-30 09:08 ?877次閱讀
    <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>讀懂</b>微力扭轉(zhuǎn)試驗(yàn)機(jī)的優(yōu)勢(shì)

    讀懂MSA(測(cè)量系統(tǒng)分析)

    讀懂MSA(測(cè)量系統(tǒng)分析)
    的頭像 發(fā)表于 11-01 11:08 ?1586次閱讀
    <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>讀懂</b>MSA(測(cè)量系統(tǒng)分析)

    讀懂單燈控制器工作原理

    讀懂單燈控制器工作原理
    的頭像 發(fā)表于 11-11 13:13 ?1297次閱讀
    <b class='flag-5'>一</b><b class='flag-5'>文</b><b class='flag-5'>讀懂</b>單燈控制器工作原理