chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何在深度學(xué)習(xí)結(jié)構(gòu)中使用紋理特征

穎脈Imgtec ? 2022-10-10 09:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

來源:AI公園,作者:Trapti Kalra

編譯:ronghuaiyang

導(dǎo)讀這是前一篇文章的繼續(xù),在這篇文章中,我們將討論紋理分析在圖像分類中的重要性,以及如何在深度學(xué)習(xí)中使用紋理分析。

在這篇文章中,我們將討論紋理分析在圖像分類中的重要性,以及如何在深度學(xué)習(xí)中使用紋理分析。我們還將討論一些常用的紋理提取技術(shù),這些技術(shù)用于預(yù)先訓(xùn)練的模型,以更有效地解決分類任務(wù)。

為了更好地理解本文中解釋的主題,我們假設(shè)讀者對紋理提取技術(shù)、遷移學(xué)習(xí)和預(yù)訓(xùn)練的模型(如ResNet、InceptionNet等)有基本的了解。

在過去的幾年里,深度學(xué)習(xí)在分類、分割和識別任務(wù)中顯示出了巨大的意義和有效性。然而,在許多情況下,傳統(tǒng)的基于cnn的架構(gòu)在基于紋理的分類任務(wù)中表現(xiàn)不佳。為了解決這個問題,最近有人提出了一些新的架構(gòu)。

以往的紋理分類工作大多使用預(yù)訓(xùn)練的模型,如ResNet、InceptionNet等,并將紋理特征提取技術(shù)之一應(yīng)用于預(yù)訓(xùn)練模型的激活輸出。

如果圖像數(shù)據(jù)集具有豐富的基于紋理的特征,如果將額外的紋理特征提取技術(shù)作為端到端體系結(jié)構(gòu)的一部分,則深度學(xué)習(xí)技術(shù)會更有效。

預(yù)訓(xùn)練模型的問題是,由于模型的復(fù)雜性,最后一層捕獲圖像的復(fù)雜特征。這些特征提供了關(guān)于物體形狀的信息,但不適合基于圖像中的重復(fù)模式來識別紋理細(xì)節(jié)。為了以一種優(yōu)雅的方式解決這個問題,研究人員提出了將紋理提取技術(shù)與CNN結(jié)合起來的概念。這樣紋理就能被更準(zhǔn)確地捕捉和分類。

在基于紋理的分類任務(wù)重,紋理分析對于深度學(xué)習(xí)的重要性

由于紋理基于局部模式,而傳統(tǒng)的深度學(xué)習(xí)方法強(qiáng)調(diào)復(fù)雜的特征,對紋理分類沒有幫助,因此,傳統(tǒng)的CNN架構(gòu)不能很好地執(zhí)行基于紋理特征的分類任務(wù)。為了讓深度學(xué)習(xí)在基于紋理的數(shù)據(jù)上更好地工作,需要有一種方法,可以從圖像中提取紋理特定的特征,并將其傳遞給全連接層,同時保留全局特征。這樣的架構(gòu)設(shè)置將使全連接的層具有信息紋理特征,并有助于更有效地估計(jì)類邊界。

e419c61e-4773-11ed-b116-dac502259ad0.jpg

圖1,局部特征提取

我們可以在圖1中看到,織物顯微圖像中提取的局部特征如何顯示幾乎相似的特征,這些提取的局部特征足以呈現(xiàn)織物的紋理類型。從給定的織物紋理中,假設(shè)使用紋理分析技術(shù)提取給定圖像的局部特征(LF)。相同的局部模式在整個圖像中重復(fù)。在這張織物圖像中,三個提取的局部特征的特征幾乎是相同的。與全局特征相比,提取這些局部特征將更有幫助,因?yàn)榫植刻卣髟诙x給定織物中存在的紋理類型時更有希望,從而更好地區(qū)分“紋理類型”類。

在紋理分析中,我們重點(diǎn)研究了紋理的識別和提取方法。更好地理解紋理分析方法有助于我們確定最適合特定紋理類型的技術(shù),以及如何將該方法應(yīng)用于給定的圖像,以提取紋理特征。

利用紋理分析的知識,我們可以開發(fā)基于紋理的技術(shù),并在神經(jīng)網(wǎng)絡(luò)架構(gòu)中以“層”的形式實(shí)現(xiàn)它們。這使得紋理分析方法可以與基于cnn的骨干架構(gòu)相結(jié)合。

如何在深度學(xué)習(xí)結(jié)構(gòu)中提取紋理特征?

在典型的CNN體系結(jié)構(gòu)中,沒有規(guī)定性的方法來強(qiáng)制在傳遞給全連接層的激活中存在紋理特征。假設(shè),我們必須根據(jù)紋理類型對一些圖像進(jìn)行分類。如果以某種方式,我們可以強(qiáng)制模型來解釋圖像中的紋理特征,那么模型的性能就會大大提高。

在最近的研究中,很少有紋理特征提取技術(shù)能夠以“專門的”可微網(wǎng)絡(luò)層的形式與CNN體系結(jié)構(gòu)集成。將紋理提取層與傳統(tǒng)CNN體系結(jié)構(gòu)集成后,其主要優(yōu)點(diǎn)是將局部特征與全局特征一起傳遞給全連通層,有助于更顯著地估計(jì)類邊界。

每種紋理提取技術(shù)能夠提取的紋理特征類型不同,因此沒有一種“通用的”紋理提取方法。

由于紋理是圖像的局部屬性,因此這些技術(shù)的工作原理是突出給定圖像的局部特征。

在下一節(jié)中,我們將討論最近開發(fā)的紋理提取技術(shù)以及它們在使用CNN架構(gòu)時應(yīng)用的紋理任務(wù)類型。

深入紋理提取技術(shù)、方法以及在預(yù)訓(xùn)練激活輸出上的應(yīng)用

DeepTen

DeepTen網(wǎng)絡(luò)是一種利用損失函數(shù)在端到端學(xué)習(xí)框架上學(xué)習(xí)視覺詞匯的技術(shù)。編碼層被利用在卷積層之上。DeepTen的獨(dú)特之處在于字典、特征、分類器和編碼表示都是同時學(xué)習(xí)的。這里的字典指的是輸入數(shù)據(jù)的稀疏表示。

為什么它有助于紋理分析

在一般的計(jì)算機(jī)視覺任務(wù)中,使用SIFT(尺度不變特征變換)或者濾波器組提取手工設(shè)計(jì)的特征。但在DeepTen中,每個部分都針對給定的端到端模式/紋理/材料識別任務(wù)進(jìn)行了調(diào)優(yōu)。整個管道被訓(xùn)練在一起,這些特征為識別任務(wù)提供了一個無順序的編碼。

如何使用它進(jìn)行基于紋理的分類

在DeepTen中使用了一個可學(xué)習(xí)的殘差編碼層,它將殘差學(xué)習(xí)和整個字典移植到CNN的一個單層中。DeepTen的編碼層有3個主要屬性:

  • 廣義魯棒殘差編碼器,描述特征分布。
  • 作為卷積層之上的池化層,增加了深度學(xué)習(xí)模型的靈活性。
  • 它使模型適合于傳輸預(yù)訓(xùn)練的特征,因?yàn)樗鼘W(xué)習(xí)了一個包含領(lǐng)域特定信息的固有字典。

e465e4f4-4773-11ed-b116-dac502259ad0.png

圖2,固有字典由編碼層學(xué)習(xí)

這里在圖2中,字典的碼字和輸入視覺描述符被用來計(jì)算殘差。利用兩者之間的距離來獲取賦值權(quán)值,最后對殘差向量和賦值權(quán)值進(jìn)行聚合。

DeepTen還使用了端到端學(xué)習(xí)技術(shù),因?yàn)榫幋a層是一個有向無環(huán)圖(圖2),它是可微的,可以使用使用反向傳播的隨機(jī)梯度下降來訓(xùn)練它。

用例

DeepTen縮小了CNN和經(jīng)典計(jì)算機(jī)視覺任務(wù)之間的差距,使其在紋理和材料識別任務(wù)中非常高效。要了解更多關(guān)于編碼層是如何實(shí)現(xiàn)的以及它是如何集成到CNN的,請參考:https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhang_Deep_TEN_Texture_CVPR_2017_paper.pdf

DEPNet

深度編碼池(Deep Encoding Pooling, DEP)是一種將局部空間信息與無序紋理細(xì)節(jié)相結(jié)合的技術(shù)。這里我們用一個有監(jiān)督的參數(shù)分布來找出類的邊界,并建立類之間的關(guān)系。

在經(jīng)典的方法中,使用定制的濾波器組過濾紋理圖像,然后使用基于直方圖或詞袋的方法對這些輸出進(jìn)行分組。特征提取是通過將直方圖或詞袋的輸出發(fā)送到預(yù)訓(xùn)練的卷積層來完成的。然而,在DEPNet中,紋理圖像被發(fā)送到卷積層,從那里的輸出被發(fā)送到編碼層和全局平均池化層。

為什么它有助于紋理分析:

DEPNet更關(guān)注局部空間信息和無序表示。

在這里,編碼層捕獲紋理外觀細(xì)節(jié)(即“無序紋理”:意思是不考慮圖像中局部特征的空間順序),而全局平均池化層捕獲空間信息。這兩層都用雙線性模型處理。

e48a2df0-4773-11ed-b116-dac502259ad0.png

圖3,DEPNet結(jié)構(gòu)

DEPNet雙線性模型使用全連接層的輸出。這些全連接層的輸出是向量,對兩個向量的外積沒有限制,也不涉及計(jì)算特征向量外積的計(jì)算復(fù)雜度。

在深度編碼池網(wǎng)絡(luò)中,

  • 紋理編碼層將整個字典學(xué)習(xí)和視覺編碼管道集成到一個單一的CNN層,這為紋理建模提供了一個無序的表示。
  • 雙線性模型是雙因素模型,如果一個因素不變,則另一個因素的輸出是線性的。這些因素平衡了兩個組成部分的貢獻(xiàn)。
  • DEPNet的卷積層與基于ImageNet的預(yù)訓(xùn)練cnn的非線性層相結(jié)合,用于特征提取。

如何使用它進(jìn)行基于紋理的分類

在很多情況下,數(shù)據(jù)集的兩個類彼此非常相似,經(jīng)常分類錯誤。例如,瀝青和石頭瀝青或樹葉和草(樹葉是背景)。在這種情況下,有必要為該圖像找到類標(biāo)簽和最近的類。為了解決這個問題,在尋找圖像與各種類之間的關(guān)系時使用了DEP-manifold。

從非參數(shù)算法來看,DEP-manifold采用了一個積分分布。深度神經(jīng)網(wǎng)絡(luò)利用這種分布直接預(yù)測紋理圖像的流形坐標(biāo)?;诓牧项惖南嗨菩裕⒘瞬牧献R別算法的混淆矩陣。分類錯誤的元素在對角線附近有一個接近的相關(guān)性,這些圖像可以被歸類為密切相關(guān)的類。

e4aae702-4773-11ed-b116-dac502259ad0.png

圖4,從超過1000張隨機(jī)圖像的GTOS訓(xùn)練集中提取特征,在分類層之前執(zhí)行

在圖4中,混淆矩陣中的深藍(lán)色代表高相關(guān)性,淺藍(lán)色代表低相關(guān)性。有些類分類錯誤,但它們可以被認(rèn)為是最接近的類??梢钥吹蕉鄠€深藍(lán)色點(diǎn)的列是類之間關(guān)系密切的類。

用例

DEPNet的整個體系結(jié)構(gòu)就像一個有向無環(huán)圖,所有的參數(shù)都可以通過反向傳播來訓(xùn)練。DEPNet就是一種專門用于地面地形識別的算法。論文:https://openaccess.thecvf.com/content_cvpr_2018/papers/Xue_Deep_Texture_Manifold_CVPR_2018_paper.pdf。

DSRNet

紋理技術(shù)通常側(cè)重于提取紋理的無序空間排列,但也重視紋理的內(nèi)在結(jié)構(gòu)特性。深度結(jié)構(gòu)顯示網(wǎng)絡(luò)(DSR-Net)側(cè)重于結(jié)構(gòu)表示,因?yàn)榧y理分析是通過捕捉紋理之間的空間關(guān)系來完成的。

為什么它有助于紋理分析

DSRNet背后的主要思想是,紋理的空間排列在其空間布局中可以有多種感知,但這些紋理之間存在空間依賴性,這種依賴性不會因空間布局而變化,并告訴我們紋理的結(jié)構(gòu)屬性。見下圖(圖5),一個紋理有多個感知。

e4fb11be-4773-11ed-b116-dac502259ad0.png

圖5,A:不同的紋理帶有移動的紋理元素,B:可移動紋理元素之間的空間依賴性如何使用它進(jìn)行基于紋理的分類

在DSRNet中捕捉紋理之間的結(jié)構(gòu)關(guān)系使用了兩個模塊 —— 原始捕獲模塊(PCM)和依賴學(xué)習(xí)模塊(DLM)

如圖6所示,DSR-Net有兩個分支 —— 結(jié)構(gòu)顯示分支和空間有序分支。首先以resnet50為骨干進(jìn)行特征提取,然后將特征串聯(lián)在一起形成特征池以獲取局部空間特征。將結(jié)構(gòu)顯示分支的輸出與空間有序分支的輸出相加,最后發(fā)送到全連接層。

e5dc2ee2-4773-11ed-b116-dac502259ad0.png

圖6,a) DSR-Net的完整架構(gòu) b) structure - reveal模塊的詳細(xì)架構(gòu)

在PCM空間上下文中,對紋理給出約束,這些約束在八個方向上給出。如圖7所示,方向映射用于從給定輸入捕獲主要模式。

e6144f48-4773-11ed-b116-dac502259ad0.png

圖7,原語捕獲模塊(PCM)示意圖,for each position指的是PCM計(jì)算的每一步

如圖8所示,PCM捕獲的模式被傳遞給DLM, DLM使用兩種協(xié)作策略在本地生成多個候選原語之間的依賴關(guān)系。

e64185ee-4773-11ed-b116-dac502259ad0.png

圖8所示。依賴學(xué)習(xí)模塊(DLM)的說明

用例

由于DSRNet基于紋理的結(jié)構(gòu)特性,它對亮度變化和空間變形具有很強(qiáng)的魯棒性。除了紋理分類,它還可以用于其他視覺任務(wù)。然而,DSRNet已被證明適合于場景解析和細(xì)粒度識別任務(wù)。有關(guān)DSRNet及其功能的更多信息,請參考//openaccess.thecvf.com/content_CVPR_2020/papers/Zhai_Deep_Structure-Revealed_Network_for_Texture_Recognition_CVPR_2020_paper.pdf

CLASSNet

它是一個使用CLASS (Cross-Layer Aggregation of Statistical Self-similarity)技術(shù)構(gòu)建的神經(jīng)網(wǎng)絡(luò)。這是通過在不同層間改變CNN的結(jié)構(gòu)來實(shí)現(xiàn)的,方法是向其添加統(tǒng)計(jì)自相似性(SSS),這是紋理的一個眾所周知的屬性。

紋理包含許多相互矛盾的特性,這些特性是由具有統(tǒng)計(jì)平穩(wěn)性的隨機(jī)過程捕獲的。

Statistical stationery是指兩個或兩個以上的區(qū)域在某些統(tǒng)計(jì)方面具有相似的值。紋理中的各種模式都由這些相同的統(tǒng)計(jì)數(shù)據(jù)表示。圖9是一個例子,其中圖像中的三片葉子形狀相似,在統(tǒng)計(jì)上是一致的。

e66ac6b6-4773-11ed-b116-dac502259ad0.png

圖9,自相似的圖例

為什么它有助于紋理分析

將小波變換與SSS結(jié)合形成跨層SSS,以便更好地提取特征圖進(jìn)行分類。同時將SSS與CNN結(jié)合使用,可以得到空間紋理信息。

如何使用它進(jìn)行基于紋理的分類

如圖10所示,從不同CNN層中選取的特征映射被疊加為特征張量。其中一個沿著通道維度的張量是跨層SSS。使用滑動窗口通過通道對局部特征進(jìn)行采樣,然后在每個采樣塊上計(jì)算差分盒計(jì)數(shù)(DBC)維數(shù)。最后,將所有塊上DBC維度的直方圖用作描述符。

e694416c-4773-11ed-b116-dac502259ad0.png

圖10,CLASS的說明。來自CNN的堆疊特征圖是在滑動窗口的幫助下采樣的。計(jì)算每個DBC塊的DBC維數(shù),得到每個DBC塊的直方圖

采用跨層方式的特征聚合是在Resnet各層內(nèi)的卷積層內(nèi)完成的,Resnet是CLASSNet的主干。由于DBC的計(jì)算是基于SSS的,因此可以方便地轉(zhuǎn)移到ResNet骨干;SSS在改進(jìn)特征聚合方面也很有用。

e6d6d07c-4773-11ed-b116-dac502259ad0.png

圖11,CLASSNet的體系結(jié)構(gòu)說明

圖11簡要描述了ResNet骨干網(wǎng)的連續(xù)殘塊(RB)如何與FC層和GAP層連接。殘差塊由幾個卷積層和跳過連接組成。CLASS模塊集成在所有RBs之上。

CLASS模塊有4個階段:

  • 尺寸歸一化:通過對每個特征向量進(jìn)行1x1卷積,然后向上采樣到一個固定的尺寸來歸一化。
  • 跨層分組:所有特性映射都堆疊在另一個之上。
  • DBC Pooling:在每個采樣路徑上計(jì)算DBC獲得本地補(bǔ)丁。
  • 聚合:聚合前,對feature map(從上一步獲得)進(jìn)行1x1卷積。對殘差向量應(yīng)用softmax計(jì)算軟直方圖。然后在此基礎(chǔ)上計(jì)算軟直方圖并共享bin中心。

用例

CLASSNet模塊沒有引入很多新的參數(shù),除了可學(xué)習(xí)的bin中心、用于軟直方圖的縮放因子和卷積層的權(quán)重 —— 用于大小歸一化,以及用于在DBC池化后生成軟直方圖。

所有這些參數(shù)都與ResNet一起訓(xùn)練。CLASS模塊適用于較輕量級的主干和首選輕量級模型的地方。CLASSNet是一種經(jīng)過驗(yàn)證的紋理識別模型,對各種數(shù)據(jù)集的紋理識別效果良好。有關(guān)CLASSNet及其性能的進(jìn)一步了解,請參閱//openaccess.thecvf.com/content/CVPR2021/papers/Chen_Deep_Texture_Recognition_via_Exploiting_Cross-Layer_Statistical_Self-Similarity_CVPR_2021_paper.pdf。

FENet

通常,CNN經(jīng)常使用全局平均池(GAP)來捕獲紋理的空間特征,但GAP無法描述來自紋理的復(fù)雜分布模式。為此,F(xiàn)ENet引入了分形編碼(Fractal Encoding, FE)的概念,利用局部全局層次分形分析,找出紋理在空間排列中的模式。

為什么它有助于紋理分析

分形幾何是一種通常用于紋理合成和紋理分析的方法。許多自然紋理都具有分形維數(shù)信息,這些信息告訴我們紋理圖像中圖案的規(guī)律性。如圖12所示,有兩種不同類型的紋理。計(jì)算這些圖像的分形維數(shù)將有助于輕松區(qū)分兩種類型的紋理。

e70a0226-4773-11ed-b116-dac502259ad0.png

圖12,圖像和對應(yīng)圖像的分形維數(shù)

這里,在圖12中,在特定區(qū)域的黑白像素值可以是相同的,但紋理的類型是非常不同的。

這些基于分形維數(shù)的統(tǒng)計(jì)信息被FE (fractal Encoding)用來描述紋理的空間布局,以便更好地提取特征。

如何使用它進(jìn)行基于紋理的分類

FE使用全局特征編碼模塊,通過特征圖找到特征的空間模式。FE模塊利用分形分析池(FAP)根據(jù)圖像的局部分形維數(shù)對紋理的點(diǎn)進(jìn)行分組。圖13是FE模塊完整的深度架構(gòu)。

e7371fd6-4773-11ed-b116-dac502259ad0.png

圖13,F(xiàn)E模塊完整示意圖。FE模塊從CNN骨干接收輸入,并通過兩條路徑發(fā)送。在第一個路徑中,輸入通過GAP和FC層,而在第二個路徑中,輸入通過上采樣層和FAP層。最后,兩者使用雙線性池化層(BLP)[4]進(jìn)行組合

FAP由三個子部分組成:

  • 局部維數(shù)估計(jì)塊(LDEB):從輸入特征片創(chuàng)建一個按點(diǎn)的局部分形維數(shù)圖。
  • 點(diǎn)分組塊(PGB):從LDEB獲取輸入,根據(jù)分形維數(shù)圖對特征切片進(jìn)行分類,即生成一系列軟隸屬度圖。
  • GDCB (Global Dimension Calculation Block):接受PGB的輸入,計(jì)算分形維數(shù)

當(dāng)FE模塊在ResNet的最后一層之前使用時,它的有效性得到了提高。

用例

FENet已經(jīng)產(chǎn)生了一些令人印象深刻的結(jié)果,它可以用于紋理識別,也可以用于問題分割,分類,并在數(shù)字圖像中用于紋理的一般建模。要深入了解FE模塊的工作、架構(gòu)以及計(jì)算的分形是如何與ResNet一起使用的,請查看:https://proceedings.neurips.cc/paper/2021/file/c04c19c2c2474dbf5f7ac4372c5b9af1-Paper.pdf。

Histogram

引入了直方圖層,主要利用直方圖捕獲局部空間特征的分布。它使用反向傳播來估計(jì)層的參數(shù)。直方圖層的合并帶來了兩個優(yōu)點(diǎn),即仔細(xì)組合過的特征和通過深度學(xué)習(xí)放大的紋理特征。

直觀的想法

直方圖是處理紋理數(shù)據(jù)的一種成功而熟練的方法。bin中心和寬度的確定對特征提取具有重要意義。這些邊界不是由人工決定的,而是通過反向傳播來評估的。

為什么它有助于紋理分析?

特性工程是一個廣泛的過程,需要大量的人力、計(jì)算能力和時間。傳統(tǒng)上,人們依靠手工技術(shù),如局部二元模式(LBP)和梯度直方圖來區(qū)分基于空間分布的特征。后來,深度學(xué)習(xí)出現(xiàn)了,并開始通過產(chǎn)生更好的結(jié)果取代這些技術(shù),但這里的問題是,深度學(xué)習(xí)需要很多層來提取最好的特征。為了解決這一問題,引入了直方圖層,將深度學(xué)習(xí)和手工特征的優(yōu)點(diǎn)結(jié)合起來并加以利用。

如何使用它進(jìn)行基于紋理的分類?

通常,在使用直方圖時,我們手動輸入直方圖的特征(bin center和width),但在這個直方圖層,我們使用徑向基函數(shù)(RBF) 作為直方圖bin的操作。

直方圖參數(shù)的精確值是通過反向傳播來估計(jì)的。如圖14所示,直方圖的參數(shù)將作為局部化的直方圖層,它將維護(hù)紋理分析的空間內(nèi)容。

e769c238-4773-11ed-b116-dac502259ad0.png

圖14,圖像包含了其他紋理,而不僅僅是草。局部直方圖可以區(qū)分圖像中包含純草(上兩個直方圖)或混合其他紋理(下兩個直方圖)的部分

直方圖層主要有兩部分:

軟bin操作:這里使用RBF為直方圖提供平滑估計(jì)。當(dāng)容器中心與特征值相等時,RBF的最大值為1,隨著特征值遠(yuǎn)離容器中心,RBF值趨于0。圖像的直方圖特征圖計(jì)算如圖15所示,其中M x N為輸入圖像的空間維度,S × T為創(chuàng)建大小為R × c的直方圖的滑動窗口。B為bin的總數(shù)。

  1. 反向傳播:對于更新,bin中心和寬度直方圖層通過反向傳播使用端到端學(xué)習(xí)。利用徑向基函數(shù)(RBF)計(jì)算直方圖層的梯度,并根據(jù)特征圖值與bin中心之間的距離更新參數(shù)。

e79a0f6a-4773-11ed-b116-dac502259ad0.png

圖15,局部直方圖操作的可視化。對于一個給定的圖像,總共生成了B個大小為R x C的直方圖特征圖(B為箱子總數(shù))。輸入圖像的大小是M x N, S x T是滑動窗口的大小

最后在模型中,將輸入圖像傳遞到卷積層提取卷積特征,然后將輸出圖像傳遞到全局平均池化(GAP),最后傳遞到直方圖層,獲取紋理、空間和低階卷積特征。然后,這些特征被連接在一起,然后被輸入一個全連接的層進(jìn)行分類。直方圖層的位置從1到5不等。在這個圖16中,來自最后一個卷積層(位置5)的特征映射被傳遞到直方圖層。

e7af46e6-4773-11ed-b116-dac502259ad0.png

圖16,ResNet直方圖層。卷積層的輸出被傳遞到GAP層和直方圖層。直方圖層的位置可以從1到5不等

用例

一旦從直方圖和CNN層中提取出圖像中的信息,然后將兩者一起進(jìn)行微調(diào)。直方圖層可以合并到任何人工神經(jīng)網(wǎng)絡(luò)中,可以用于任何紋理分析任務(wù),而不是分類任務(wù),如紋理合成、分割和紋理形狀。

有關(guān)直方圖層的更多信息,請查看研究:https://arxiv.org/pdf/2001.00215v9.pdf。

總結(jié)

上述討論的方法通常用于各種紋理分類任務(wù)。在為基于紋理的分類任務(wù)實(shí)現(xiàn)深度學(xué)習(xí)模型時,你可以使用這些技術(shù)或從這些技術(shù)中獲得見解,并將它們與你的自定義或預(yù)訓(xùn)練的模型一起使用。根據(jù)手頭的數(shù)據(jù)集和任務(wù),明智地使用這些技術(shù)將提高模型的準(zhǔn)確性。

英文原文:https://medium.com/@trapti.kalra_ibm/how-to-leverage-textural-features-in-deep-learning-architectures-fd817759d5e8

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    如何深度學(xué)習(xí)機(jī)器視覺的應(yīng)用場景

    深度學(xué)習(xí)視覺應(yīng)用場景大全 工業(yè)制造領(lǐng)域 復(fù)雜缺陷檢測:處理傳統(tǒng)算法難以描述的非標(biāo)準(zhǔn)化缺陷模式 非標(biāo)產(chǎn)品分類:對形狀、顏色、紋理多變的產(chǎn)品進(jìn)行智能分類 外觀質(zhì)量評估:基于學(xué)習(xí)的外觀質(zhì)量標(biāo)
    的頭像 發(fā)表于 11-27 10:19 ?21次閱讀

    何在AMD Vitis Unified IDE中使用系統(tǒng)設(shè)備樹

    您將在這篇博客中了解系統(tǒng)設(shè)備樹 (SDT) 以及如何在 AMD Vitis Unified IDE 中使用 SDT 維護(hù)來自 XSA 的硬件元數(shù)據(jù)。本文還講述了如何對 SDT 進(jìn)行操作,以便在 Vitis Unified IDE 中實(shí)現(xiàn)更靈活的使用場景。
    的頭像 發(fā)表于 11-18 11:13 ?2771次閱讀
    如<b class='flag-5'>何在</b>AMD Vitis Unified IDE<b class='flag-5'>中使</b>用系統(tǒng)設(shè)備樹

    何在vivadoHLS中使用.TLite模型

    本帖欲分享如何在vivadoHLS中使用.TLite模型。在Vivado HLS中導(dǎo)入模型后,需要設(shè)置其輸入和輸出接口以與您的設(shè)計(jì)進(jìn)行適配。 1. 在Vivado HLS項(xiàng)目中導(dǎo)入模型文件 可以
    發(fā)表于 10-22 06:29

    何在機(jī)器視覺中部署深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

    圖 1:基于深度學(xué)習(xí)的目標(biāo)檢測可定位已訓(xùn)練的目標(biāo)類別,并通過矩形框(邊界框)對其進(jìn)行標(biāo)識。 在討論人工智能(AI)或深度學(xué)習(xí)時,經(jīng)常會出現(xiàn)“神經(jīng)網(wǎng)絡(luò)”、“黑箱”、“標(biāo)注”等術(shù)語。這些概
    的頭像 發(fā)表于 09-10 17:38 ?661次閱讀
    如<b class='flag-5'>何在</b>機(jī)器視覺中部署<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>神經(jīng)網(wǎng)絡(luò)

    深度學(xué)習(xí)對工業(yè)物聯(lián)網(wǎng)有哪些幫助

    深度學(xué)習(xí)作為人工智能的核心分支,通過模擬人腦神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu),能夠自動從海量工業(yè)數(shù)據(jù)中提取復(fù)雜特征,為工業(yè)物聯(lián)網(wǎng)(IIoT)提供了從數(shù)據(jù)感知到智能決策的全鏈路升級能力。以下從技術(shù)賦能
    的頭像 發(fā)表于 08-20 14:56 ?733次閱讀

    請問如何在 Keil μVision 或 IAR EWARM 中使用觀察點(diǎn)進(jìn)行調(diào)試?

    何在 Keil μVision 或 IAR EWARM 中使用觀察點(diǎn)進(jìn)行調(diào)試?
    發(fā)表于 08-20 06:29

    自動駕駛中Transformer大模型會取代深度學(xué)習(xí)嗎?

    [首發(fā)于智駕最前沿微信公眾號]近年來,隨著ChatGPT、Claude、文心一言等大語言模型在生成文本、對話交互等領(lǐng)域的驚艷表現(xiàn),“Transformer架構(gòu)是否正在取代傳統(tǒng)深度學(xué)習(xí)”這一話題一直被
    的頭像 發(fā)表于 08-13 09:15 ?3888次閱讀
    自動駕駛中Transformer大模型會取代<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>嗎?

    當(dāng)深度學(xué)習(xí)遇上嵌入式資源困境,特征空間如何破局?

    近年來,隨著人工智能(AI)技術(shù)的迅猛發(fā)展,深度學(xué)習(xí)(Deep Learning)成為最熱門的研究領(lǐng)域之一。在語音識別、圖像識別、自然語言處理等領(lǐng)域,深度學(xué)習(xí)取得了顯著成果。從原理上看
    發(fā)表于 07-14 14:50 ?1088次閱讀
    當(dāng)<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>遇上嵌入式資源困境,<b class='flag-5'>特征</b>空間如何破局?

    嵌入式AI技術(shù)之深度學(xué)習(xí):數(shù)據(jù)樣本預(yù)處理過程中使用合適的特征變換對深度學(xué)習(xí)的意義

    ? 作者:蘇勇Andrew 使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí),網(wǎng)絡(luò)的每個層都將對輸入的數(shù)據(jù)做一次抽象,多層神經(jīng)網(wǎng)絡(luò)構(gòu)成深度學(xué)習(xí)的框架,可以深度理解數(shù)據(jù)中所要表示的規(guī)律。從原理上看,使用
    的頭像 發(fā)表于 04-02 18:21 ?1264次閱讀

    行業(yè)首創(chuàng):基于深度學(xué)習(xí)視覺平臺的AI驅(qū)動輪胎檢測自動化

    全球領(lǐng)先的輪胎制造商 NEXEN TIRE 在其輪胎生產(chǎn)檢測過程中使用了基于友思特伙伴Neurocle開發(fā)的AI深度學(xué)習(xí)視覺平臺,實(shí)現(xiàn)缺陷檢測率高達(dá)99.96%,是該行業(yè)首個使用AI平臺技術(shù)推動缺陷檢測自動化流程的企業(yè)。
    的頭像 發(fā)表于 03-19 16:51 ?764次閱讀
    行業(yè)首創(chuàng):基于<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>視覺平臺的AI驅(qū)動輪胎檢測自動化

    如何排除深度學(xué)習(xí)工作臺上量化OpenVINO?的特定層?

    無法確定如何排除要在深度學(xué)習(xí)工作臺上量化OpenVINO?特定層
    發(fā)表于 03-06 07:31

    軍事應(yīng)用中深度學(xué)習(xí)的挑戰(zhàn)與機(jī)遇

    人工智能尤其是深度學(xué)習(xí)技術(shù)的最新進(jìn)展,加速了不同應(yīng)用領(lǐng)域的創(chuàng)新與發(fā)展。深度學(xué)習(xí)技術(shù)的發(fā)展深刻影響了軍事發(fā)展趨勢,導(dǎo)致戰(zhàn)爭形式和模式發(fā)生重大變化。本文將概述
    的頭像 發(fā)表于 02-14 11:15 ?808次閱讀

    何在MATLAB中使用DeepSeek模型

    在 DeepSeek-R1(https://github.com/deepseek-ai/DeepSeek-R1) AI 模型橫空出世后,人們幾乎就立馬開始詢問如何在 MATLAB 中使用這些模型
    的頭像 發(fā)表于 02-13 09:20 ?4029次閱讀
    如<b class='flag-5'>何在</b>MATLAB<b class='flag-5'>中使</b>用DeepSeek模型

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系

    BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)之間存在著密切的關(guān)系,以下是對它們之間關(guān)系的介紹: 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò),即反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network
    的頭像 發(fā)表于 02-12 15:15 ?1320次閱讀

    何在Windows中使用MTP協(xié)議

    、圖片等)的通信協(xié)議,它被廣泛用于Android設(shè)備。以下是如何在Windows中使用MTP協(xié)議的詳細(xì)步驟: 1. 確保設(shè)備支持MTP 首先,你需要確認(rèn)你的設(shè)備支持MTP協(xié)議。大多數(shù)現(xiàn)代Android
    的頭像 發(fā)表于 01-03 10:26 ?4354次閱讀