近幾年,可嵌入到神經(jīng)網(wǎng)絡(luò)架構(gòu)中的新型可微圖形層開始興起。從空間變換器到可微圖形渲染器,這些新型網(wǎng)絡(luò)層利用多年積累的計算機(jī)視覺和圖形學(xué)研究知識來構(gòu)建更高效的新型網(wǎng)絡(luò)架構(gòu)。通過將幾何先驗和約束顯式建模到神經(jīng)網(wǎng)絡(luò)中,我們?yōu)槟軌蚋咝Х€(wěn)健地以自監(jiān)督方式(這點(diǎn)更為重要)接受訓(xùn)練的架構(gòu)打開了大門。
總體來看,計算機(jī)圖形管道需要 3D 物體及其在場景中的絕對位置、對物體材質(zhì)的描述、光和攝像頭。然后,渲染器會解譯該場景描述,進(jìn)而生成合成渲染。
與之相比,計算機(jī)視覺系統(tǒng)會從圖像入手,試圖推斷場景的參數(shù)。這可以實現(xiàn)對場景中的物體,以及對其材質(zhì)、三維位置和方向的預(yù)測。
訓(xùn)練能夠解決這些復(fù)雜 3D 視覺任務(wù)的機(jī)器學(xué)習(xí)系統(tǒng)通常需要大量數(shù)據(jù)。由于標(biāo)記數(shù)據(jù)是一個成本高昂且復(fù)雜的過程,所以我們必須配備設(shè)計機(jī)器學(xué)習(xí)模型的機(jī)制,以設(shè)計出既能理解三維世界,又在訓(xùn)練時無需太多監(jiān)督的機(jī)器學(xué)習(xí)模型。通過將計算機(jī)視覺和計算機(jī)圖形學(xué)技術(shù)相結(jié)合,我們可以隨時利用大量無標(biāo)記數(shù)據(jù),這是絕無僅有的好機(jī)會。舉例而言,下圖所示的流程可以通過合成分析實現(xiàn),即視覺系統(tǒng)提取場景函數(shù),然后圖形系統(tǒng)根據(jù)這些函數(shù)返回渲染后的圖像。如果渲染結(jié)果與原始圖像匹配,則說明視覺系統(tǒng)精準(zhǔn)地提取了場景參數(shù)。在該設(shè)置中,計算機(jī)視覺和計算機(jī)圖形學(xué)攜手合作,形成了一個類似自編碼器的機(jī)器學(xué)習(xí)系統(tǒng),該系統(tǒng)能夠以自監(jiān)督方式進(jìn)行訓(xùn)練。
可微圖形層
接下來,我們將探索 TensorFlow Graphics 的一些可用功能。本次探索之旅并未涵蓋所有內(nèi)容;如需更多信息,請訪問我們的GitHub,探索 TensorFlow Graphics 推出的新功能。
變換
物體變換可控制物體的空間位置。如下圖所示,利用軸線角形式旋轉(zhuǎn)立方體。旋轉(zhuǎn)軸指向上方,旋轉(zhuǎn)方向為逆時針,因此立方體以逆時針方向旋轉(zhuǎn)。在此Colab 示例中,我們展示了如何在神經(jīng)網(wǎng)絡(luò)中訓(xùn)練旋轉(zhuǎn)形式,該神經(jīng)網(wǎng)絡(luò)在經(jīng)過訓(xùn)練后用于預(yù)測觀測物體的旋轉(zhuǎn)和平移。這項任務(wù)是很多應(yīng)用的核心,包括專注于與所處環(huán)境進(jìn)行交互的機(jī)器人。在這些場景中,用機(jī)械臂(例如,通過其手柄)抓取物體需要精確估測這些物體相對于機(jī)械臂的位置。
對攝像頭進(jìn)行建模
攝像頭模型在計算機(jī)視覺領(lǐng)域占據(jù)至關(guān)重要的地位,因為其對三維物體投影到圖像平面的外觀影響極大。如下圖所示,此立方體似乎正在放大和縮小,但事實上這只是焦距改變帶來的變化。
材質(zhì)
材質(zhì)模型定義光線與物體的交互過程,從而賦予物體獨(dú)特的外觀。例如,某些材質(zhì)(如石膏)會均勻地向各個方向反射光線,而鏡面等其他材質(zhì)只會產(chǎn)生鏡面反射。在此交互式Colab 筆記本中,您將了解如何使用 Tensorflow Graphics 生成以下渲染。您還將有機(jī)會試驗材質(zhì)和光線的參數(shù),充分了解其交互過程。準(zhǔn)確預(yù)測材質(zhì)屬性是許多任務(wù)的基礎(chǔ)。例如,它可以讓用戶在所處環(huán)境中放置虛擬家具,打造室內(nèi)環(huán)境與家具搭配的逼真場景,使用戶能夠準(zhǔn)確感知這件家具的外觀。
幾何學(xué) — 3D 卷積和池化
近年來,以點(diǎn)云或網(wǎng)格形式輸出三維數(shù)據(jù)的傳感器正在逐漸融入我們的日常生活,包括智能手機(jī)深度傳感器、自動駕駛汽車?yán)走_(dá)等等。由于其結(jié)構(gòu)不規(guī)則,在這些表征上執(zhí)行卷積要比在規(guī)則網(wǎng)格結(jié)構(gòu)上困難得多。TensorFlow Graphics 提供兩個 3D 卷積層和一個 3D 池化層,方便開展訓(xùn)練,例如訓(xùn)練網(wǎng)絡(luò)在網(wǎng)格上執(zhí)行對語義部分的分類(如下圖所示)
TensorBoard 3D
可視化調(diào)試是評估實驗是否按正確方向開展的重要方法。為此,TensorFlow Graphics 配備了 TensorBoard 插件,支持以交互方式顯示 3D 網(wǎng)格和點(diǎn)云。
-
變換器
+關(guān)注
關(guān)注
17文章
2151瀏覽量
111702 -
tensorflow
+關(guān)注
關(guān)注
13文章
330瀏覽量
61654 -
渲染器
+關(guān)注
關(guān)注
0文章
18瀏覽量
3337 -
Graphics
+關(guān)注
關(guān)注
0文章
11瀏覽量
5348
原文標(biāo)題:TensorFlow Graphics 簡介:當(dāng)計算機(jī)圖形學(xué)遇上深度學(xué)習(xí)
文章出處:【微信號:tensorflowers,微信公眾號:Tensorflowers】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
6口千兆圖像采集卡:突破多路高清視覺系統(tǒng)的傳輸瓶頸

機(jī)器視覺系統(tǒng)工業(yè)相機(jī)的成像原理及如何選型

別讓孔偏毀了信號!PCB 背鉆的 XY 精準(zhǔn)度如何做到分毫不差?
斑馬技術(shù)榮獲2025視覺系統(tǒng)設(shè)計創(chuàng)新獎
基于LockAI視覺識別模塊:C++多模板匹配
基于LockAI視覺識別模塊:C++模板匹配
康耐視全新發(fā)布In-Sight 8900視覺系統(tǒng)
工業(yè)相機(jī)采集卡:機(jī)器視覺系統(tǒng)的關(guān)鍵樞紐

使用Lattice mVision打造嵌入式視覺系統(tǒng)解決方案
使用安森美圖像傳感器優(yōu)化視覺系統(tǒng)設(shè)計

協(xié)作機(jī)器人TM25S:內(nèi)置視覺系統(tǒng)實現(xiàn)精準(zhǔn)作業(yè)

ADS1115 INL測量結(jié)果與datasheet不匹配是怎么回事?
安森美機(jī)器視覺系統(tǒng)解決方案

評論