chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

沒有大量訓練數(shù)據(jù)時怎么生成更多的數(shù)據(jù)

汽車玩家 ? 來源:人工智能遇見磐創(chuàng) ? 作者:人工智能遇見磐創(chuàng) ? 2020-05-04 08:59 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在圖像和物體識別方面,計算機表現(xiàn)優(yōu)于人類。

像Google和Microsoft這樣的大公司在圖像識別方面已經(jīng)超越了人類基準[1,2]。平均而言,人類大約有5%的時間在圖像識別任務(wù)上犯了錯誤。截至2015年,微軟的圖像識別軟件的錯誤率達到4.94%,與此同時,谷歌宣布其軟件的錯誤率降低到4.8%[3]

這是怎么做到的?

這可以通過在包含數(shù)百個對象類別、數(shù)百萬個訓練樣本的ImageNet數(shù)據(jù)集上訓練深度卷積神經(jīng)網(wǎng)絡(luò)來實現(xiàn)[1]。

百萬訓練數(shù)據(jù)!

例如,要教計算機從多個角度識別出一只貓貓,可能需要成千上萬張涵蓋不同角度的照片。

成功訓練計算機視覺任務(wù)的深層卷積神經(jīng)網(wǎng)絡(luò)需要大量數(shù)據(jù)。這是因為這些神經(jīng)網(wǎng)絡(luò)具有多個隱藏的處理層,并且隨著層數(shù)的增加,需要學習的樣本數(shù)也隨之增加。如果沒有足夠的訓練數(shù)據(jù),則該模型往往會很好地學習訓練數(shù)據(jù),這稱為過度擬合。如果模型過擬合,則其泛化能力很差,因此對未見的數(shù)據(jù)的表現(xiàn)很差。

但是,如果沒有大量的訓練數(shù)據(jù)怎么辦?

對于我們手頭的所有圖像識別任務(wù),并不是都會擁有數(shù)百萬個訓練樣本。對于某些任務(wù),收集成千上萬個樣本圖像甚至是一個挑戰(zhàn)。對于醫(yī)學圖像而言通常是這種情況,例如用于乳房癌檢測和定位的乳房X線照相術(shù),用于肺癌檢測的胸部X射線或用于定位腦腫瘤的MRI掃描。

這可以歸結(jié)為一個問題:當我們只有有限的數(shù)據(jù)時,我們?nèi)绾斡柧毮軌蚝芎玫赝瓿蛇@些任務(wù)的模型?

使用數(shù)據(jù)增強(data augmentation)生成更多訓練數(shù)據(jù)

當我們只有少量圖像數(shù)據(jù)用于訓練深度卷積神經(jīng)網(wǎng)絡(luò)時,我們可以使用數(shù)據(jù)增強技術(shù)從已經(jīng)擁有的圖像數(shù)據(jù)中生成更多訓練數(shù)據(jù)。

數(shù)據(jù)增強是一種為原始圖像生成多個圖像的技術(shù)。有幾種不同的數(shù)據(jù)增強技術(shù),Mikolajczyk和Grochowski在他們的論文中[4]將這些技術(shù)分為兩個子類別:使用基本圖像處理的數(shù)據(jù)增強和使用深度學習方法的數(shù)據(jù)增強。

幾何變換

諸如翻轉(zhuǎn)(Flip),裁剪(Crop),旋轉(zhuǎn)(Rotation)和移位(Translation)之類的幾何變換是一些常用的數(shù)據(jù)增強技術(shù)。我們將在本文中簡要討論它們。

翻轉(zhuǎn)

翻轉(zhuǎn)是取任意給定圖像的鏡像。它是最簡單的增強技術(shù)之一。圖像可以水平或垂直翻轉(zhuǎn)。但是,水平翻轉(zhuǎn)在這兩者之間更為常見。

裁剪

裁剪是一種數(shù)據(jù)增強技術(shù),用于通過裁剪邊界像素來減小原始圖像的大小。裁剪時不會保留空間尺寸。在這種類型的數(shù)據(jù)增強中,不能保證轉(zhuǎn)換后的圖像與原始圖像屬于相同的輸出標簽。

在上面的圖像中,通過從左右方向裁剪像素,從原始圖像生成了四個圖像。裁剪圖像的尺寸從256x256減小到227x277。

旋轉(zhuǎn)

圖像可以在軸上向左或向右旋轉(zhuǎn)1到359度。1到20度之間的旋轉(zhuǎn)稱為輕微旋轉(zhuǎn),并且是用于增強原始圖像的有用技術(shù)。隨著旋轉(zhuǎn)度的增加,轉(zhuǎn)換后的數(shù)據(jù)可能無法保留其原始標簽。

移位

翻譯是一種將圖像向左,向右,向上或向下平移的技術(shù)。這是一種非常有用的轉(zhuǎn)換技術(shù),可以避免數(shù)據(jù)中的位置偏差。移位圖像時,剩余空間將被填充為0,255或被隨機噪聲填充,從而保留了圖像的原始大小。

基于GAN的數(shù)據(jù)增強

生成對抗網(wǎng)絡(luò)(GAN)也稱為GAN,是一種生成建模技術(shù),其中可以從數(shù)據(jù)集中創(chuàng)建人工實例,從而保留原始集的相似特征[9]。

GAN由兩個相互競爭的人工神經(jīng)網(wǎng)絡(luò)(ANN)組成,即生成器 generator 與判別器 discriminator。生成器創(chuàng)建新的數(shù)據(jù)實例,而判別器則評估它們的真實性[10]。

這是由GAN生成的人臉圖像,這是在人臉上訓練出來的。請注意,這些是合成的面孔,而不是真實的人。

這些是一些數(shù)據(jù)增強技術(shù),通常用于從有限的數(shù)據(jù)集中生成更多數(shù)據(jù),從而可以訓練出更有效的卷積神經(jīng)網(wǎng)絡(luò)。

Olaf和他的團隊在訓練數(shù)據(jù)有限的情況下,利用在圖像上的平移、旋轉(zhuǎn)和隨機彈性變換等數(shù)據(jù)增強技術(shù)訓練U-net體系結(jié)構(gòu)模型,并在2015年ISBI細胞追蹤挑戰(zhàn)中以較大優(yōu)勢獲得這些類別的冠軍。

因此,下次在訓練卷積神經(jīng)網(wǎng)絡(luò)時,請使用這些技術(shù)來創(chuàng)建更多數(shù)據(jù)。

你平時使用了哪些數(shù)據(jù)增強技術(shù)?在下面評論分享的想法。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 計算機
    +關(guān)注

    關(guān)注

    19

    文章

    7806

    瀏覽量

    93185
  • 圖像識別
    +關(guān)注

    關(guān)注

    9

    文章

    533

    瀏覽量

    40051
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    自動駕駛大模型的訓練數(shù)據(jù)有什么具體要求?

    及環(huán)境的變化。 圖片源自:網(wǎng)絡(luò) 大模型能不能在真實交通環(huán)境中看懂路、判斷狀況、做出正確決定,關(guān)鍵在于它訓練時看到的東西有沒有覆蓋足夠多、夠真實、夠準確。若訓練數(shù)據(jù)有缺陷、種類單一、環(huán)境
    的頭像 發(fā)表于 12-26 09:32 ?239次閱讀
    自動駕駛大模型的<b class='flag-5'>訓練</b><b class='flag-5'>數(shù)據(jù)</b>有什么具體要求?

    NVIDIA助力湯元科技突破智能駕駛數(shù)據(jù)獲取與生成瓶頸

    蘇州湯元科技有限公司(以下簡稱“湯元科技”)是一家專注于三維重建與世界模型的科技公司,為自動駕駛與具身智能提供高質(zhì)量、多樣化的訓練數(shù)據(jù)。通過將自研的世界模型技術(shù)與 NVIDIA Cosmos 結(jié)合,實現(xiàn)真實物理世界的三維重建、場景泛化,并提升
    的頭像 發(fā)表于 09-06 15:16 ?1476次閱讀

    基于大規(guī)模人類操作數(shù)據(jù)訓練的VLA模型H-RDT

    近年來,機器人操作領(lǐng)域的VLA模型普遍基于跨本體機器人數(shù)據(jù)集預訓練,這類方法存在兩大局限:不同機器人本體和動作空間的差異導致統(tǒng)一訓練困難;現(xiàn)有大規(guī)模機器人演示數(shù)據(jù)稀缺且質(zhì)量參差不齊。得
    的頭像 發(fā)表于 08-21 09:56 ?1094次閱讀
    基于大規(guī)模人類操作<b class='flag-5'>數(shù)據(jù)</b>預<b class='flag-5'>訓練</b>的VLA模型H-RDT

    訓練平臺數(shù)據(jù)集過大無法下載數(shù)據(jù)集至本地怎么解決?

    起因是現(xiàn)在平臺限制了圖片數(shù)量,想要本地訓練下載數(shù)據(jù)集時發(fā)現(xiàn)只會跳出網(wǎng)絡(luò)異常的錯誤,請問這有什么解決辦法?
    發(fā)表于 07-22 06:03

    數(shù)據(jù)集下載失敗的原因?

    數(shù)據(jù)集下載失敗什么原因太大了嗎,小的可以下載,想把大的下載去本地訓練報錯網(wǎng)絡(luò)錯誤 大的數(shù)據(jù)集多大?數(shù)據(jù)量有多少?
    發(fā)表于 06-18 07:04

    ez-usb3.0如何更改slfifosync中的數(shù)據(jù),可以生成8bit數(shù)據(jù)位的usb固件?

    使用gpif ii生成.h文件后,ez usb suite中載入slfifosync文件夾,并將.h文件放進去。由于原slfifosync中好像只能選擇16或者32bit數(shù)據(jù)位的,生成的.img燒錄
    發(fā)表于 05-14 07:53

    技術(shù)分享 | 高逼真合成數(shù)據(jù)助力智駕“看得更準、學得更快”

    自動駕駛研發(fā)如何高效獲取海量訓練數(shù)據(jù)?高逼真合成數(shù)據(jù)技術(shù)正在提供新解法。通過仿真平臺可生成多場景、多傳感器的精準標注數(shù)據(jù)。文章詳解如何構(gòu)建符
    的頭像 發(fā)表于 04-29 10:47 ?3518次閱讀
    技術(shù)分享 | 高逼真合成<b class='flag-5'>數(shù)據(jù)</b>助力智駕“看得更準、學得更快”

    海思SD3403邊緣計算AI數(shù)據(jù)訓練概述

    AI數(shù)據(jù)訓練:基于用戶特定應(yīng)用場景,用戶采集照片或視頻,通過AI數(shù)據(jù)訓練工程師**(用戶公司****員工)** ,進行特征標定后,將標定好的訓練
    發(fā)表于 04-28 11:11

    借助OpenUSD與合成數(shù)據(jù)推動人形機器人發(fā)展

    適用于合成運動數(shù)據(jù)的 NVIDIA Isaac GR00T Blueprint 大幅加快人形機器人的數(shù)據(jù)生成訓練速度。
    的頭像 發(fā)表于 04-25 10:04 ?956次閱讀

    用PaddleNLP為GPT-2模型制作FineWeb二進制預訓練數(shù)據(jù)

    作者:算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 《用PaddleNLP在4060單卡上實踐大模型預訓練技術(shù)》發(fā)布后收到讀者熱烈反響,很多讀者要求進一步講解更多的技術(shù)細節(jié)。本文主要針對大語言模型的預訓練流程
    的頭像 發(fā)表于 03-21 18:24 ?4292次閱讀
    用PaddleNLP為GPT-2模型制作FineWeb二進制預<b class='flag-5'>訓練</b><b class='flag-5'>數(shù)據(jù)</b>集

    數(shù)據(jù)標注服務(wù)—奠定大模型訓練數(shù)據(jù)基石

    數(shù)據(jù)標注是大模型訓練過程中不可或缺的基礎(chǔ)環(huán)節(jié),其質(zhì)量直接影響著模型的性能表現(xiàn)。在大模型訓練中,數(shù)據(jù)標注承擔著將原始數(shù)據(jù)轉(zhuǎn)化為機器可理解、可學
    的頭像 發(fā)表于 03-21 10:30 ?3275次閱讀

    標貝數(shù)據(jù)標注服務(wù):奠定大模型訓練數(shù)據(jù)基石

    數(shù)據(jù)標注是大模型訓練過程中不可或缺的基礎(chǔ)環(huán)節(jié),其質(zhì)量直接影響著模型的性能表現(xiàn)。在大模型訓練中,數(shù)據(jù)標注承擔著將原始數(shù)據(jù)轉(zhuǎn)化為機器可理解、可學
    的頭像 發(fā)表于 03-21 10:27 ?1108次閱讀
    標貝<b class='flag-5'>數(shù)據(jù)</b>標注服務(wù):奠定大模型<b class='flag-5'>訓練</b>的<b class='flag-5'>數(shù)據(jù)</b>基石

    自動化標注技術(shù)推動AI數(shù)據(jù)訓練革新

    結(jié)果的高準確率,相對純?nèi)斯俗⑿士商嵘?0%以上,為用戶提供更性價比的數(shù)據(jù)方案和服務(wù)。本文將就自動化標注平臺是什么以及為AI數(shù)據(jù)訓練帶來哪些改變?yōu)楹诵倪M行討論。
    的頭像 發(fā)表于 03-14 16:46 ?1356次閱讀

    標貝自動化數(shù)據(jù)標注平臺推動AI數(shù)據(jù)訓練革新

    結(jié)果的高準確率,相對純?nèi)斯俗⑿士商嵘?0%以上,為用戶提供更性價比的數(shù)據(jù)方案和服務(wù)。本文將就自動化標注平臺是什么以及為AI數(shù)據(jù)訓練帶來哪些改變?yōu)楹诵倪M行討論。
    的頭像 發(fā)表于 03-14 16:42 ?1640次閱讀
    標貝自動化<b class='flag-5'>數(shù)據(jù)</b>標注平臺推動AI<b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>訓練</b>革新

    是否可以輸入隨機數(shù)據(jù)集來生成INT8訓練后量化模型?

    無法確定是否可以輸入隨機數(shù)據(jù)集來生成 INT8 訓練后量化模型。
    發(fā)表于 03-06 06:45