chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示

      YOLOX目標(biāo)檢測(cè)模型的推理部署

      OpenCV學(xué)堂 ? 來(lái)源：OpenCV學(xué)堂 ? 作者：gloomyfish ? 2022-04-16 23:00 ? 次閱讀
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

      YOLOX目標(biāo)檢測(cè)模型

      曠視科技開(kāi)源了內(nèi)部目標(biāo)檢測(cè)模型-YOLOX，性能與速度全面超越Y(jié)OLOv5早期版本!

      fd7acd32-bc50-11ec-aa7f-dac502259ad0.png

      如此神奇原因在于模型結(jié)構(gòu)的修改，下圖說(shuō)明了改了什么地方：

      fd89a5b4-bc50-11ec-aa7f-dac502259ad0.png

      把原來(lái)的耦合頭部，通過(guò)1x1卷積解耦成兩個(gè)并行的分支，經(jīng)過(guò)一系列處理之后最終取得精度與速度雙提升。實(shí)驗(yàn)對(duì)比結(jié)果如下：

      fd9a396a-bc50-11ec-aa7f-dac502259ad0.png

      論文與代碼模型下載地址： 
      https://arxiv.org/pdf/2107.08430.pdfhttps://github.com/Megvii-BaseDetection/YOLOX

      ONNX格式模型轉(zhuǎn)與部署

      下載YOLOX的ONNX格式模型（github上可以下載） 
      https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo/ONNXRuntimehttps://github.com/Megvii-BaseDetection/YOLOX/releases/download/0.1.1rc0/yolox_s.onnx

      下載ONNX格式模型，打開(kāi)之后如圖：

      fdab5c7c-bc50-11ec-aa7f-dac502259ad0.png

      輸入格式：1x3x640x640，默認(rèn)BGR，無(wú)需歸一化。輸出格式：1x8400x85
      官方說(shuō)明ONNX格式支持OpenVINO、ONNXRUNTIME、TensorRT三種方式，而且都提供源碼，官方提供的源碼參考如下： 
      https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo
      本人就是參考上述的代碼然后一通猛改，分別封裝成三個(gè)類，完成了統(tǒng)一接口，公用了后處理部分的代碼，基于本人筆記本的硬件資源與軟件版本： 
      -GPU 3050Ti-CPU i7 11代-OS：Win10 64位-OpenVINO2021.4-ONNXRUNTIME：1.7-CPU-OpenCV4.5.4-Python3.6.5-YOLOX-TensorRT8.4.x
      在三個(gè)推理平臺(tái)上測(cè)試結(jié)果如下：

      fdb887bc-bc50-11ec-aa7f-dac502259ad0.png

      運(yùn)行截圖如下：onnxruntime推理

      fdc4c9d2-bc50-11ec-aa7f-dac502259ad0.png

      OpenVINO推理

      fde1d216-bc50-11ec-aa7f-dac502259ad0.png

      TensorRT推理 - FP32

      fdf9d622-bc50-11ec-aa7f-dac502259ad0.png

      轉(zhuǎn)威FP16

      fe1134ac-bc50-11ec-aa7f-dac502259ad0.png

      TensorRT推理 - FP16

      fe239098-bc50-11ec-aa7f-dac502259ad0.png

      總結(jié)

      之前我寫過(guò)一篇文章比較了YOLOv5最新版本在OpenVINO、ONNXRUNTIME、OpenCV DNN上的速度比較，現(xiàn)在加上本篇比較了YOLOX在TensorRT、OpenVINO、ONNXRUNTIME上推理部署速度比較，得到的結(jié)論就是： 
      CPU上速度最快的是OpenVINOGPU上速度最快的是TensorRT
      能不改代碼，同時(shí)支持CPU跟GPU推理是ONNXRUNTIMEOpenCV DNN毫無(wú)意外的速度最慢（CPU/GPU）

      原文標(biāo)題：YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較

      文章出處：【微信公眾號(hào)：OpenCV學(xué)堂】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

      審核編輯：湯梓紅
      聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
      • 模型
        +關(guān)注

        關(guān)注

        1

        文章

        3814

        瀏覽量

        52261
      • 目標(biāo)檢測(cè)
        +關(guān)注

        關(guān)注

        0

        文章

        234

        瀏覽量

        16541
      • OpenCV
        +關(guān)注

        關(guān)注

        33

        文章

        652

        瀏覽量

        45069

      原文標(biāo)題：YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較

      文章出處：【微信號(hào)：CVSCHOOL，微信公眾號(hào)：OpenCV學(xué)堂】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

      收藏 人收藏
      加入交流群
      微信小助手二維碼

      掃碼添加小助手

      加入工程師交流群

        評(píng)論

        相關(guān)推薦
        熱點(diǎn)推薦

        【幸狐Omni3576邊緣計(jì)算套件試用體驗(yàn)】YOLO26 板端部署

        訓(xùn)練模型獲取等； YOLO26：目標(biāo)檢測(cè)、實(shí)例分割、圖像分類、姿態(tài)估計(jì)、旋轉(zhuǎn)框檢測(cè)等； 準(zhǔn)備工作 包括硬件連接、OpenCV 安裝、Ultralytics 庫(kù)
        發(fā)表于 04-19 22:02

        【瑞薩AI挑戰(zhàn)賽】手寫數(shù)字識(shí)別模型在RA8P1 Titan Board上的部署

        提供了高性能、高易用性的硬件平臺(tái)，而E2Studio與ruhmi框架的組合，大幅降低了模型端側(cè)部署的門檻，相信在工業(yè)檢測(cè)、智能穿戴、智能家居等領(lǐng)域，該開(kāi)發(fā)板與端側(cè)AI部署方案將擁有廣泛
        發(fā)表于 03-15 20:42

        大模型推理服務(wù)的彈性部署與GPU調(diào)度方案

        7B 模型 FP16 推理需要約 14GB 顯存，70B 模型需要 140GB+，KV Cache 隨并發(fā)數(shù)線性增長(zhǎng)，顯存碎片化導(dǎo)致實(shí)際利用率不足 60%。
        的頭像 發(fā)表于 03-03 09:29 ?394次閱讀

        LLM推理模型是如何推理的？

        這篇文章《(How)DoReasoningModelsReason?》對(duì)當(dāng)前大型推理模型（LRM）進(jìn)行了深刻的剖析，超越了表面的性能宣傳，直指其技術(shù)本質(zhì)和核心局限。以下是基于原文的詳細(xì)技術(shù)原理、關(guān)鍵
        的頭像 發(fā)表于 01-19 15:33 ?688次閱讀
        LLM<b class='flag-5'>推理模型</b>是如何<b class='flag-5'>推理</b>的？

        AI端側(cè)部署開(kāi)發(fā)（SC171開(kāi)發(fā)套件V3）2026版

        AI端側(cè)部署開(kāi)發(fā)（SC171開(kāi)發(fā)套件V3）2026版 序列 課程名稱 視頻課程時(shí)長(zhǎng) 視頻課程鏈接 課件鏈接 工程源碼 1 Fibo AI Stack模型轉(zhuǎn)化指南 27分19秒 https
        發(fā)表于 01-15 10:31

        Termux手機(jī)攝像頭采集圖像/視頻流 部署 YOLO 模型推理

        Termux手機(jī)攝像頭采集圖像/視頻流 部署 YOLO 模型推理
        的頭像 發(fā)表于 12-14 07:26 ?3292次閱讀

        NVIDIA TensorRT LLM 1.0推理框架正式上線

        TensorRT LLM 作為 NVIDIA 為大規(guī)模 LLM 推理打造的推理框架，核心目標(biāo)是突破 NVIDIA 平臺(tái)上的推理性能瓶頸。為實(shí)現(xiàn)這一目
        的頭像 發(fā)表于 10-21 11:04 ?1397次閱讀

        廣和通發(fā)布端側(cè)目標(biāo)檢測(cè)模型FiboDet

        為提升端側(cè)設(shè)備視覺(jué)感知與決策能力，廣和通全自研端側(cè)目標(biāo)檢測(cè)模型FiboDet應(yīng)運(yùn)而生。該模型基于廣和通在邊緣計(jì)算與人工智能領(lǐng)域的深度積累，面向工業(yè)、交通、零售等多個(gè)行業(yè)提供高性能、低功
        的頭像 發(fā)表于 09-26 13:39 ?1720次閱讀

        什么是AI模型的推理能力

        NVIDIA 的數(shù)據(jù)工廠團(tuán)隊(duì)為 NVIDIA Cosmos Reason 等 AI 模型奠定了基礎(chǔ)，該模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。
        的頭像 發(fā)表于 09-23 15:19 ?1454次閱讀

        使用aicube進(jìn)行目標(biāo)檢測(cè)識(shí)別數(shù)字項(xiàng)目的時(shí)候，在評(píng)估環(huán)節(jié)卡住了，怎么解決？

        使用aicube進(jìn)行目標(biāo)檢測(cè)識(shí)別數(shù)字項(xiàng)目的時(shí)候，前面一切正常 但是在評(píng)估環(huán)節(jié)卡住了，一直顯示正在測(cè)試，但是完全沒(méi)有測(cè)試結(jié)果， 在部署完模型后在k230上運(yùn)行也沒(méi)有任何識(shí)別結(jié)果 期
        發(fā)表于 08-13 06:45

        基于米爾瑞芯微RK3576開(kāi)發(fā)板部署運(yùn)行TinyMaix：超輕量級(jí)推理框架

        本文將介紹基于米爾電子MYD-LR3576開(kāi)發(fā)平臺(tái)部署超輕量級(jí)推理框架方案：TinyMaix 摘自優(yōu)秀創(chuàng)作者-短笛君 TinyMaix 是面向單片機(jī)的超輕量級(jí)的神經(jīng)網(wǎng)絡(luò)推理庫(kù)，即 TinyML
        發(fā)表于 07-25 16:35

        如何在魔搭社區(qū)使用TensorRT-LLM加速優(yōu)化Qwen3系列模型推理部署

        TensorRT-LLM 作為 NVIDIA 專為 LLM 推理部署加速優(yōu)化的開(kāi)源庫(kù)，可幫助開(kāi)發(fā)者快速利用最新 LLM 完成應(yīng)用原型驗(yàn)證與產(chǎn)品部署。
        的頭像 發(fā)表于 07-04 14:38 ?2406次閱讀

        大模型推理顯存和計(jì)算量估計(jì)方法研究

        隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)大模型在各個(gè)領(lǐng)域得到了廣泛應(yīng)用。然而，大模型的推理過(guò)程對(duì)顯存和計(jì)算資源的需求較高，給實(shí)際應(yīng)用帶來(lái)了挑戰(zhàn)。為了解決這一問(wèn)題，本文將探討大模型
        發(fā)表于 07-03 19:43

        基于LockAI視覺(jué)識(shí)別模塊：C++目標(biāo)檢測(cè)

        快速部署高性能的目標(biāo)檢測(cè)應(yīng)用。 特點(diǎn)： 高性能：優(yōu)化了推理速度，在保持高精度的同時(shí)實(shí)現(xiàn)了快速響應(yīng)。 靈活性：支持多種預(yù)訓(xùn)練模型，可以根據(jù)具體
        發(fā)表于 06-06 14:43

        基于RK3576開(kāi)發(fā)板的RKLLM大模型部署教程

        Runtime則負(fù)責(zé)加載轉(zhuǎn)換后的模型，并在Rockchip NPU上進(jìn)行推理，用戶可以通過(guò)自定義回調(diào)函數(shù)實(shí)時(shí)獲取推理結(jié)果。 開(kāi)發(fā)流程分為模型轉(zhuǎn)換和板端
        的頭像 發(fā)表于 05-16 17:48 ?2584次閱讀
        基于RK3576開(kāi)發(fā)板的RKLLM大<b class='flag-5'>模型</b><b class='flag-5'>部署</b>教程