【地平線旭日X3派試用體驗】X3派開箱及開發(fā)環(huán)境搭建
本文來源電子發(fā)燒友社區(qū)，作者：yjp， 帖子地址：https://bbs.elecfans.com/jishu_2303179_1_1.html
地平線旭日X3派開發(fā)板是我見過，AI計算算力最強，開源程度最深，AI算法集成度最高的開發(fā)板，再此表示感謝。
環(huán)境安裝在進行AI算法開發(fā)之前請參考X3派用戶手冊完成系統(tǒng)安裝及配置，此時X3派上已默認安裝好了地平線Python版本AI推理引擎(hobot_dnn)及其配套依賴環(huán)境。hobot_dnn提供了Model、pyDNNTensor、TensorProperties三個類和load接口。您可通過如下方式獲取hobot_dnn的基本信息：
-------------------------------------------------------------------------------------------------------------------------------
python3
>>> from hobot_dnn import pyeasy_dnn as dnn
>>> dir(dnn)
['Model', 'TensorProperties', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'load', 'pyDNNTensor']
-------------------------------------------------------------------------------------------------------------------------------
AI推理引擎的更新可參考如下方式（出于系統(tǒng)安全、穩(wěn)定性的考慮，建議統(tǒng)一通過APT命令更新X3派板級開發(fā)包）：
-------------------------------------------------------------------------------------------------------------------------------
#更新package列表
sudo apt update
#升級所有已安裝的軟件包到最新版本
sudo apt full-upgrade
#清除緩存文件（非必須）
sudo apt clean
#重啟設備
sudo reboot
-------------------------------------------------------------------------------------------------------------------------------
1 推理接口介紹1.1 ModelAI算法模型類，描述模型的名稱，輸入、輸出數據屬性信息，forward 方法用來完成算法的推理。
-------------------------------------------------------------------------------------------------------------------------------
class hobot_dnn.pyeasy_dnn.Model
'''
Parameters：
1、name (string)：模型名稱
2、inputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor))：模型的輸入tensor
3、outputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor))：模型的輸出tensor
4、forward (args &args, kwargs &kwargs)：模型推理函數接口，輸入模型推理所必要的參數，返回模型推理結果
parameters：
input_tensor：輸入數據
core_id (int)：模型推理的core id，可為0,1,2，默認為0表示任意核推理
priority (int)：當前模型推理任務的優(yōu)先級，范圍[0~255]，越大優(yōu)先級越高
'''
-------------------------------------------------------------------------------------------------------------------------------
其中，forward方法的input_tensor支持三種格式輸入：
forward方法的返回值為模型推理結果，有如下兩種情況：
1.2 pyDNNTensorAI 算法輸入、輸出 tensor 類
-------------------------------------------------------------------------------------------------------------------------------
class hobot_dnn.pyeasy_dnn.pyDNNTensor
'''
Parameters：
1、properties (TensorProperties)：tensor的屬性，詳細參見本文1.3節(jié)
2、buffer (numpy)：tensor中的數據，數據訪問方式同numpy
3、name (string)：tensor的名稱
'''
-------------------------------------------------------------------------------------------------------------------------------
1.3 TensorPropertiesAI 算法輸入/輸出 tensor 的屬性類
-------------------------------------------------------------------------------------------------------------------------------
class hobot_dnn.pyeasy_dnn.TensorProperties
'''
Parameters：
1、tensor_type (string)：tensor的數據類型，如：NV12、BGR、float32等
2、dtype (string)：數據的存儲類型，同numpy數據類型，如：int8、uint8、float32等
3、layout (string)：數據排布格式，NHWC或者NCHW
4、shape (tuple)：數據的shape信息，例如：(1,3,224,224)
'''
-------------------------------------------------------------------------------------------------------------------------------
1.4 loadload接口用于加載模型
-------------------------------------------------------------------------------------------------------------------------------
hobot_dnn.pyeasy_dnn.load(model_file)
'''
接口支持兩種模型加載方式：
1、輸入模型的文件路徑，加載單個模型，或者單個pack模型
model_file = "/userdata/single_model.bin"
models = hobot_dnn.pyeasy_dnn.load(model_file)
2、輸入模型的文件列表，加載多個模型
model_file = ["model1.bin", "model2.bin"]
models = hobot_dnn.pyeasy_dnn.load(model_file)
接口返回hobot_dnn.pyeasy_dnn.Model類型的tuple列表
'''
-------------------------------------------------------------------------------------------------------------------------------
2 快速上手示例X3派配套AI推理示例默認安裝在/app/ai_inference目錄下，包含如下示例：
-------------------------------------------------------------------------------------------------------------------------------
|-- 01_basic_sample # 從本地讀取圖片并完成mobilenetv1分類模型推理
|-- 02_usb_camera_sample # 從USB camera獲取視頻數據并完成FCOS檢測模型推理
|-- 03_mipi_camera_sample # 從MIPI camera獲取視頻數據并完成FCOS檢測模型推理
|-- 05_web_display_camera_sample # 基于MIPI Camera的FCOS目標檢測及web端展示
|-- 06_yolov3_sample # 從本地讀取圖片并完成Yolov3檢測模型推理
|-- 07_yolov5_sample # 從本地讀取圖片并完成Yolov5檢測模型推理
`-- models
-------------------------------------------------------------------------------------------------------------------------------
本節(jié)將以01_basic_sample為例，為大家展示如何使用hobot_dnn完成模型推理。運行以下示例您需要準備編譯好的混合異構模型mobilenetv1_224x224_nv12.bin（存放于/app/ai_inference/models路徑下），以及一張圖片zebra_cls.jpg（存放于01_basic_sample文件夾下）。
-------------------------------------------------------------------------------------------------------------------------------
from hobot_dnn import pyeasy_dnn as dnn
import numpy as np
import cv2
# 查看模型輸入輸出節(jié)點的信息
def print_properties(pro):
print("tensor type:", pro.tensor_type)
print("data type:", pro.dtype)
print("layout:", pro.layout)
print("shape:", pro.shape)
# 依據模型input_type_rt決定是否需要進行數據格式轉換（本實例所用模型為nv12輸入）
def bgr2nv12_opencv(image):
height, width = image.shape[0], image.shape[1]
area = height * width
yuv420p = cv2.cvtColor(image, cv2.COLOR_BGR2YUV_I420).reshape((area * 3 // 2,))
y = yuv420p[:area]
uv_planar = yuv420p[area:].reshape((2, area // 4))
uv_packed = uv_planar.transpose((1, 0)).reshape((area // 2,))
nv12 = np.zeros_like(yuv420p)
nv12[:height * width] = y
nv12[height * width:] = uv_packed
return nv12
# 1.加載模型
models = dnn.load('../models/mobilenetv1_224x224_nv12.bin')
# 2.查看模型輸入輸出節(jié)點的信息
for input in models[0].inputs:
print_properties(input.properties)
for output in models[0].outputs:
print_properties(output.properties)
# 3.準備輸入數據
# 打開圖片
img_file = cv2.imread('./zebra_cls.jpg')
# 把圖片縮放到模型的輸入尺寸
h, w = models[0].inputs[0].properties.shape[2], models[0].inputs[0].properties.shape[3]
resized_data = cv2.resize(img_file, (w, h), interpolation=cv2.INTER_AREA)
nv12_data = bgr2nv12_opencv(resized_data)
# 4.模型推理
outputs = models[0].forward(nv12_data)
# 5.后處理
np.argmax(outputs[0].buffer)
print("cls id: %d Confidence: %f" % (np.argmax(outputs[0].buffer), outputs[0].buffer[0][np.argmax(outputs[0].buffer)]))
-------------------------------------------------------------------------------------------------------------------------------
地平線旭日X3派開發(fā)板是我見過，AI計算算力最強，開源程度最深，AI算法集成度最高的開發(fā)板，再此表示感謝。
環(huán)境安裝在進行AI算法開發(fā)之前請參考X3派用戶手冊完成系統(tǒng)安裝及配置，此時X3派上已默認安裝好了地平線Python版本AI推理引擎(hobot_dnn)及其配套依賴環(huán)境。hobot_dnn提供了Model、pyDNNTensor、TensorProperties三個類和load接口。您可通過如下方式獲取hobot_dnn的基本信息：
-------------------------------------------------------------------------------------------------------------------------------
python3
>>> from hobot_dnn import pyeasy_dnn as dnn
>>> dir(dnn)
['Model', 'TensorProperties', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'load', 'pyDNNTensor']
-------------------------------------------------------------------------------------------------------------------------------
AI推理引擎的更新可參考如下方式（出于系統(tǒng)安全、穩(wěn)定性的考慮，建議統(tǒng)一通過APT命令更新X3派板級開發(fā)包）：
-------------------------------------------------------------------------------------------------------------------------------
#更新package列表
sudo apt update
#升級所有已安裝的軟件包到最新版本
sudo apt full-upgrade
#清除緩存文件（非必須）
sudo apt clean
#重啟設備
sudo reboot
-------------------------------------------------------------------------------------------------------------------------------
1 推理接口介紹1.1 ModelAI算法模型類，描述模型的名稱，輸入、輸出數據屬性信息，forward 方法用來完成算法的推理。
-------------------------------------------------------------------------------------------------------------------------------
class hobot_dnn.pyeasy_dnn.Model
'''
Parameters：
1、name (string)：模型名稱
2、inputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor))：模型的輸入tensor
3、outputs (tuple(hobot_dnn.pyeasy_dnn.pyDNNTensor))：模型的輸出tensor
4、forward (args &args, kwargs &kwargs)：模型推理函數接口，輸入模型推理所必要的參數，返回模型推理結果
parameters：
input_tensor：輸入數據
core_id (int)：模型推理的core id，可為0,1,2，默認為0表示任意核推理
priority (int)：當前模型推理任務的優(yōu)先級，范圍[0~255]，越大優(yōu)先級越高
'''
-------------------------------------------------------------------------------------------------------------------------------
其中，forward方法的input_tensor支持三種格式輸入：
forward方法的返回值為模型推理結果，有如下兩種情況：
resizer模型指在模型轉換時input_source設置為“resizer”編譯生成的模型，相關配置方式可參考社區(qū)X3 用戶手冊。resizer模型推理時，hobot_dnn會先使用ROI從輸入數據中摳圖后resize到模型輸入大小再送入模型進行推理。
*目前resizer模式暫只支持單輸入的nv12/nv12_bt601模型。
1.2 pyDNNTensorAI 算法輸入、輸出 tensor 類
-------------------------------------------------------------------------------------------------------------------------------
class hobot_dnn.pyeasy_dnn.pyDNNTensor
'''
Parameters：
1、properties (TensorProperties)：tensor的屬性，詳細參見本文1.3節(jié)
2、buffer (numpy)：tensor中的數據，數據訪問方式同numpy
3、name (string)：tensor的名稱
'''
-------------------------------------------------------------------------------------------------------------------------------
1.3 TensorPropertiesAI 算法輸入/輸出 tensor 的屬性類
-------------------------------------------------------------------------------------------------------------------------------
class hobot_dnn.pyeasy_dnn.TensorProperties
'''
Parameters：
1、tensor_type (string)：tensor的數據類型，如：NV12、BGR、float32等
2、dtype (string)：數據的存儲類型，同numpy數據類型，如：int8、uint8、float32等
3、layout (string)：數據排布格式，NHWC或者NCHW
4、shape (tuple)：數據的shape信息，例如：(1,3,224,224)
'''
-------------------------------------------------------------------------------------------------------------------------------
1.4 loadload接口用于加載模型
-------------------------------------------------------------------------------------------------------------------------------
hobot_dnn.pyeasy_dnn.load(model_file)
'''
接口支持兩種模型加載方式：
1、輸入模型的文件路徑，加載單個模型，或者單個pack模型
model_file = "/userdata/single_model.bin"
models = hobot_dnn.pyeasy_dnn.load(model_file)
2、輸入模型的文件列表，加載多個模型
model_file = ["model1.bin", "model2.bin"]
models = hobot_dnn.pyeasy_dnn.load(model_file)
接口返回hobot_dnn.pyeasy_dnn.Model類型的tuple列表
'''
-------------------------------------------------------------------------------------------------------------------------------
2 快速上手示例X3派配套AI推理示例默認安裝在/app/ai_inference目錄下，包含如下示例：
-------------------------------------------------------------------------------------------------------------------------------
|-- 01_basic_sample # 從本地讀取圖片并完成mobilenetv1分類模型推理
|-- 02_usb_camera_sample # 從USB camera獲取視頻數據并完成FCOS檢測模型推理
|-- 03_mipi_camera_sample # 從MIPI camera獲取視頻數據并完成FCOS檢測模型推理
|-- 05_web_display_camera_sample # 基于MIPI Camera的FCOS目標檢測及web端展示
|-- 06_yolov3_sample # 從本地讀取圖片并完成Yolov3檢測模型推理
|-- 07_yolov5_sample # 從本地讀取圖片并完成Yolov5檢測模型推理
`-- models
-------------------------------------------------------------------------------------------------------------------------------
本節(jié)將以01_basic_sample為例，為大家展示如何使用hobot_dnn完成模型推理。運行以下示例您需要準備編譯好的混合異構模型mobilenetv1_224x224_nv12.bin（存放于/app/ai_inference/models路徑下），以及一張圖片zebra_cls.jpg（存放于01_basic_sample文件夾下）。
-------------------------------------------------------------------------------------------------------------------------------
from hobot_dnn import pyeasy_dnn as dnn
import numpy as np
import cv2
# 查看模型輸入輸出節(jié)點的信息
def print_properties(pro):
print("tensor type:", pro.tensor_type)
print("data type:", pro.dtype)
print("layout:", pro.layout)
print("shape:", pro.shape)
# 依據模型input_type_rt決定是否需要進行數據格式轉換（本實例所用模型為nv12輸入）
def bgr2nv12_opencv(image):
height, width = image.shape[0], image.shape[1]
area = height * width
yuv420p = cv2.cvtColor(image, cv2.COLOR_BGR2YUV_I420).reshape((area * 3 // 2,))
y = yuv420p[:area]
uv_planar = yuv420p[area:].reshape((2, area // 4))
uv_packed = uv_planar.transpose((1, 0)).reshape((area // 2,))
nv12 = np.zeros_like(yuv420p)
nv12[:height * width] = y
nv12[height * width:] = uv_packed
return nv12
# 1.加載模型
models = dnn.load('../models/mobilenetv1_224x224_nv12.bin')
# 2.查看模型輸入輸出節(jié)點的信息
for input in models[0].inputs:
print_properties(input.properties)
for output in models[0].outputs:
print_properties(output.properties)
# 3.準備輸入數據
# 打開圖片
img_file = cv2.imread('./zebra_cls.jpg')
# 把圖片縮放到模型的輸入尺寸
h, w = models[0].inputs[0].properties.shape[2], models[0].inputs[0].properties.shape[3]
resized_data = cv2.resize(img_file, (w, h), interpolation=cv2.INTER_AREA)
nv12_data = bgr2nv12_opencv(resized_data)
# 4.模型推理
outputs = models[0].forward(nv12_data)
# 5.后處理
np.argmax(outputs[0].buffer)
print("cls id: %d Confidence: %f" % (np.argmax(outputs[0].buffer), outputs[0].buffer[0][np.argmax(outputs[0].buffer)]))
-------------------------------------------------------------------------------------------------------------------------------
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
開發(fā)板試用
+關注
關注
3文章
303瀏覽量
2787
發(fā)布評論請先 登錄
相關推薦
熱點推薦
半年參與3萬輛寶馬X3生產，人形機器人“進廠打工”真成了
了其人形機器人“進廠打工”的最新成果。 ? Figure 02：半年參與3萬輛寶馬X3生產，進入退役階段 ? 根據Figure AI的說法，在過去的六個月內，其第二代人形機器人Figure 02已經在寶馬集團斯帕坦堡工廠參與生產了3
博泰車聯(lián)網與地平線達成戰(zhàn)略合作
4月22日，博泰車聯(lián)（股票代碼：2889.HK）在北京地平線機器人技術研發(fā)有限公司（以下簡稱“地平線”）的國內首款艙駕融合整車智能體芯片地平線星空（Horizon Starry）的產品發(fā)布會現(xiàn)場與
FT 5000 Smart Transceiver與FT - X3 Communications Transformer：智能網絡新選擇
FT 5000 Smart Transceiver與FT - X3 Communications Transformer：智能網絡新選擇 在智能網絡的發(fā)展進程中，設備的性能、成本和兼容性是工程師們
地平線11篇論文強勢入選CVPR 2026
論文收錄結果。地平線憑借深厚的技術積淀與前瞻的科研布局，共有11篇論文成功入選，覆蓋端到端自動駕駛、3D重建、世界模型、具身智能等多個核心領域，充分彰顯地平線在前沿技術領域的頂尖研發(fā)水平。
直播預告 | 睿擎派3506 Ubuntu開發(fā)實戰(zhàn)：從環(huán)境搭建到整包固件制作，一次講透
想用Ubuntu系統(tǒng)在睿擎派3506上做開發(fā)，卻卡在環(huán)境配置？開發(fā)完應用程序，如何打包成完整的固件方便部署？SSH連不上、網絡配不好、固件燒了起不來——這些坑你都踩過幾個？
地平線與元戎啟行達成戰(zhàn)略合作
基于地平線征程6P開發(fā)性能更強、體驗更優(yōu)、成本更優(yōu)的高階輔助駕駛解決方案，加速高階輔助駕駛技術的規(guī)?；占芭c體驗升級。
華為路由 X3 Pro火了！業(yè)界首發(fā)Wi-Fi7+和透明天線，1299元起
電子發(fā)燒友原創(chuàng) 章鷹 11月25日，在華為 Mate 80 系列 / Mate X7 及全場景新品發(fā)布會上，華為消費者BG CEO何剛宣布，首款藝術路由——華為路由 X3 Pro日照金山發(fā)布。這款
地平線HSD量產先鋒品鑒會圓滿落幕
2025年11月19日-24日，地平線在廣州舉辦Drive on Horizon·HSD量產先鋒品鑒會。首搭地平線HSD及征程6P的星途ET5、搭載征程6的深藍L06開啟輔助駕駛體驗，以出色的實際
地平線助力博世中階智能輔助駕駛方案量產交付
2025年4月，地平線與博世深化戰(zhàn)略合作，雙方基于征程6系列加速智能輔助駕駛方案的研發(fā)與應用。近日，搭載征程6M的博世中階智能輔助駕駛方案的全新量產合作車型東風奕派eπ007+、北京越野BJ40增程元境智行版先后上市，標志著地平線
安謀發(fā)布“周易”X3 NPU，破局AI算力，智繪未來藍圖
2025年11月13日，國內領先的芯片IP設計與服務提供商安謀科技Arm China，正式揭開了新一代NPU IP“周易”X3的神秘面紗。通過其創(chuàng)新的專為大模型設計的DSP+DSA混合架構與軟硬協(xié)同
地平線與Unity中國達成戰(zhàn)略合作
近日，中國智駕科技領軍企業(yè)地平線與全球領先的實時3D內容創(chuàng)作和運營平臺Unity正式簽署戰(zhàn)略合作協(xié)議。雙方將深度融合地平線HSD (Horizon SuperDrive) 人機交互系統(tǒng)與Unity
奇瑞風云X3系列雙車上市
8月16日，奇瑞汽車旗下風云品牌全新方盒子產品序列——風云X3與風云X3 PLUS正式宣告上市。風云X3系列基于iCAR 03系列煥新升級而來，在造型設計、動力性能、智能科技、功能配置及工藝品質等維度實現(xiàn)全方位躍升。
【BPI-CanMV-K230D-Zero開發(fā)板體驗】香蕉派 K230D 視覺開發(fā)板開箱+CamMV 環(huán)境搭建
【開箱】
今天收到了香蕉派 Banana Pi BPI-CanMV-K230D-Zero 開發(fā)板，先上圖一睹為快。
【處理器介紹】
這款開發(fā)板搭載嘉楠科技 K230D 處理器，K
發(fā)表于 06-24 22:54
韻樂Vinal X3/X5卡拉OK音頻處理器調音軟件簡介
韻樂Vinal X3/X5卡拉OK音頻處理器調音軟件軟件簡介韻樂Vinal X3/X5調音軟件具有音箱處理器功能的卡拉ok效果器每個功能部分都獨立可調且有相應的PC界面可直觀調節(jié)易于操
發(fā)表于 05-16 15:33
?4次下載
RDK X3 帶飛的智能護理系統(tǒng)：讓機器人秒變貼心小棉襖
濟往開來團隊帶著超燃黑科技來了！基于 RDK X3 開發(fā)的老年智能監(jiān)控系統(tǒng)，跌倒秒報警、手勢一鍵呼叫、還能陪嘮嗑！最絕的是 開源代碼直接甩鏈接 ，技術黨狂喜！
評論