作者：AVNET 李鑫杰

上文介紹了《一鍵搞定！PP-OCRv5模型轉(zhuǎn)ONNX格式全攻略》，本文將使用ROCm?在AMD? CPU、獨立顯卡、集成顯卡上優(yōu)化并部署飛槳PP-OCRv5模型。

一，ROCm? 工具套件簡介

ROCm?（Radeon Open Compute）是 AMD 推出的開源軟件棧，旨在為 GPU 加速計算提供全面支持。它包含驅(qū)動程序、編譯器、開發(fā)工具、庫函數(shù)和 API，覆蓋從底層內(nèi)核開發(fā)到上層應(yīng)用部署的完整開發(fā)流程，廣泛適用于高性能計算（HPC）、人工智能（AI）和機器學(xué)習(xí)等領(lǐng)域。

ROCm? 特別針對生成式 AI 和 HPC 工作負(fù)載進(jìn)行了深度優(yōu)化，具備良好的生態(tài)系統(tǒng)兼容性和代碼可移植性，能夠幫助開發(fā)者快速將基于 CUDA 等平臺的現(xiàn)有項目遷移至 AMD 平臺。無論是以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為核心的預(yù)測式 AI 模型（Predictive AI），還是以 Transformer 架構(gòu)為主的生成式 AI 模型（Generative AI），ROCm 均提供了高效的運行支持。

此外，ROCm? 不僅支持 AMD Radeon 獨立顯卡（dGPU），還兼容集成在 AMD CPU 中的核顯（iGPU），使得開發(fā)者能夠在多樣化的硬件環(huán)境中靈活部署 AI 模型，實現(xiàn)本地化高效推理與訓(xùn)練

下表展示PP-OCRv5 Server版模型，經(jīng)過ROCm?優(yōu)化后，在AMD HX370上運行的性能。性能測試代碼和的圖片來自于開源項目：

https://github.com/liebedir/PP-OCRv5-AMD-ROCm

二，搭建ROCm?開發(fā)環(huán)境

首先，請克隆PP-OCRv5_AMD-ROCm到本地

git clone https://github.com/liebedir/PP-OCRv5-AMD-ROCm
cd PP-OCRv5-AMD-ROCm

接著，安裝ROCm?：

wget 
https://repo.radeon.com/amdgpu-install/6.4.3/ubuntu/jammy/amdgpu-install_6.4.60403-1_all.deb

sudo apt install ./amdgpu-install_6.4.60403-1_all.deb

sudo apt update

sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"

sudo apt install amdgpu-dkms

sudo apt install python3-setuptools python3-wheel

sudo usermod -a -G render,video $LOGNAME # Add the current user to the render and video groups

sudo apt install rocm

然后，添加環(huán)境變量到~/.bashrc，該環(huán)境變量與核顯的架構(gòu)相關(guān)，11.0.0適用于RDNA3架構(gòu)核顯，其他架構(gòu)請參考https://github.com/liebedir/PP-OCRv5-AMD-ROCm：

vi ~/.bashrcexport HSA_OVERRIDE_GFX_VERSION=11.0.0

最后，重啟計算機。

完成計算機重啟后，創(chuàng)建python虛擬環(huán)境并安裝onnxruntime-rocm

conda create -n ocr-rocm python==3.10
pip3 install onnxruntime-rocm -f https://repo.radeon.com/rocm/manylinux/rocm-rel-6.4.2/

接著，[下載PP-OCRv5模型并導(dǎo)出為onnx格式。]

至此，模型和環(huán)境準(zhǔn)備完成！

三，編寫PP-OCRv5推理程序

PP-OCRv5-AMD-ROCm項目已將推理程序編寫完成，各文件功能如下：

執(zhí)行演示程序main.py，并指定模型路徑和推理硬件設(shè)備

python main.py --image_dir images/paddleocr_structure.png  
--det_model_dir ../PP-OCRv5_server_det_infer/inference.onnx
--det_model_device GPU 
--rec_model_dir ../PP-OCRv5_server_rec_infer/inference.onnx
--rec_model_device GPU

運行結(jié)果，如下圖所示：

四，總結(jié)

使用AMD 的開發(fā)者可以通過ROCm?軟件棧將PP-OCRv5模型部署到AMD的CPU、獨立顯卡或核顯硬件平臺上。

如果你有更好的文章，歡迎投稿！

稿件接收郵箱：nami.liu@pasuntech.com

更多精彩內(nèi)容請關(guān)注“ 算力魔方^?^ ”！

審核編輯 黃宇