很多使用 NVIDIA GPU 的開(kāi)發(fā)者、科研人員或者圖形工作者都會(huì)遇到這樣的情況：

每次運(yùn)行nvidia-smi，等待時(shí)間都比正常設(shè)備慢幾秒；

PyTorch、TensorFlow 的第一行代碼執(zhí)行慢，GPU 初始化明顯滯后；

小腳本測(cè)試、命令行推理等場(chǎng)景中，每次調(diào)用都像“冷啟動(dòng)”。

難道是驅(qū)動(dòng)老舊？資源不足？系統(tǒng)問(wèn)題？都不是——真相藏在一個(gè)容易被忽略的小設(shè)置里：Persistence Mode（持久模式）。

Persistence Mode（持久模式）：

GPU 驅(qū)動(dòng)遲緩的幕后“真兇”

NVIDIA 為了降低系統(tǒng)資源占用，在 Linux 系統(tǒng)中默認(rèn)開(kāi)啟了一項(xiàng)節(jié)能機(jī)制——GPU Idle Unloading（空閑卸載）。

這意味著：

如果當(dāng)前沒(méi)有活躍的程序（如圖形界面 X11、CUDA 應(yīng)用、ML 框架等）調(diào)用 GPU，驅(qū)動(dòng)就會(huì)主動(dòng)退出內(nèi)存。

當(dāng)你再次發(fā)起調(diào)用（哪怕只是一條命令），系統(tǒng)需要重新加載驅(qū)動(dòng)、初始化設(shè)備、建立通信?！@個(gè)過(guò)程在老舊平臺(tái)上甚至要數(shù)秒。

而 Persistence Mode 就是這個(gè)行為的“開(kāi)關(guān)”。開(kāi)啟后，GPU 驅(qū)動(dòng)常駐內(nèi)存，即使系統(tǒng)暫時(shí)未使用顯卡，也不會(huì)釋放資源，從而避免每次調(diào)用都要“重新開(kāi)機(jī)”。

官方定義如下：

Persistence Mode: A flag that indicates whether persistence mode is enabled for the GPU. Value is either "Enabled" or "Disabled". When enabled, the NVIDIA driver remains loaded even when no active clients exist.

為什么 Persistence Mode

對(duì)科研和 AI 場(chǎng)景尤其重要？

在 AI 相關(guān)工作流中，下述 GPU 的調(diào)用特性依賴 Persistence Mode：

2025 麗臺(tái)（上海）信息科技有限公司

本圖表由麗臺(tái)科技制作，如果您有任何疑問(wèn)或需要使用，

請(qǐng)聯(lián)系麗臺(tái)科技

舉例：一個(gè)常用模型在 PyTorch 中冷啟動(dòng)約需 25 秒，熱啟動(dòng)只需 20.5 秒，累計(jì)數(shù)十次，每天浪費(fèi)時(shí)間可達(dá)數(shù)分鐘。

開(kāi)啟 Persistence Mode 后則可實(shí)現(xiàn)：

nvidia-smi 秒開(kāi)無(wú)延遲；

PyTorch、TensorFlow 初次調(diào)用時(shí)間大幅縮短；

多個(gè) CUDA 腳本反復(fù)測(cè)試也無(wú)需重新初始化 GPU；

整體工作流更流暢，節(jié)省大量等待時(shí)間。

在 Linux 系統(tǒng)開(kāi)啟 Persistence Mode

執(zhí)行下面的命令即可開(kāi)啟臨時(shí) Persistence Mode：

sudonvidia-smi -pm1

每次開(kāi)機(jī)都得手動(dòng)輸入？開(kāi)機(jī)自動(dòng)開(kāi)啟才是正解。在 Linux 系統(tǒng)中采用.run包方式安裝 NVIDIA GPU 驅(qū)動(dòng)，可通過(guò)以下方式啟用 Persistence Mode：

cd/usr/share/doC/NVIDIA GLX-1.0/samples
sudo tar jxvf nvidia-persistenced-init.tar.bz2
cd./nvidia-persistenced-init
sudo ./install.sh
systemctl status nvidia-persistenced.service

執(zhí)行完成后，以后每次啟動(dòng)系統(tǒng)，NVIDIA GPU 持久模式會(huì)自動(dòng)啟用，無(wú)需再次配置。

性能進(jìn)階之選：

LEADTEK WS3008 AI 一體機(jī)

現(xiàn)代 AI 開(kāi)發(fā)中，“響應(yīng)時(shí)間”就是效率，“系統(tǒng)阻力”就是成本。通過(guò)開(kāi)啟 Persistence Mode，便能將 GPU 從“冷啟動(dòng)拖延”中解放出來(lái)，讓每一次調(diào)用都即時(shí)響應(yīng)，為你的工作流加速。

如果你渴望的不僅是優(yōu)化，而是全面性能飛躍，不妨考慮LEADTEK WS3008 AI 一體機(jī)，讓它成為算力系統(tǒng)的高效大腦。

▲ LEADTEK WS3008 AI 一體機(jī)參數(shù)

麗臺(tái)科技為工作站/服務(wù)器預(yù)裝LeadOS 操作系統(tǒng)（定制版 Ubuntu Linux），為運(yùn)行 AI 和分析工作負(fù)載提供一站式解決方案。LeadOS 包含系統(tǒng)專屬優(yōu)化和配置、附加驅(qū)動(dòng)程序。它是一款穩(wěn)定、經(jīng)過(guò)全面測(cè)試且受支持的操作系統(tǒng)，可在麗臺(tái)工作站/服務(wù)器上運(yùn)行 AI、機(jī)器學(xué)習(xí)和分析應(yīng)用程序。

LeadOS 系統(tǒng)特性

基于 Ubuntu 22.04，配備最新的長(zhǎng)期 Linux 內(nèi)核版本 5.15，用于最新的硬件和安全更新以及軟件包更新，例如 Python 和 GCC。

包含針對(duì) NVIDIA 優(yōu)化的 Linux 內(nèi)核，無(wú)需額外補(bǔ)丁即可支持 GPU 直接存儲(chǔ)（GDS）。

提供對(duì)所有 NVIDIA GPU 驅(qū)動(dòng)程序分支和 CUDA 工具包版本的訪問(wèn)。

默認(rèn)使用 Ubuntu OFED，并可選擇安裝 NVIDIA OFED 以獲得附加功能。

支持安全啟動(dòng)。

適配多種 NVIDIA GPU 型號(hào)。

從 Ubuntu Universe 存儲(chǔ)庫(kù)提供 Ubuntu Pro Client 的擴(kuò)展安全維護(hù)（ESM）訂閱。