大語言模型的崛起為智能化應(yīng)用開辟了新的可能性。借助深度學(xué)習(xí)技術(shù)，這些模型能夠理解和生成自然語言，處理復(fù)雜的文本和語義信息。這使得它們在諸如人機問答、內(nèi)容生成和數(shù)據(jù)分析等領(lǐng)域展現(xiàn)出巨大的潛力。在實時控制領(lǐng)域，大語言模型能夠顯著提升控制系統(tǒng)的智能化水平，確保實時性的同時實現(xiàn)高質(zhì)量的人機交互，為具身機器人、智能駕駛等對實時性和智能化有強烈需求的場景提供理想的解決方案。

然而，大語言模型在與傳統(tǒng)實時操作系統(tǒng)結(jié)合時面臨挑戰(zhàn)。首先，模型的部署及推理需要豐富的生態(tài)支持，以便在不同的應(yīng)用場景中有效運行。其次，在推理過程中，大語言模型會占用大量的系統(tǒng)資源，這導(dǎo)致實時操作系統(tǒng)的性能下降，無法滿足對快速響應(yīng)的嚴(yán)格要求。

望獲實時Linux系統(tǒng)有效解決了上述問題，提供微秒級的實時性能（系統(tǒng)最大延遲<10微秒，支持EtherCAT125微秒周期同步），同時與Linux生態(tài)系統(tǒng)完全兼容，使開發(fā)者能夠快速集成大語言模型及相關(guān)應(yīng)用。通過豐富的生態(tài)工具和庫，望獲實時Linux系統(tǒng)顯著降低了開發(fā)和部署的復(fù)雜性。此外，其資源隔離機制確保實時任務(wù)與大語言模型之間的有效隔離，實現(xiàn)了微秒級實時性與智能化應(yīng)用的并存。

硬件平臺：京博航友善NanoPC-T6開發(fā)板（瑞芯微RK3588）

操作系統(tǒng)：望獲實時Linux系統(tǒng)

大模型：Qwen-1.8千問大語言模型

方案簡介：

Qwen是阿里巴巴研發(fā)的多模態(tài)大語言模型，具備自然語言理解、文本生成和視覺理解等多種能力，經(jīng)過大規(guī)模多語言數(shù)據(jù)預(yù)訓(xùn)練和高質(zhì)量微調(diào)。本案例使用Gradio框架展示訓(xùn)練好的Qwen模型, Gradio是一個基于FastAPI和Svelte構(gòu)建的簡易Web UI開發(fā)框架，適合快速部署和展示大語言模型。

應(yīng)用場景：

基于望獲實時Linux系統(tǒng)的微秒級實時性和RK3588的6 TOPS算力，該方案滿足工業(yè)和商業(yè)領(lǐng)域?qū)崟r性和智能化的需求，廣泛適用于工業(yè)智能化、服務(wù)機器人、智能家居和醫(yī)療健康等場景。

審核編輯 黃宇