人工智能（AI）領(lǐng)域中的大模型（Large Model）逐漸成為研究的熱點(diǎn)。大模型，顧名思義，是指擁有海量參數(shù)和高度復(fù)雜結(jié)構(gòu)的深度學(xué)習(xí)模型。它的出現(xiàn)，不僅推動(dòng)了AI技術(shù)的突破，更為各行各業(yè)帶來(lái)了革命性的變化。

RK3588是瑞芯微推出的新一代旗艦級(jí)高端處理器，采用8nm工藝設(shè)計(jì)，搭載四核A76+四核A55的八核CPU和Arm高性能GPU，內(nèi)置6T算力的NPU。能夠高效地處理AI算法和模型，為大模型的運(yùn)行提供了強(qiáng)大的硬件支持。

在北京迅為推出的搭載了RK3588處理器的iTOP-RK3588開發(fā)板上，使用RKLLM 工具套件支持在iTOP-RK3588平臺(tái)上進(jìn)行LLM（大型語(yǔ)言模型）模型的轉(zhuǎn)換和部署。它與Hugging Face模型架構(gòu)兼容（Hugging Face是廣泛用于自然語(yǔ)言處理任務(wù)的模型架構(gòu)。

目前，該系統(tǒng)支持以下模型：LLaMA、Qwen、Qwen2和Phi-2。支持量化技術(shù)，即使用w8a8（8位權(quán)重，8位激活）和w4a16（4位權(quán)重，16位激活）精度進(jìn)行模型量化。這可以在目標(biāo)平臺(tái)上更高效地存儲(chǔ)和計(jì)算模型，減小內(nèi)存占用。

iTOP-RK3588開發(fā)板體驗(yàn)大模型

為了讓用戶更快速的體驗(yàn)RKLLM ，北京迅為已經(jīng)對(duì)Linux內(nèi)核源碼中的NPU版本進(jìn)行了升級(jí)，升級(jí)到了最新的0.9.6版本，具體如下所示：

默認(rèn)以將RKLLM動(dòng)態(tài)庫(kù)集成在了Ubuntu和Debian系統(tǒng)中，用戶可以直接拷貝轉(zhuǎn)換完成的RKLLM大預(yù)言模型和推理程序進(jìn)行測(cè)試。



審核編輯：劉清