借助 NVIDIA AI Enterprise

構(gòu)建 MaaS 平臺(tái)

本案例中，九州未來的團(tuán)隊(duì)基于NVIDIA AI Enterprise的全棧軟件套件，構(gòu)建其 MaaS 大模型一體化開發(fā)及部署平臺(tái)，該平臺(tái)同時(shí)支持云端部署和私有化部署，通過九州未來開發(fā)的算力調(diào)度平臺(tái)軟件，實(shí)現(xiàn)云端資源與大模型一體機(jī)的算力協(xié)調(diào)和開發(fā)協(xié)同。

兼顧企業(yè)級(jí)的

安全性、可靠性和性能

隨著大模型的持續(xù)發(fā)展，特別是垂直領(lǐng)域大模型，對(duì)于數(shù)據(jù)安全性及私密性、模型工具鏈及平臺(tái)的通用性和可靠性、模型上線部署的易用性及推理性能等諸多方面提出了更多的訴求。面對(duì)快速增長(zhǎng)的市場(chǎng)及客戶需求，九州未來基于 NVIDIA AI Enterprise 自主開發(fā)了其大模型 MaaS 平臺(tái)，不僅支持端到端的垂直領(lǐng)域大模型的開發(fā)全流程，同時(shí)支持線下一體機(jī)部署與云端資源協(xié)調(diào)模式，在最大化保護(hù)企業(yè)數(shù)據(jù)安全性的同時(shí)，兼顧靈活的算力調(diào)度與協(xié)調(diào)供給。

九州未來創(chuàng)始人兼 CEO 張淳先生表示，“AIGC 促進(jìn)智能算力爆發(fā)式增長(zhǎng)，并正加速邁入全面應(yīng)用時(shí)代，今后一定不是裸算力簡(jiǎn)單的資源管理方式，一定需要用軟件定義精算力來多元化地管理并提升 GPU 的附加價(jià)值，助力加速垂直模型和應(yīng)用落地的效率?！?/p>

為構(gòu)建自定義

生成式 AI 應(yīng)用提供支持

NVIDIA AI Enterprise 是一個(gè)為企業(yè)提供生產(chǎn)就緒型全棧的軟件解決方案，提供并保證其可靠的 AI 正常運(yùn)行和不間斷的 AI 卓越表現(xiàn)，實(shí)現(xiàn)利用生成式 AI 進(jìn)行創(chuàng)新的企業(yè)加速開發(fā)。

九州未來通過 10 余年云邊自主研發(fā)軟件的技術(shù)積累，結(jié)合近年來賦能智算中心的不斷落地，通過 NVIDIA AI Enterprise 深度的技術(shù)整合，以大模型為基礎(chǔ)、輕量化微調(diào)的 MaaS 服務(wù)作為其核心服務(wù)能力之一，基于基礎(chǔ)模型訓(xùn)練后的行業(yè)大模型，使用相關(guān)行業(yè)數(shù)據(jù)進(jìn)行微調(diào)或知識(shí)檢索能力的導(dǎo)入，再通過NVIDIA TensorRT-LLM及NVIDIA Triton推理服務(wù)器的推理優(yōu)化和實(shí)現(xiàn)一鍵部署后，可以為特定行業(yè)提供高質(zhì)量高性能的大模型 AI 應(yīng)用。

上圖的大模型 MaaS 平臺(tái)，端到端包含 Animbus PaaS 平臺(tái)（集成NVIDIA GPU Operator和Network Operator）、NVIDIA AI Enterprise 軟件套件（包括NeMo Framework– Training Container 和 Inference Container）、MaaS 大模型服務(wù)及應(yīng)用 UI 交互界面，以上所有的軟件以及對(duì)應(yīng)的操作系統(tǒng)鏡像會(huì)打包到一個(gè) U 盤里面，實(shí)現(xiàn)一個(gè) U 盤即可快速啟動(dòng)大模型一體機(jī)的服務(wù)。

NVIDIA NeMo Framework

加速行業(yè)大模型開發(fā)

LLM（大型語(yǔ)言模型）的全面解決方案

在 MaaS 平臺(tái)的二次開發(fā)和深度整合的過程中，九州未來團(tuán)隊(duì)使用 NVIDIA AI Enterprise 中的 NeMo Framework，一款端到端面向企業(yè)級(jí)交付、云原生大模型的框架，可以靈活地構(gòu)建、定制和部署生成式 AI 模型。

該平臺(tái)承載了諸多優(yōu)質(zhì)的大模型精選體驗(yàn)，結(jié)合特有的行業(yè)知識(shí)快速導(dǎo)入能力，用戶能夠很好地訓(xùn)練、微調(diào)、評(píng)估、優(yōu)化及部署模型。對(duì)于選擇好基礎(chǔ)模型的用戶，提供全流程的向?qū)椒?wù)，訓(xùn)練過程中的訓(xùn)練數(shù)據(jù)實(shí)時(shí)可查，用戶可輕松基于數(shù)據(jù)集、使用最好的超參數(shù)完成微調(diào)任務(wù)，在模型完成評(píng)估后，實(shí)現(xiàn)大模型的一鍵優(yōu)化部署。

主要支持訓(xùn)練及優(yōu)化功能：

基礎(chǔ)大模型倉(cāng)庫(kù)

SFT/PEFT/提示詞工程

推理優(yōu)化及一鍵部署

知識(shí)導(dǎo)入及向量數(shù)據(jù)庫(kù)服務(wù)

通過 NVIDIA AI Enterprise 整體軟件棧的加速，大模型微調(diào)和推理性能相比開源推理框架有大幅提升。

線形圖代表在不同 Batch 的情況下完成每次推理請(qǐng)求的平均時(shí)延，越低代表越好；

柱狀圖代表在不同 Batch 情況下的每秒鐘生成的 Token 數(shù)量，越高代表越好

準(zhǔn)備好開始了嗎？

審核編輯：湯梓紅