來源：vLLM

2025年8月23日，vLLM Meetup上海站成功舉辦?；顒訁R聚技術(shù)專家、社區(qū)開發(fā)者及行業(yè)用戶，圍繞vLLM(一種用于大型語言模型的高性能推理引擎)的技術(shù)進(jìn)展、生態(tài)建設(shè)及應(yīng)用展開深度探討。會議涵蓋社區(qū)貢獻(xiàn)指南、分布式推理架構(gòu)、多模態(tài)模型集成等前沿議題，現(xiàn)場互動熱烈，并提出每年舉辦vLLM Con大會的倡議，為AI推理領(lǐng)域的技術(shù)落地注入新動能。

本次Meetup由沐曦與紅帽公司聯(lián)合主辦，紅帽作為全球開源社區(qū)vLLM的重要貢獻(xiàn)者，長期參與上游協(xié)作并分享實(shí)踐經(jīng)驗(yàn)，推動社區(qū)發(fā)展;沐曦則結(jié)合國產(chǎn)硬件優(yōu)勢，積極探索vLLM在本土計算平臺上的適配與應(yīng)用。沐曦開源生態(tài)總監(jiān)章津楠與紅帽亞太CTO辦公室首席架構(gòu)師張家駒共同開場，對到場嘉賓及觀眾表示歡迎?；顒釉O(shè)置五大核心議題，并穿插開發(fā)者提問環(huán)節(jié)，最終以沐曦聯(lián)合創(chuàng)始人、CTO兼首席軟件架構(gòu)師楊建博士的開源生態(tài)趨勢分享及書籍簽贈環(huán)節(jié)收尾，現(xiàn)場氣氛活躍。

活動核心環(huán)節(jié)圍繞五大技術(shù)方向展開，專家團(tuán)隊(duì)通過案例解析與方案演示，系統(tǒng)呈現(xiàn)vLLM在社區(qū)生態(tài)、分布式架構(gòu)、多模態(tài)集成等領(lǐng)域的創(chuàng)新實(shí)踐。

在題為《vLLM: Building, Testing and Contributing》演講中， vLLM社區(qū)貢獻(xiàn)者、Red Hat資深專家Daniele Trifirò深入剖析了vLLM社區(qū)的發(fā)展現(xiàn)狀，為愛好者及開發(fā)者提供了系統(tǒng)性指南。他詳細(xì)闡述了項(xiàng)目構(gòu)建流程、關(guān)鍵測試規(guī)范，并指導(dǎo)開發(fā)者如何高效貢獻(xiàn)代碼。通過豐富的代碼實(shí)例、實(shí)踐案例及參考鏈接，演講極大降低了初學(xué)者入門門檻，獲得現(xiàn)場開發(fā)者高度認(rèn)可。

在《Disaggregated P/D for Wide EP》主題分享中，vLLM社區(qū)貢獻(xiàn)者、Red Hat技術(shù)專家Nicolò Lucchesi重點(diǎn)介紹了利用llm-d實(shí)現(xiàn)vLLM分布式推理的方案，核心目標(biāo)是通過預(yù)填充/解碼(P/D)解耦與寬專家并行(EP)擴(kuò)展大模型推理能力，尤其針對長上下文和混合專家(MoE)模型場景，關(guān)鍵技術(shù)方案包括P/D解耦部署、通過NIXL實(shí)現(xiàn)高效KV Cache傳輸、支持預(yù)填充(P)與解碼(D)階段采用不同TP并行度、將MoE模型中的專家分布至不同GPU等實(shí)現(xiàn)細(xì)節(jié)。

百度高級產(chǎn)品經(jīng)理王凱在《ERNIE 4.5 + vLLM: Multimodal Model Integration》演講中，系統(tǒng)解析了百度ERNIE 4.5多模態(tài)模型與vLLM的集成實(shí)踐。內(nèi)容涵蓋ERNIE 4.5 的特性、與 vLLM 集成的原因以及 vLLM 為 ERNIE 4.5 模型提供的全面支持，包括密集模型、MoE 模型和用于加速生成的MTP。同時還介紹了正在進(jìn)行的開發(fā)工作，例如專家并行性負(fù)載均衡和視覺-語言支持。

Mooncake核心開發(fā)者蘇金陽在《Mooncake x LMCache 性能優(yōu)化分享》的主題分享中重點(diǎn)介紹了 Mooncake(特別是其傳輸引擎和存儲)與 LMCache 的集成，以在 vLLM 中實(shí)現(xiàn)高性能 KV Cache 重用。LMCache 被認(rèn)為是用于 KV Cache 管理(卸載、重用、P/D 分離、RAG 緩存)的流行 vLLM 社區(qū)擴(kuò)展。此次集成旨在提高數(shù)據(jù)分發(fā)效率和整體系統(tǒng)性能。

沐曦vLLM推理引擎專家張廉潔在《vLLM-metax: Bridging CUDA to MetaX MACA》演講中，詳細(xì)介紹了vLLM-metax 如何通過 cu-bridge 在 MACA 上實(shí)現(xiàn)接近零成本的 CUDA 執(zhí)行，允許在不修改源代碼的情況下進(jìn)行原生編譯。同時還解釋了在 vLLM 中使用插件架構(gòu)支持 MetaX 的方式，概述了修補(bǔ)方法(patch補(bǔ)丁和文件替換)和限制。演講還公布了2025年路線圖。

提問環(huán)節(jié)中，開發(fā)者圍繞社區(qū)貢獻(xiàn)規(guī)范、分布式推理落地、國產(chǎn)硬件支持等議題提出建議，嘉賓以技術(shù)細(xì)節(jié)回應(yīng)，討論貫穿全場。

本次活動彩蛋，沐曦聯(lián)合創(chuàng)始人、CTO兼首席軟件架構(gòu)師楊建博士驚喜亮相現(xiàn)場，他不僅生動分享了沐曦在開源生態(tài)和vLLM推理技術(shù)的最新趨勢，還熱情地為獲得《沐曦異構(gòu)并行計算軟件?！窌男疫\(yùn)觀眾親筆簽名留念。

本次Meetup不僅展示了vLLM在分布式推理、多模態(tài)集成及硬件適配領(lǐng)域的最新成果，更通過技術(shù)交流與生態(tài)合作，為AI推理引擎的規(guī)?；瘧?yīng)用提供了實(shí)踐范本。行業(yè)專家與開發(fā)者的深度互動，進(jìn)一步強(qiáng)化了vLLM在開源社區(qū)的技術(shù)影響力，為下一代AI基礎(chǔ)設(shè)施的研發(fā)奠定基礎(chǔ)。

關(guān)于沐曦

沐曦致力于自主研發(fā)全棧高性能GPU芯片及計算平臺，為智算、通用計算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟(jì)發(fā)展。