12月8日智譜AI發(fā)布并開(kāi)源 GLM-4.6V 系列多模態(tài)大模型，沐曦股份曦云C系列GPU完成Day 0適配。

GLM-4.6V 系列多模態(tài)大模型共包含兩款模型：

GLM-4.6V（106B-A12B）：面向云端與高性能集群場(chǎng)景的基礎(chǔ)版；

GLM-4.6V-Flash（9B）：面向本地部署與低延遲應(yīng)用的輕量版。

作為 GLM 系列在多模態(tài)方向上的一次重要迭代，GLM-4.6V 將訓(xùn)練時(shí)上下文窗口提升到 128k tokens，在視覺(jué)理解精度上達(dá)到同參數(shù)規(guī)模 SOTA，并首次在模型架構(gòu)中將Function Call（工具調(diào)用）能力原生融入視覺(jué)模型，打通從「視覺(jué)感知」到「可執(zhí)行行動(dòng)（Action）」的鏈路，為真實(shí)業(yè)務(wù)場(chǎng)景中的多模態(tài) Agent 提供統(tǒng)一的技術(shù)底座。

1原生多模態(tài)工具調(diào)用

傳統(tǒng)工具調(diào)用大多基于純文本，在面對(duì)圖像、視頻、復(fù)雜文檔等多模態(tài)內(nèi)容時(shí)，需要多次中間轉(zhuǎn)換，帶來(lái)信息損失和工程復(fù)雜度。

GLM-4.6V 從設(shè)計(jì)之初就圍繞「圖像即參數(shù)，結(jié)果即上下文」，構(gòu)建了原生多模態(tài)工具調(diào)用能力：

輸入多模態(tài)：圖像、截圖、文檔頁(yè)面等可以直接作為工具參數(shù)，無(wú)需先轉(zhuǎn)為文字描述再解析，減少鏈路損耗。

輸出多模態(tài)：對(duì)于工具返回的統(tǒng)計(jì)圖表、渲染后網(wǎng)頁(yè)截圖、檢索到的商品圖片等結(jié)果，模型能夠再次進(jìn)行視覺(jué)理解，將其納入后續(xù)推理鏈路。

模型原生支持基于視覺(jué)輸入的工具調(diào)用，完整打通從感知到理解到執(zhí)行的閉環(huán)。這使得 GLM-4.6V 能夠應(yīng)對(duì)圖文混排輸出、商品識(shí)別與好價(jià)推薦、以及輔助型 Agent 場(chǎng)景等更復(fù)雜的視覺(jué)任務(wù)。

2同規(guī)模開(kāi)源 SOTA

GLM-4.6V 在 MMBench、MathVista、OCRBench 等30+ 主流多模態(tài)評(píng)測(cè)基準(zhǔn)上進(jìn)行了驗(yàn)證，較上一代模型取得顯著提升。在同等參數(shù)規(guī)模下，模型在多模態(tài)交互、邏輯推理和長(zhǎng)上下文等關(guān)鍵能力上取得SOTA表現(xiàn)。

3MXMACA 軟件棧加速?lài)?guó)產(chǎn)模型落地

MXMACA 軟件棧作為沐曦股份全棧 GPU 解決方案的核心，在vLLM, sglang 等主流AI推理框架中展現(xiàn)出快速適配的優(yōu)勢(shì)，其 GPU 架構(gòu)和優(yōu)化設(shè)計(jì)和良好的生態(tài)兼容性確保了高效、靈活的推理部署。此次沐曦股份曦云 C 系列GPU完成 Day 0 適配智譜 GLM-4.6V 系列多模態(tài)大模型再次印證了這一優(yōu)勢(shì)。MXMACA 軟件棧將繼續(xù)以開(kāi)放式架構(gòu)和持續(xù)迭代優(yōu)化，賦能推理框架、模型、應(yīng)用開(kāi)發(fā)到運(yùn)維的全生命周期，助力開(kāi)發(fā)者構(gòu)建更具競(jìng)爭(zhēng)力的 AI 產(chǎn)品。

關(guān)于沐曦股份

沐曦股份致力于自主研發(fā)全棧高性能GPU芯片及計(jì)算平臺(tái)，為智算、通用計(jì)算、云渲染等前沿領(lǐng)域提供高能效、高通用性的算力支撐，助力數(shù)字經(jīng)濟(jì)發(fā)展。