廣和通要聞

6月，廣和通宣布：率先完成通義千問(wèn)Qwen3系列混合推理模型在高通QCS8550平臺(tái)端側(cè)的適配部署。廣和通通過(guò)定制化混合精度量化方案與創(chuàng)新硬件加速算法，成功突破Qwen3新型架構(gòu)在邊緣側(cè)的落地創(chuàng)新，為AIoT設(shè)備提供業(yè)界領(lǐng)先的端側(cè)大模型支持。

通義千問(wèn)Qwen3自4月底正式發(fā)布并全部開(kāi)源8款「混合推理模型」，其模型性能在代碼、數(shù)學(xué)、通用能力等多項(xiàng)基準(zhǔn)測(cè)試中刷新紀(jì)錄。其中，Qwen3-4B與早期版本的Qwen2.5-72B能力相當(dāng)，在提升推理性能的同時(shí)，大大降低了端側(cè)部署成本。同時(shí)，Qwen3系列模型還是首個(gè)支持混合推理模式（Hybrid Reasoning）的開(kāi)源模型。開(kāi)發(fā)者可以根據(jù)需求開(kāi)啟、關(guān)閉思考模式或指定思考長(zhǎng)度，將人類(lèi)大腦的“直覺(jué)反應(yīng)”和“深度思考”能力裝進(jìn)了AI。

廣和通完成了參數(shù)規(guī)模為0.6B/1.7B/4B/8B的Qwen3模型在邊緣端的部署，以滿足不同下游應(yīng)用需求。針對(duì)Qwen3引入的QK-Norm改進(jìn)注意力機(jī)制和混合推理模式，廣和通設(shè)計(jì)了定制化的混合精度量化方案，動(dòng)態(tài)識(shí)別模型結(jié)構(gòu)特征，對(duì)Norm層、注意力模塊等關(guān)鍵組件采用差異化量化策略。再者，廣和通結(jié)合NPU特點(diǎn)優(yōu)化推理結(jié)構(gòu)，利用QCS8550芯片Hexagon DSP的矩陣加速單元，顯著提升了大模型在邊緣設(shè)備上的落地能力。

目前，廣和通AI Stack已支持通義千問(wèn)Qwen3- 0.6B/1.7B/4B/8B模型的量化和推理，為用戶提供不同端側(cè)場(chǎng)景應(yīng)用的模型選擇。AI Stack擁有完整AI工具鏈，集成易于部署的代碼，可進(jìn)行數(shù)據(jù)標(biāo)注、模型訓(xùn)練、模型微調(diào)。針對(duì)模型移植，AI Stack提供模型轉(zhuǎn)換、模型量化和算子替換等能力。再者，AI Stack的高性能推理引擎將訓(xùn)練、轉(zhuǎn)換完成的模型高效部署在端側(cè)并執(zhí)行推理任務(wù)，從而在實(shí)際業(yè)務(wù)場(chǎng)景中實(shí)現(xiàn)多樣化的AI應(yīng)用。

廣和通AI研究院院長(zhǎng)劉子威表示：“廣和通率先在端側(cè)部署Qwen3，不僅是技術(shù)驗(yàn)證，更是邊緣智能落地的典型案例能力。通過(guò)廣和通自研的AI Stack，我們讓機(jī)器人、AI眼鏡、翻譯機(jī)等端側(cè)設(shè)備真正具備本地化復(fù)雜推理與決策能力。廣和通將強(qiáng)化端側(cè)AI的商業(yè)落地能力，為更多AIoT設(shè)備賦智?！?/p>

廣和通始創(chuàng)于1999年，是中國(guó)首家上市的無(wú)線通信模組企業(yè)（股票代碼：300638）。作為全球領(lǐng)先的無(wú)線通信模組和AI解決方案提供商，廣和通以無(wú)線通信與人工智能為技術(shù)底座，提供軟硬件一體、賦能行業(yè)應(yīng)用的全棧式解決方案，加速千行百業(yè)從“萬(wàn)物互聯(lián)”到“萬(wàn)物智聯(lián)”。

廣和通全棧式解決方案覆蓋AIoT模組、AI模型、智能體、全球資費(fèi)和云服務(wù)，助力智能機(jī)器人、消費(fèi)電子、低空經(jīng)濟(jì)、智能駕駛、智慧零售、智慧能源等行業(yè)數(shù)智化升級(jí)。

——構(gòu)筑數(shù)字世界基石，豐富智慧生活！