現(xiàn)在，就是AI大模型在端側(cè)應(yīng)用的春天！

無論全球芯片巨頭，還是“AI手機”、“AIPC”廠商們，都在發(fā)力AI大模型的端側(cè)應(yīng)用。

是什么讓大家蜂擁而至？

“天下武功，唯快不破”

當(dāng)數(shù)十億個端側(cè)設(shè)備都在不停地調(diào)用云端大模型，估計沒有任何一個服務(wù)器受得了。因此，能夠提供即時推理決策的端側(cè)能力是AI大模型進一步提高應(yīng)用滲透率的關(guān)鍵。

來看看我們的主角：商湯「日日新 5.0端側(cè)大模型」

它有多優(yōu)秀？

性能實現(xiàn)同等尺度性能最優(yōu)，跨級尺度全面領(lǐng)先。

BenchMark成績顯示，「日日新5.0端側(cè)大模型」SenseChat-Lite 1.8B全面領(lǐng)先所有開源2B同級別模型，甚至在大部分測試中跨級擊敗了Llama2-7B、13B模型。

? ?

同時，在實際應(yīng)用中，為進一步提高各類終端任務(wù)處理靈活性，它還引入端云聯(lián)動的MoE框架，可針對不同行業(yè)應(yīng)用設(shè)置不同的云端聯(lián)動配比，在性能、速度和成本間取得平衡，獲得最佳推理效果。

▎AI大模型端側(cè)應(yīng)用，不僅拼性能，還拼“手速”

下面，我們一起看看商湯端側(cè)大模型的實際表現(xiàn)。

首先，是純端側(cè)大模型推理速度。

目前商湯「日日新5.0端側(cè)大模型」語言模型能力的推理速度達到了業(yè)內(nèi)最快，對比人眼20字/秒的閱讀速度，可在中端性能手機上達到18.3字/秒的推理速度。

在高端旗艦手機上，推理速度更是達到78.3字/秒！

例如，手機斷網(wǎng)模式下生成一個“理由充分、安排詳實”的員工休假申請，效果是這樣：

現(xiàn)場原速

離線飛行模式下，打工人也能迅速總結(jié)工作紀要，生成速度緊跟人眼閱讀節(jié)奏。

現(xiàn)場原速

此外，多模態(tài)圖文能力也是端側(cè)模型在行業(yè)鋪開的關(guān)鍵。

以擴圖功能為例，商湯「日日新5.0端側(cè)大模型」擴散模型可實現(xiàn)當(dāng)前業(yè)內(nèi)最快推理速度。

在高通旗艦平臺上推理速度小于1.5秒，比手機云端處理快10倍，且支持輸出1200萬像素以上的高清圖片，支持等比擴圖、自由擴圖、旋轉(zhuǎn)擴圖多種圖像編輯功能。

可以看到，在「商湯技術(shù)交流日」現(xiàn)場實時演示中，商湯端側(cè)大模型完成3種不同方案的擴圖速度比競品手機自帶App擴1張圖的速度還快：

旋轉(zhuǎn)擴圖效果同樣出色，端側(cè)幾乎是實時的：

現(xiàn)場畫面2X速

活動現(xiàn)場直接拍照，即時自由擴圖，“自信”瞬間拉滿：

▎「日日新5.0端側(cè)大模型」已開放SDK服務(wù)

可以看到，商湯端側(cè)大模型在語言處理和多模態(tài)交互方面展現(xiàn)了強大的應(yīng)用潛力。

它能夠勝任端側(cè)AI場景中多種任務(wù)，包括日常對話、常識問答、文案生成、相冊管理和圖片創(chuàng)作等，可滿足各類用戶日益普遍的AI應(yīng)用需求。

目前，商湯端側(cè)大模型已開放SDK服務(wù)，全面覆蓋智能手機、平板電腦、VR眼鏡、車載系統(tǒng)等多樣化的設(shè)備場景，為開發(fā)者和制造商提供豐富的應(yīng)用適配空間。

最后，讓我們聽聽商湯的合作伙伴如何評價商湯日日新大模型：

在個人出行場景，近期火爆市場的小米汽車SU7，小米小愛同學(xué)為車主提供智能化交互體驗，當(dāng)中也有集合應(yīng)用了商湯的大模型技術(shù)能力，有基于商湯端云大模型解決方案；小米集團小愛總經(jīng)理王剛表示：“商湯的云邊端全棧組合，可以很好地賦能和適配小米物聯(lián)網(wǎng)生態(tài)。我們希望與商湯共同為我們的用戶打造更具智能化的產(chǎn)品體驗?！?/p>

▎One More Thing：端側(cè)智能體is coming

著眼未來，端側(cè)大模型還將走向更高階應(yīng)用——端側(cè)智能體。

有啥效果？

通過語音直接給手機下任務(wù)，智能體就會自動調(diào)用手機中各種應(yīng)用完成任務(wù)：

審核編輯：劉清