探索無限可能：生成式推薦的演進、前沿與挑戰(zhàn)

TL;DR 過去一年間，生成式推薦取得了長足的實質(zhì)性進展，特別是在憑借大型語言模型強大的序列建模與推理能力提升整體推薦性能方面?；贚LM（Large ...

2025-10-20 標簽：AILLM 1.9k 0

TensorRT-LLM的大規(guī)模專家并行架構(gòu)設(shè)計

之前文章已介紹引入大規(guī)模 EP 的初衷，本篇將繼續(xù)深入介紹 TensorRT-LLM 的大規(guī)模專家并行架構(gòu)設(shè)計與創(chuàng)新實現(xiàn)。

2025-09-23 標簽：cpu機器學習LLM 414 0

6TOPS算力驅(qū)動30億參數(shù)LLM，米爾RK3576部署端側(cè)多模態(tài)多輪對話

關(guān)鍵詞：瑞芯微RK3576、NPU（神經(jīng)網(wǎng)絡處理器）、端側(cè)小語言模型（SLM）、多模態(tài)LLM、邊緣AI部署、開發(fā)板當GPT-4o用毫秒級響應處理圖文混合...

2025-09-04 標簽：算力米爾電子LLM 4k 0

3萬字長文！深度解析大語言模型LLM原理

我們正在參加全球電子成就獎的評選，歡迎大家?guī)臀覀兺镀薄x謝支持本文轉(zhuǎn)自：騰訊技術(shù)工程作者：royceshao大語言模型LLM的精妙之處在于很好地利用...

2025-09-02 標簽：人工智能語言模型LLM 2.6k 0

DeepSeek R1 MTP在TensorRT-LLM中的實現(xiàn)與優(yōu)化

TensorRT-LLM 在 NVIDIA Blackwell GPU 上創(chuàng)下了 DeepSeek-R1 推理性能的世界紀錄，Multi-Token P...

2025-08-30 標簽：NVIDIA模型LLM 3.6k 0

TensorRT-LLM中的分離式服務

在之前的技術(shù)博客中，我們介紹了低延遲[1] 和高吞吐[2] 場景的優(yōu)化方法。對于生產(chǎn)部署，用戶還關(guān)心在滿足特定延遲約束的情況下，每個 GPU 的吞吐表現(xiàn)...

2025-08-27 標簽：NVIDIAgpu模型 1.1k 0

AI生成的測試用例真的靠譜嗎？

軟件測試正經(jīng)歷一場深刻的技術(shù)革命。AI，尤其是以GPT、通義千問、文心一言、Claude等為代表的大語言模型（LLM），開始廣泛介入測試流程：從需求分析...

2025-08-01 標簽：測試AILLM 1.2k 0

利用自壓縮實現(xiàn)大型語言模型高效縮減

隨著語言模型規(guī)模日益龐大，設(shè)備端推理變得越來越緩慢且耗能巨大。一個直接且效果出人意料的解決方案是剪除那些對任務貢獻甚微的完整通道（channel）。我們...

2025-07-28 標簽：語言模型LLM 259 0

RK3568自制底板狂丟包？教你5分鐘用Delayline一鍵復活網(wǎng)口

在使用飛凌嵌入式RK3568核心板搭配自制底板時，由于PCB走線與參考設(shè)計存在差異，常導致RGMII接口時序異常，進而出現(xiàn)網(wǎng)口不通或頻繁丟包的情況。本文...

2025-07-25 標簽：嵌入式AIVLMx234 1.2k 0

NVIDIA Blackwell GPU優(yōu)化DeepSeek-R1性能 打破DeepSeek-R1在最小延遲場景中的性能紀錄

本文將探討 NVIDIA TensorRT-LLM 如何基于 8 個 NVIDIA Blackwell GPU 的配置，打破 DeepSeek-R1 在...

2025-07-02 標簽：NVIDIAgpu大模型 2.8k 0

使用NVIDIA Triton和TensorRT-LLM部署TTS應用的最佳實踐

針對基于 Diffusion 和 LLM 類別的 TTS 模型，NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張...

2025-06-12 標簽：NVIDIAgpu模型 1.1k 0

LM Studio使用NVIDIA技術(shù)加速LLM性能

隨著 AI 使用場景不斷擴展（從文檔摘要到定制化軟件代理），開發(fā)者和技術(shù)愛好者正在尋求以更 快、更靈活的方式來運行大語言模型（LLM）。

2025-06-06 標簽：NVIDIAStudioLLM 614 0

小白學大模型：從零實現(xiàn) LLM語言模型

在當今人工智能領(lǐng)域，大型語言模型（LLM）的開發(fā)已經(jīng)成為一個熱門話題。這些模型通過學習大量的文本數(shù)據(jù)，能夠生成自然語言文本，完成各種復雜的任務，如寫作、...

2025-04-30 標簽：語言模型大模型LLM 915 0

詳解 LLM 推理模型的現(xiàn)狀

2025年，如何提升大型語言模型（LLM）的推理能力成了最熱門的話題之一，大量優(yōu)化推理能力的新策略開始出現(xiàn)，包括擴展推理時間計算、運用強化學習、開展監(jiān)督...

2025-04-03 標簽：語言模型LLM 960 0

樹莓派秒變編程助手：Ollama+Continue的簡易搭建教程！

以下是如何在RaspberryPi上運行大型語言模型(LLM)的方法。本文的目標是找出在RaspberryPi上運行LLM是否是ChatGPT和GitH...

2025-03-27 標簽：Raspberry Pi樹莓派LLM 414 0

基于DBFP與DB-Attn的算法硬件協(xié)同優(yōu)化方案

本文討論了LLM推理過程對計算資源需求急劇攀升的背景下，現(xiàn)有量化和剪枝技術(shù)、新數(shù)據(jù)格式存在的不足，提出動態(tài)塊浮點數(shù)（DBFP）及其配套算法-硬件協(xié)同框架...

2025-03-19 標簽：算法模型LLM 3.1k 0

內(nèi)部業(yè)務支撐&前瞻技術(shù)布局 One4All下一代生成式推薦系統(tǒng)

作者：京東零售 申磊 自LLM在自然語言處理等領(lǐng)域取得了矚目成就之后，學術(shù)界積極探索生成式模型對搜廣推系統(tǒng)的增強或改進方式[1]，現(xiàn)有工作大體可以分為兩...

2025-03-19 標簽：AI大模型LLM 725 0

利用OpenVINO GenAI解鎖LLM極速推理

隨著 DeepSeek、 GPT 和 Llama 等大語言模型（LLMs）不斷推動人工智能的邊界，它們在高效部署方面也帶來了重大挑戰(zhàn)。這些模型在生成類似...

2025-03-18 標簽：AI聊天機器人LLM 799 0

NVIDIA大語言模型在推薦系統(tǒng)中的應用實踐

推薦系統(tǒng)的主要任務在于根據(jù)用戶的過往行為預測其潛在興趣點，并據(jù)此推薦相應的商品。在傳統(tǒng)的推薦系統(tǒng)中，當處理用戶請求時，會觸發(fā)多個召回模塊，例如熱門商品召...

2025-03-05 標簽：NVIDIA模型推薦系統(tǒng) 1.2k 0

用PaddleNLP在4060單卡上實踐大模型預訓練技術(shù)

作者：算力魔方創(chuàng)始人/英特爾創(chuàng)新大使劉力 之前我們分享了《從零開始訓練一個大語言模型需要投資多少錢》，其中高昂的預訓練費用讓許多對大模型預訓練技術(shù)感興趣...

2025-02-19 標簽：數(shù)據(jù)集大模型LLM 1.8k 0