Medusa如何加速大型語(yǔ)言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型LLM 1.1k 0

TensorRT-LLM中的分離式服務(wù)

在之前的技術(shù)博客中，我們介紹了低延遲[1] 和高吞吐[2] 場(chǎng)景的優(yōu)化方法。對(duì)于生產(chǎn)部署，用戶還關(guān)心在滿足特定延遲約束的情況下，每個(gè) GPU 的吞吐表現(xiàn)...

2025-08-27 標(biāo)簽：NVIDIAgpu模型 1.1k 0

大模型學(xué)習(xí)筆記

Apple最近發(fā)表了一篇文章，可以在iphone, MAC 上運(yùn)行大模型：【LLM in a flash: Efficient Large Langua...

2024-01-08 標(biāo)簽：DRAMMac大模型 1.1k 0

探索LangChain：構(gòu)建專屬LLM應(yīng)用的基石

LangChain通過(guò)Loader加載外部的文檔，轉(zhuǎn)化為標(biāo)準(zhǔn)的Document類(lèi)型。Document類(lèi)型主要包含兩個(gè)屬性：page_content 包含...

2024-01-30 標(biāo)簽：ChatGPTLLM 1.1k 0

我們能否擴(kuò)展現(xiàn)有的預(yù)訓(xùn)練 LLM 的上下文窗口

? ? 在大家不斷升級(jí)迭代自家大模型的時(shí)候，LLM（大語(yǔ)言模型）對(duì)上下文窗口的處理能力，也成為一個(gè)重要評(píng)估指標(biāo)。 ? 比如 OpenAI 的 gpt-3...

2023-06-30 標(biāo)簽：編碼窗口模型 1.1k 0

在NVIDIA TensorRT-LLM中啟用ReDrafter的一些變化

Recurrent Drafting (簡(jiǎn)稱 ReDrafter) 是蘋(píng)果公司為大語(yǔ)言模型 (LLM) 推理開(kāi)發(fā)并開(kāi)源的一種新型推測(cè)解碼技術(shù)，該技術(shù)現(xiàn)在...

2024-12-25 標(biāo)簽：NVIDIA模型LLM 1.1k 0

對(duì)比解碼在LLM上的應(yīng)用

為了改進(jìn)LLM的推理能力，University of California聯(lián)合Meta AI實(shí)驗(yàn)室提出將Contrastive Decoding應(yīng)用于多...

2023-09-21 標(biāo)簽：解碼AI深度學(xué)習(xí) 1.1k 0

大模型對(duì)話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過(guò)多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 1.1k 0

大語(yǔ)言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

盡管大語(yǔ)言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0，并基于該評(píng)測(cè)框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標(biāo)簽：開(kāi)源語(yǔ)言模型自然語(yǔ)言處理 1k 0

模型與人類(lèi)的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對(duì)模型語(yǔ)言理解的作用

近期的大語(yǔ)言模型（LLM）在自然語(yǔ)言理解和生成上展現(xiàn)出了接近人類(lèi)的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標(biāo)簽：PLM語(yǔ)言模型LLM 1k 0

LLM作用下的成分句法分析基礎(chǔ)研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...

2023-11-10 標(biāo)簽：語(yǔ)言模型語(yǔ)法LLM 1k 0

詳解 LLM 推理模型的現(xiàn)狀

2025年，如何提升大型語(yǔ)言模型（LLM）的推理能力成了最熱門(mén)的話題之一，大量?jī)?yōu)化推理能力的新策略開(kāi)始出現(xiàn)，包括擴(kuò)展推理時(shí)間計(jì)算、運(yùn)用強(qiáng)化學(xué)習(xí)、開(kāi)展監(jiān)督...

2025-04-03 標(biāo)簽：語(yǔ)言模型LLM 979 0

NVIDIA Nemotron-4 340B模型幫助開(kāi)發(fā)者生成合成訓(xùn)練數(shù)據(jù)

Nemotron-4 340B 是針對(duì) NVIDIA NeMo 和 NVIDIA TensorRT-LLM 優(yōu)化的模型系列，該系列包含最先進(jìn)的指導(dǎo)和獎(jiǎng)勵(lì)...

2024-09-06 標(biāo)簽：NVIDIA模型LLM 973 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語(yǔ)言生成（NLG）中的一項(xiàng)任務(wù)，主要用來(lái)將一大段長(zhǎng)文本壓縮為簡(jiǎn)短的摘要，例如新聞文章、源代碼和跨語(yǔ)言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 961 0

生成式推薦系統(tǒng)與京東聯(lián)盟廣告-綜述與應(yīng)用

大型語(yǔ)言模型（LLM）正在深刻地影響自然語(yǔ)言處理（NLP）領(lǐng)域，其強(qiáng)大的處理各種任務(wù)的能力也為其他領(lǐng)域的從業(yè)者帶來(lái)了新的探索路徑。推薦系統(tǒng)（RS）作為解...

2024-06-13 標(biāo)簽：AInlpLLM 950 0

一種基于自然語(yǔ)言的軌跡修正方法

本研究提出了ExTraCT框架，利用自然語(yǔ)言進(jìn)行軌跡校正。該框架結(jié)合了大型語(yǔ)言模型（LLMs）用于自然語(yǔ)言理解和軌跡變形函數(shù)。ExTraCT能夠根據(jù)場(chǎng)景...

2024-01-19 標(biāo)簽：函數(shù)模型自然語(yǔ)言 943 0

大語(yǔ)言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)

本文系統(tǒng)性地闡述了大型語(yǔ)言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實(shí)踐應(yīng)用。通過(guò)深入分析各類(lèi)解碼算法的工作機(jī)制、...

2025-02-18 標(biāo)簽：語(yǔ)言模型解碼技術(shù)LLM 938 0

小白學(xué)大模型：從零實(shí)現(xiàn) LLM語(yǔ)言模型

在當(dāng)今人工智能領(lǐng)域，大型語(yǔ)言模型（LLM）的開(kāi)發(fā)已經(jīng)成為一個(gè)熱門(mén)話題。這些模型通過(guò)學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語(yǔ)言文本，完成各種復(fù)雜的任務(wù)，如寫(xiě)作、...

2025-04-30 標(biāo)簽：語(yǔ)言模型大模型LLM 928 0