基于多任務(wù)預(yù)訓(xùn)練模塊化提示

Prompt Tuning 可以讓預(yù)訓(xùn)練的語(yǔ)言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當(dāng)訓(xùn)練數(shù)據(jù)足夠多的時(shí)候，Prompt Tuning 的微調(diào)結(jié)果可以媲...

2023-06-20 標(biāo)簽：模塊數(shù)據(jù)語(yǔ)言模型 1.3k 0

邱錫鵬團(tuán)隊(duì)提出SpeechGPT：具有內(nèi)生跨模態(tài)能力的大語(yǔ)言模型

雖然現(xiàn)有的級(jí)聯(lián)方法或口語(yǔ)語(yǔ)言模型能夠感知和生成語(yǔ)音，但仍存在一些限制。首先，在級(jí)聯(lián)模型中，LLM 僅充當(dāng)內(nèi)容生成器。由于語(yǔ)音和文本的表示沒(méi)有對(duì)齊，LLM...

2023-05-22 標(biāo)簽：模態(tài)語(yǔ)言模型數(shù)據(jù)集 1.3k 0

邱錫鵬團(tuán)隊(duì)提出具有內(nèi)生跨模態(tài)能力的SpeechGPT，為多模態(tài)LLM指明方向

大型語(yǔ)言模型（LLM）在各種自然語(yǔ)言處理任務(wù)上表現(xiàn)出驚人的能力。與此同時(shí)，多模態(tài)大型語(yǔ)言模型，如 GPT-4、PALM-E 和 LLaVA，已經(jīng)探索了 ...

2023-05-22 標(biāo)簽：編碼器生成器語(yǔ)言模型 1.3k 0

一文速覽大語(yǔ)言模型提示最新進(jìn)展

盡管基本的CoT提示策略在復(fù)雜推理任務(wù)中展示出了強(qiáng)大的能力，但它仍然面臨著一些問(wèn)題，比如推理過(guò)程存在錯(cuò)誤和不穩(wěn)定等。因此，一系列的研究通過(guò)增強(qiáng)的提示方法...

2023-12-27 標(biāo)簽：生成器語(yǔ)言模型自然語(yǔ)言處理 1.3k 0

詳解 LLM 推理模型的現(xiàn)狀

2025年，如何提升大型語(yǔ)言模型（LLM）的推理能力成了最熱門(mén)的話題之一，大量?jī)?yōu)化推理能力的新策略開(kāi)始出現(xiàn)，包括擴(kuò)展推理時(shí)間計(jì)算、運(yùn)用強(qiáng)化學(xué)習(xí)、開(kāi)展監(jiān)督...

2025-04-03 標(biāo)簽：語(yǔ)言模型LLM 1.3k 0

探索ChatGPT模型的人工智能語(yǔ)言模型

最大的區(qū)別ChatGPT是通過(guò)對(duì)話數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，而不僅僅是通過(guò)單一的句子進(jìn)行預(yù)訓(xùn)練，這使得ChatGPT能夠更好地理解對(duì)話的上下文，并進(jìn)行連貫的回復(fù)。

2024-04-24 標(biāo)簽：編碼器人工智能語(yǔ)言模型 1.3k 0

使用NVIDIA NeMo定制LLM的過(guò)程

如何創(chuàng)建自定義語(yǔ)言模型

2023-07-05 標(biāo)簽：NVIDIAAI語(yǔ)言模型 1.3k 0

ToolLLM：促進(jìn)大型語(yǔ)言模型掌握16000+真實(shí)世界的APIs

盡管開(kāi)源大語(yǔ)言模型 (LLM) 及其變體（例如 LLaMA 和 Vicuna）取得了進(jìn)步，但它們?cè)趫?zhí)行更高級(jí)別的任務(wù)方面仍然受到很大限制，例如遵循人類(lèi)指...

2023-08-02 標(biāo)簽：數(shù)據(jù)開(kāi)源語(yǔ)言模型 1.3k 0

Allen AI推出集成主流大語(yǔ)言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來(lái)自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語(yǔ)言模型 1.2k 0

大型語(yǔ)言模型能否捕捉到它們所處理和生成的文本中的語(yǔ)義信息

? 大型語(yǔ)言模型能否捕捉到它們所處理和生成的文本中的語(yǔ)義信息？這一問(wèn)題在計(jì)算機(jī)科學(xué)和自然語(yǔ)言處理領(lǐng)域一直存在爭(zhēng)議。然而，MIT的一項(xiàng)新研究表明，僅基于文...

2023-05-25 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型自然語(yǔ)言 1.2k 0

Medusa如何加速大型語(yǔ)言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型LLM 1.2k 0

小白學(xué)大模型：訓(xùn)練大語(yǔ)言模型的深度指南

在當(dāng)今人工智能飛速發(fā)展的時(shí)代，大型語(yǔ)言模型（LLMs）正以其強(qiáng)大的語(yǔ)言理解和生成能力，改變著我們的生活和工作方式。在最近的一項(xiàng)研究中，科學(xué)家們?yōu)榱松钊肓?..

2025-03-03 標(biāo)簽：AI人工智能語(yǔ)言模型 1.2k 0

蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型

為了解決大型模型的這個(gè)問(wèn)題，部署者往往采用小一些的特定模型來(lái)替代。這些小一點(diǎn)的模型用常見(jiàn)范式 —— 微調(diào)或是蒸餾來(lái)進(jìn)行訓(xùn)練。微調(diào)使用下游的人類(lèi)注釋數(shù)據(jù)升...

2023-05-15 標(biāo)簽：人工智能語(yǔ)言模型自然語(yǔ)言 1.2k 0

模型與人類(lèi)的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對(duì)模型語(yǔ)言理解的作用

近期的大語(yǔ)言模型（LLM）在自然語(yǔ)言理解和生成上展現(xiàn)出了接近人類(lèi)的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標(biāo)簽：PLM語(yǔ)言模型LLM 1.2k 0

深入理解語(yǔ)言模型的突顯能力

最近，人們對(duì)大型語(yǔ)言模型所展示的強(qiáng)大能力（例如思維鏈 ^[2]^ 、便簽本 ^[3]^ ）產(chǎn)生了極大的興趣，并開(kāi)展了許多工作。我們將之統(tǒng)稱(chēng)為大模型的突現(xiàn)...

2023-02-22 標(biāo)簽：語(yǔ)言模型nlpChatGPT 1.2k 0

大語(yǔ)言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

盡管大語(yǔ)言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0，并基于該評(píng)測(cè)框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標(biāo)簽：開(kāi)源語(yǔ)言模型自然語(yǔ)言處理 1.2k 0

基于Llama2和OpenVIN打造聊天機(jī)器人

Llama 2是 Meta 發(fā)布了其最新的大型語(yǔ)言模型，Llama2 是基于 Transformer 的人工神經(jīng)網(wǎng)絡(luò)，以一系列單詞作為輸入，遞歸地預(yù)測(cè)下...

2023-08-06 標(biāo)簽：英特爾神經(jīng)網(wǎng)絡(luò)AI 1.1k 0