Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語言模型 963 0

大型語言模型與知識(shí)圖譜：機(jī)遇與挑戰(zhàn)

這對(duì)知識(shí)表示領(lǐng)域來說是一個(gè)巨大的步驟。長時(shí)間以來，人們關(guān)注的是明確的知識(shí)，例如嵌入在文本中的知識(shí)，有時(shí)也被稱為非結(jié)構(gòu)化數(shù)據(jù)，以及以結(jié)構(gòu)化形式存在的知識(shí)，...

2023-08-24 標(biāo)簽：語言模型自然語言知識(shí)圖譜 962 0

Medusa如何加速大型語言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 961 0

一文速覽大語言模型提示最新進(jìn)展

盡管基本的CoT提示策略在復(fù)雜推理任務(wù)中展示出了強(qiáng)大的能力，但它仍然面臨著一些問題，比如推理過程存在錯(cuò)誤和不穩(wěn)定等。因此，一系列的研究通過增強(qiáng)的提示方法...

2023-12-27 標(biāo)簽：生成器語言模型自然語言處理 959 0

基于Llama2和OpenVIN打造聊天機(jī)器人

Llama 2是 Meta 發(fā)布了其最新的大型語言模型，Llama2 是基于 Transformer 的人工神經(jīng)網(wǎng)絡(luò)，以一系列單詞作為輸入，遞歸地預(yù)測(cè)下...

2023-08-06 標(biāo)簽：英特爾神經(jīng)網(wǎng)絡(luò)AI 953 0

基于多任務(wù)預(yù)訓(xùn)練模塊化提示

Prompt Tuning 可以讓預(yù)訓(xùn)練的語言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當(dāng)訓(xùn)練數(shù)據(jù)足夠多的時(shí)候，Prompt Tuning 的微調(diào)結(jié)果可以媲...

2023-06-20 標(biāo)簽：模塊數(shù)據(jù)語言模型 950 0

ToolLLM：促進(jìn)大型語言模型掌握16000+真實(shí)世界的APIs

盡管開源大語言模型 (LLM) 及其變體（例如 LLaMA 和 Vicuna）取得了進(jìn)步，但它們?cè)趫?zhí)行更高級(jí)別的任務(wù)方面仍然受到很大限制，例如遵循人類指...

2023-08-02 標(biāo)簽：數(shù)據(jù)開源語言模型 945 0

大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息

? 大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息？這一問題在計(jì)算機(jī)科學(xué)和自然語言處理領(lǐng)域一直存在爭(zhēng)議。然而，MIT的一項(xiàng)新研究表明，僅基于文...

2023-05-25 標(biāo)簽：數(shù)據(jù)語言模型自然語言 943 0

無監(jiān)督域自適應(yīng)場(chǎng)景：基于檢索增強(qiáng)的情境學(xué)習(xí)實(shí)現(xiàn)知識(shí)遷移

本文對(duì)比了多種基線方法，包括無監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對(duì)抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)...

2023-12-05 標(biāo)簽：解碼器編碼器語言模型 904 0

蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型

為了解決大型模型的這個(gè)問題，部署者往往采用小一些的特定模型來替代。這些小一點(diǎn)的模型用常見范式 —— 微調(diào)或是蒸餾來進(jìn)行訓(xùn)練。微調(diào)使用下游的人類注釋數(shù)據(jù)升...

2023-05-15 標(biāo)簽：人工智能語言模型自然語言 900 0

Falcon-7B大型語言模型在心理健康對(duì)話數(shù)據(jù)集上使用QLoRA進(jìn)行微調(diào)

使用領(lǐng)域適應(yīng)技術(shù)對(duì)預(yù)訓(xùn)練LLM進(jìn)行微調(diào)可以提高在特定領(lǐng)域任務(wù)上的性能。但是，進(jìn)行完全微調(diào)可能會(huì)很昂貴，并且可能會(huì)導(dǎo)致CUDA內(nèi)存不足錯(cuò)誤。當(dāng)進(jìn)行完全微調(diào)...

2023-09-19 標(biāo)簽：模型語言模型數(shù)據(jù)集 838 0

號(hào)稱「碾壓」LLaMA的Falcon實(shí)測(cè)得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過了 GPT-3（1...

2023-06-11 標(biāo)簽：解碼器語言模型 827 0

爆火Llama 2一周請(qǐng)求下載超15萬，有人開源了Rust實(shí)現(xiàn)版本

隨著 Llama 2 的逐漸走紅，大家對(duì)它的二次開發(fā)開始流行起來。前幾天，OpenAI 科學(xué)家 Karpathy 利用周末時(shí)間開發(fā)了一個(gè)明星項(xiàng)目 lla...

2023-08-02 標(biāo)簽：開源語言模型Rust 823 0

FPGA加速器支撐ChatGPT類大語言模型創(chuàng)新

作者：Bill Jenkins，Achronix人工智能/機(jī)器學(xué)習(xí)產(chǎn)品營銷總監(jiān) 探索FPGA加速語言模型如何通過更快的推理、更低的延遲和更好的語言理解來...

2023-09-04 標(biāo)簽：fpga人工智能語言模型 803 0

基于預(yù)訓(xùn)練模型和語言增強(qiáng)的零樣本視覺學(xué)習(xí)

在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會(huì)讓模型能力進(jìn)一步提升 怎么讓能力更好？可以引入其他知識(shí)，即其他的預(yù)訓(xùn)練模型，...

2023-06-15 標(biāo)簽：語言模型訓(xùn)練模型 796 0

一種針對(duì)LLMs簡(jiǎn)單有效的思維鏈解毒方法

考慮到強(qiáng)化學(xué)習(xí)[10]訓(xùn)練大語言模型的困難性，我們從語言建模的角度對(duì)大語言模型進(jìn)行解毒。已有工作將解毒視為單一的任務(wù)，可以實(shí)現(xiàn)從有毒內(nèi)容到無毒內(nèi)容的直接...

2023-08-21 標(biāo)簽：API語言模型強(qiáng)化學(xué)習(xí) 786 0