基于大語言模型辯論的多智能體協(xié)作推理分析

具體來說，我們以多項選擇的常識推理作為示例任務(wù)，因為常識推理任務(wù)是一類可能性 (plausible) 的任務(wù)，每個答案都是可能成立的，只是正確答案成立的...

2023-11-29 標(biāo)簽：語言模型智能體ChatGPT 1856 1

大型語言模型的邏輯推理能力探究

最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準(zhǔn)，包含1...

2023-11-23 標(biāo)簽：語言模型自然語言ChatGPT 1333 0

Scaling Law大模型設(shè)計實操案例

縱軸是"Bits for words", 這也是交叉熵的一個單位。在計算交叉熵時，如果使用以 2 為底的對數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語言模型GPTOpenAI 1014 0

基于顯式證據(jù)推理的few-shot關(guān)系抽取CoT

最近，上下文學(xué)習(xí)策略已被證明在沒有訓(xùn)練的情況下顯示出顯著的結(jié)果。很少有研究利用上下文學(xué)習(xí)進行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標(biāo)簽：語言模型nlpLLM 1226 0

怎樣讓PPO訓(xùn)練更穩(wěn)定？早期人類征服RLHF的馴化經(jīng)驗

盡管魯迅先生曾言：真的強化敢于直面慘淡的結(jié)果，敢于正視崩壞的曲線。但日復(fù)一復(fù)地開盲盒難免會讓人心臟承受不了，好在前人們留下了寶貴的馴化經(jīng)驗，今天讓我們一...

2023-11-16 標(biāo)簽：噪聲語言模型LLM 1051 0

基于檢索的大語言模型簡介

簡介章節(jié)講的是比較基礎(chǔ)的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語言模型（LLM）

2023-11-15 標(biāo)簽：語言模型LLM 975 0

LLM作用下的成分句法分析基礎(chǔ)研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...

2023-11-10 標(biāo)簽：語言模型語法LLM 672 0

探究編輯多模態(tài)大語言模型的可行性

不同于單模態(tài)模型編輯，多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點依然從單模態(tài)模型編輯入手，將單模態(tài)模型編輯拓展到多模態(tài)模型編輯，主要從以下三個方面...

2023-11-09 標(biāo)簽：編碼器語言模型OpenAI 689 0

Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標(biāo)簽：語言模型亞馬遜LLM 1154 0

探索SFT訓(xùn)練策略對性能的影響

大模型混合多種能力項數(shù)據(jù)進行微調(diào)時，會呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語言模型SFT 1481 0

揭秘編碼器與解碼器語言模型

Transformer 架構(gòu)的問世標(biāo)志著現(xiàn)代語言大模型時代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標(biāo)簽：解碼器編碼器語言模型 1083 0

基于PyTorch的模型并行分布式訓(xùn)練Megatron解析

NVIDIA Megatron 是一個基于 PyTorch 的分布式訓(xùn)練框架，用來訓(xùn)練超大Transformer語言模型，其通過綜合應(yīng)用了數(shù)據(jù)并行，Te...

2023-10-23 標(biāo)簽：NVIDIA源碼模型 3938 0

開源LLEMMA發(fā)布：超越未公開的頂尖模型，可直接應(yīng)用于工具和定理證明

但LLEMMA的出現(xiàn)改變了這一局面。它不僅在MATH基準(zhǔn)測試上創(chuàng)下了新高，甚至超越了某些還未對外公開的頂尖模型，如Minerva。更讓人欣喜的是，LLE...

2023-10-22 標(biāo)簽：模型語言模型python 975 0

在RTX 4090被限制的時代下，讓大模型使用RLHF更高效的方法來了

今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對 G...

2023-10-22 標(biāo)簽：語言模型ChatGPT大模型 687 0

谷歌重磅新作PaLI-3：視覺語言新模型！更小、更快、更強

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標(biāo)定位的任務(wù)上實現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個視覺定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語言模型大模型 2578 0

高性能計算與多模態(tài)處理的探索之旅：英偉達GH200性能優(yōu)化與GPT-4V的算力加速未來

隨著人工智能技術(shù)的不斷發(fā)展，多模態(tài)大模型成為越來越重要的發(fā)展趨勢。GPT-4V（GPT-4 近日開放的視覺模態(tài)）大型多模型（LMMs）擴展大型語言模型（...

2023-10-19 標(biāo)簽：人工智能語言模型英偉達 1472 0

CPU后端和CUDA后端的執(zhí)行代碼和效果

下面展示一下在 https://github.com/BBuf/RWKV-World-HF-Tokenizer 做的自定義實現(xiàn)的RWKV world t...

2023-10-16 標(biāo)簽：人工智能語言模型數(shù)據(jù)集 1189 0

ChatGPT是怎么實現(xiàn)的

ChatGPT 能夠自動生成類似于人類寫作的文本，這一點非常引人注目，也令人意外。但它是如何實現(xiàn)的？為什么它能夠如此出色地生成我們認為有意義的文本？我的...

2023-10-16 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型ChatGPT 1324 0