基于檢索的大語言模型簡介

簡介章節(jié)講的是比較基礎(chǔ)的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語言模型（LLM）

2023-11-15 標簽：語言模型LLM 1060 0

LLM作用下的成分句法分析基礎(chǔ)研究

采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...

2023-11-10 標簽：語言模型語法LLM 770 0

怎樣使用Streamlit創(chuàng)建AutoGen用戶界面？

AutoGen作為一個最大化LLM(如GPT-4)能力的框架而脫穎而出。

2023-11-08 標簽：GPTLLM 1034 0

Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標簽：語言模型亞馬遜LLM 1256 0

chatGPT的175Billion個參數(shù)是哪兒來的

最近大語言模型模型LLM很火，大家總是說chatgpt的175Billion參數(shù)。做算法的人更關(guān)心網(wǎng)絡(luò)的結(jié)構(gòu)，而我這種做硬件的人一直很好奇這個參數(shù)是怎么計算的。

2023-11-01 標簽：LSTMChatGPTLLM 1552 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標簽：gpu模型LLM 1674 0

大語言模型Fine-tuning踩坑經(jīng)驗分享

當(dāng)然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標簽：gpu數(shù)據(jù)處理ChatGPT 719 0

揭秘編碼器與解碼器語言模型

Transformer 架構(gòu)的問世標志著現(xiàn)代語言大模型時代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標簽：解碼器編碼器語言模型 1181 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標簽：人工智能C++openEuler 3229 0

mlc-llm對大模型推理的流程及優(yōu)化方案

在 MLC-LLM 部署RWKV World系列模型實戰(zhàn)（3B模型Mac M2解碼可達26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標簽：編譯MLC深度學(xué)習(xí) 1225 0

對比解碼在LLM上的應(yīng)用

為了改進LLM的推理能力，University of California聯(lián)合Meta AI實驗室提出將Contrastive Decoding應(yīng)用于多...

2023-09-21 標簽：解碼AI深度學(xué)習(xí) 904 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項任務(wù)，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標簽：源代碼GPT大模型 846 0

基于神經(jīng)科學(xué)的Numenta介紹

人腦以高效著稱，它以稀疏的表征方式存儲和處理信息。在任何時刻，只有一小部分神經(jīng)元處于活躍狀態(tài)。

2023-09-21 標簽：處理器GPU芯片自然語言處理 1162 0

Medusa如何加速大型語言模型（LLM）的生成？

面對推測性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強了效率，讓每個生成階段都能快速...

2023-09-20 標簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 959 0

從原理到代碼理解語言模型訓(xùn)練和推理，通俗易懂，快速修煉LLM

要理解大語言模型（LLM），首先要理解它的本質(zhì)，無論預(yù)訓(xùn)練、微調(diào)還是在推理階段，核心都是next token prediction，也就是以自回歸的方式...

2023-09-19 標簽：語言模型LLM 2233 0

【比特熊充電?！繉崙?zhàn)演練構(gòu)建LLM對話引擎

大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的...

2023-09-19 標簽：微軟NVIDIAOpenAI 1309 0

如何更好地繼續(xù)預(yù)訓(xùn)練（Continue PreTraining）

但，這種前提是「充分訓(xùn)練」，如果只看訓(xùn)練前期的話，使用更長的預(yù)熱步數(shù)（黃色的線）。無論是「上游任務(wù)」還是「下游任務(wù)」，模型的 Loss 都要比其他預(yù)熱步...

2023-09-11 標簽：模型數(shù)據(jù)集LLM 1468 0

檢索增強LLM的方案全面的介紹

OpenAI 研究科學(xué)家 Andrej Karpathy 前段時間在微軟 Build 2023 大會上做過一場關(guān)于 GPT 模型現(xiàn)狀的分享 State ...

2023-09-08 標簽：檢索GitHubLLM 1777 0

RLAIF：一個不依賴人工的RLHF替代方案

如圖所示，在RLAIF中，首先使用LLM來評估給定的文本和2個候選回復(fù)，然后，這些由LLM生成的偏好數(shù)據(jù)被用來訓(xùn)練一個獎勵模型，這個獎勵模型用于強化學(xué)習(xí)...

2023-09-08 標簽：模型強化學(xué)習(xí)LLM 1114 0