當(dāng)紅炸子雞LoRA，是當(dāng)代微調(diào)LLMs的正確姿勢(shì)？

大多數(shù)人對(duì)于 LLM 的“親密度”，可能最多就是拉個(gè)開源的 demo 跑下推理過程，得到個(gè)“意料之中”的結(jié)果，然后很諷刺地自 high 一把：WOW~ ...

2023-07-07 標(biāo)簽：模型LoRaChatGPT 3263 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標(biāo)簽：人工智能C++openEuler 3229 0

什么是向量數(shù)據(jù)庫？關(guān)系數(shù)據(jù)庫和向量數(shù)據(jù)庫之間的區(qū)別是什么？

向量數(shù)據(jù)庫是一種以向量嵌入（高維向量）方式存儲(chǔ)和管理非結(jié)構(gòu)化數(shù)據(jù)（如文本、圖像或音頻）的數(shù)據(jù)庫，以便于快速查找和檢索類似對(duì)象。

2023-08-16 標(biāo)簽：存儲(chǔ)器向量機(jī)機(jī)器學(xué)習(xí) 3099 0

拆解大語言模型RLHF中的PPO算法

由于本文以大語言模型 RLHF 的 PPO 算法為主，所以希望你在閱讀前先弄明白大語言模型 RLHF 的前兩步，即 SFT Model 和 Reward...

2023-12-11 標(biāo)簽：算法深度學(xué)習(xí)ChatGPT 3056 0

TaD+RAG-緩解大模型“幻覺”的組合新療法

TaD：任務(wù)感知解碼技術(shù)（Task-aware Decoding，簡稱TaD），京東聯(lián)合清華大學(xué)針對(duì)大語言模型幻覺問題提出的一項(xiàng)技術(shù)，成果收錄于IJCA...

2024-07-16 標(biāo)簽：AIChatGPT大模型 2987 0

LLM在各種情感分析任務(wù)中的表現(xiàn)如何

? 最近幾年，GPT-3、PaLM和GPT-4等LLM刷爆了各種NLP任務(wù)，特別是在zero-shot和few-shot方面表現(xiàn)出它們強(qiáng)大的性能。因此，...

2023-05-29 標(biāo)簽：模型數(shù)據(jù)集ChatGPT 2884 0

基于一個(gè)完整的 LLM 訓(xùn)練流程

? ? 在這篇文章中，我們將盡可能詳細(xì)地梳理一個(gè)完整的 LLM 訓(xùn)練流程。包括模型預(yù)訓(xùn)練（Pretrain）、Tokenizer 訓(xùn)練、指令微調(diào)（Ins...

2023-06-29 標(biāo)簽：數(shù)據(jù)編碼模型 2810 0

基于DBFP與DB-Attn的算法硬件協(xié)同優(yōu)化方案

本文討論了LLM推理過程對(duì)計(jì)算資源需求急劇攀升的背景下，現(xiàn)有量化和剪枝技術(shù)、新數(shù)據(jù)格式存在的不足，提出動(dòng)態(tài)塊浮點(diǎn)數(shù)（DBFP）及其配套算法-硬件協(xié)同框架...

2025-03-19 標(biāo)簽：算法模型LLM 2729 0

基于MNN在個(gè)人設(shè)備上流暢運(yùn)行大語言模型該如何實(shí)現(xiàn)呢？

LLM（大語言模型）因其強(qiáng)大的語言理解能力贏得了眾多用戶的青睞，但LLM龐大規(guī)模的參數(shù)導(dǎo)致其部署條件苛刻；

2023-07-20 標(biāo)簽：轉(zhuǎn)換器存儲(chǔ)器C++語言 2648 0

最新綜述！當(dāng)大型語言模型（LLM）遇上知識(shí)圖譜：兩大技術(shù)優(yōu)勢(shì)互補(bǔ)

LLM 是黑箱模型，缺乏可解釋性，因此備受批評(píng)。LLM 通過參數(shù)隱含地表示知識(shí)。因此，我們難以解釋和驗(yàn)證 LLM 獲得的知識(shí)。此外，LLM 是通過概率模...

2023-07-10 標(biāo)簽：編碼語言模型知識(shí)圖譜 2617 0

在Dify中使用PerfXCloud大模型推理服務(wù)

近日，Dify全面接入了Perf XCloud，借助Perf XCloud提供的大模型調(diào)用服務(wù)，用戶可在Dify中構(gòu)建出更加經(jīng)濟(jì)、高效的LLM應(yīng)用。

2024-07-15 標(biāo)簽：AI澎峰科技大模型 2536 0

為什么Agent落地這么難？AI最大賽道Agent機(jī)遇全解析

“如果一篇論文提出了某種不同的訓(xùn)練方法，OpenAI內(nèi)部會(huì)嗤之以鼻，認(rèn)為都是我們玩剩下的。但是當(dāng)新的AI Agent論文出來時(shí)，我們會(huì)十分認(rèn)真且興奮地討...

2023-11-25 標(biāo)簽：SQLGPTOpenAI 2501 0

基準(zhǔn)數(shù)據(jù)集(CORR2CAUSE)如何測(cè)試大語言模型(LLM)的純因果推理能力

? 因果推理是人類智力的標(biāo)志之一。因果關(guān)系NLP領(lǐng)域近年來引起了人們的極大興趣，但其主要依賴于從常識(shí)知識(shí)中發(fā)現(xiàn)因果關(guān)系。本研究提出了一個(gè)基準(zhǔn)數(shù)據(jù)集(CO...

2023-06-20 標(biāo)簽：編碼語言模型數(shù)據(jù)集 2361 0

LLM的長度外推淺談

蘇神最早提出的擴(kuò)展LLM的context方法，基于bayes啟發(fā)得到的公式

2023-07-28 標(biāo)簽：解碼器LLM 2251 0

從原理到代碼理解語言模型訓(xùn)練和推理，通俗易懂，快速修煉LLM

要理解大語言模型（LLM），首先要理解它的本質(zhì)，無論預(yù)訓(xùn)練、微調(diào)還是在推理階段，核心都是next token prediction，也就是以自回歸的方式...

2023-09-19 標(biāo)簽：語言模型LLM 2233 0

首個(gè)中文醫(yī)學(xué)知識(shí)LLM：真正的賽華佗—華駝(HuaTuo)

通過醫(yī)學(xué)知識(shí)圖譜和 GPT 3.5 API 構(gòu)建了中文醫(yī)學(xué)指令數(shù)據(jù)集，并在此基礎(chǔ)上對(duì) LLaMA 進(jìn)行了指令微調(diào)，提高了 LLaMA 在醫(yī)療領(lǐng)域的問答效果。

2023-05-08 標(biāo)簽：模型語言模型知識(shí)圖譜 2212 0

LLM in Medical Domain: 一文速覽大語言模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用

由于在生成長文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對(duì)Fla...

2023-06-15 標(biāo)簽：語言模型數(shù)據(jù)集大模型 2196 0

三步完成在英特爾獨(dú)立顯卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智譜 AI 和清華大學(xué) KEG 實(shí)驗(yàn)室聯(lián)合發(fā)布的新一代對(duì)話預(yù)訓(xùn)練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型...

2024-01-11 標(biāo)簽：英特爾語言模型LLM 2159 0