基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計算機領(lǐng)域，特別是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標(biāo)簽：SQL語言模型大模型 2129 0

LLM性能的主要因素

現(xiàn)在是2023年5月，截止目前，網(wǎng)絡(luò)上已經(jīng)開源了眾多的LLM，如何用較低的成本，判斷LLM的基礎(chǔ)性能，選到適合自己任務(wù)的LLM，成為一個關(guān)鍵。 本文會涉...

2023-05-22 標(biāo)簽：模型數(shù)據(jù)集GPT 2123 0

一種完全由LLM + 啟發(fā)式搜索算法結(jié)合的TOT算法

今天分享一篇普林斯頓大學(xué)的一篇文章，Tree of Thoughts: Deliberate Problem Solving with Large La...

2023-06-29 標(biāo)簽：模塊算法語言模型 2062 0

適用于各種NLP任務(wù)的開源LLM的finetune教程~

ChatGLM2-6b是清華開源的小尺寸LLM，只需要一塊普通的顯卡(32G較穩(wěn)妥)即可推理和微調(diào)，是目前社區(qū)非?；钴S的一個開源LLM。

2023-07-24 標(biāo)簽：LoRa模塊nlpprompt 2022 0

基于ICL范式的LLM的最高置信度預(yù)測方案

本文假設(shè)不同的ICL為LLM提供了關(guān)于任務(wù)的不同知識，導(dǎo)致對相同數(shù)據(jù)的不同理解和預(yù)測。因此，一個直接的研究問題出現(xiàn)了:llm能否用多個ICL提示輸入來增...

2023-11-24 標(biāo)簽：轉(zhuǎn)換器Sample自然語言 1995 0

英特爾銳炫顯卡運行類ChatGPT的開源大語言模型(LLM)Dolly 2.0解讀

人類偏好強化學(xué)習(xí)Reinforcement learning with human preferences（RLHF）和 InstructGPT 等技術(shù)...

2023-07-07 標(biāo)簽：英特爾顯卡開源 1954 0

怎樣使用Accelerate庫在多GPU上進行LLM推理呢？

大型語言模型(llm)已經(jīng)徹底改變了自然語言處理領(lǐng)域。隨著這些模型在規(guī)模和復(fù)雜性上的增長，推理的計算需求也顯著增加。

2023-12-01 標(biāo)簽：GPU芯片自然語言處理LLM 1917 0

基于Transformer的大型語言模型（LLM）的內(nèi)部機制

本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內(nèi)部機制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...

2023-06-25 標(biāo)簽：存儲語言模型Transformer 1886 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調(diào)整的大型語言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們在文本以外的其他數(shù)據(jù)模式上的有效性尚未得到充分研究。在這項工作中，...

2023-06-19 標(biāo)簽：模塊語言建模語言模型 1877 0

使用Huggingface創(chuàng)建大語言模型RLHF訓(xùn)練流程

ChatGPT已經(jīng)成為家喻戶曉的名字，而大語言模型在ChatGPT刺激下也得到了快速發(fā)展，這使得我們可以基于這些技術(shù)來改進我們的業(yè)務(wù)。

2023-12-06 標(biāo)簽：機器學(xué)習(xí)SFTDPO 1822 0

LLaMa量化部署

使用 GPTQ 量化的模型具有很大的速度優(yōu)勢，與 LLM.int8() 不同，GPTQ 要求對模型進行 post-training quantizati...

2023-08-28 標(biāo)簽：cpu模型LLM 1804 0

基于大語言模型的共情回復(fù)生成：實證研究和改進

對以ChatGPT為代表的LLMs在共情回復(fù)生成上的表現(xiàn)進行了全面的實證研究，LLMs在現(xiàn)有的基準(zhǔn)數(shù)據(jù)集上，對比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

2023-11-21 標(biāo)簽：編碼器GPTChatGPT 1803 1

檢索增強LLM的方案全面的介紹

OpenAI 研究科學(xué)家 Andrej Karpathy 前段時間在微軟 Build 2023 大會上做過一場關(guān)于 GPT 模型現(xiàn)狀的分享 State ...

2023-09-08 標(biāo)簽：檢索GitHubLLM 1777 0

教您如何精調(diào)出自己的領(lǐng)域大模型

BERT和 GPT-3 等語言模型針對語言任務(wù)進行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域，如營銷、醫(yī)療保健、金融。在本指南中，您將了解 LLM 架構(gòu)、微調(diào)過程...

2024-01-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1719 0

RISC-V 跑大模型（二）：LLaMA零基礎(chǔ)移植教程

這是RISC-V跑大模型系列的第二篇文章，主要教大家如何將LLaMA移植到RISC-V環(huán)境里。

2023-07-17 標(biāo)簽：RISC-V大模型LLM 1701 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標(biāo)簽：gpu模型LLM 1674 0

大模型LLM領(lǐng)域，有哪些可以作為學(xué)術(shù)研究方向？

隨著全球大煉模型不斷積累的豐富經(jīng)驗數(shù)據(jù)，人們發(fā)現(xiàn)大模型呈現(xiàn)出很多與以往統(tǒng)計學(xué)習(xí)模型、深度學(xué)習(xí)模型、甚至預(yù)訓(xùn)練小模型不同的特性，耳熟能詳?shù)娜鏔ew/Zer...

2023-05-29 標(biāo)簽：深度學(xué)習(xí)自然語言處理nlp 1658 0