基于多任務預訓練模塊化提示

Prompt Tuning 可以讓預訓練的語言模型快速適應下游任務。雖然有研究證明：當訓練數據足夠多的時候，Prompt Tuning 的微調結果可以媲...

2023-06-20 標簽：模塊數據語言模型 854 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調整的大型語言模型 (LLM) 在各種 NLP 任務中表現出卓越的能力，但它們在文本以外的其他數據模式上的有效性尚未得到充分研究。在這項工作中，...

2023-06-19 標簽：模塊語言建模語言模型 1760 0

LLM in Medical Domain: 一文速覽大語言模型在醫(yī)學領域的應用

由于在生成長文本的數據集上，Flan-PaLM和臨床醫(yī)生的結果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對Fla...

2023-06-15 標簽：語言模型數據集大模型 2030 0

中文信息處理實驗室提出工具學習新框架ToolAlpaca

受 Alpaca 通過微調讓小模型學會通用指令遵循啟發(fā)，中文信息處理實驗室的研究人員探索了通過在通用工具使用數據集上微調較小規(guī)模的語言模型，讓它們獲得通...

2023-06-15 標簽：框架語言模型數據集 2526 0

基于預訓練模型和語言增強的零樣本視覺學習

在一些非自然圖像中要比傳統(tǒng)模型表現更好 CoOp 增加一些 prompt 會讓模型能力進一步提升 怎么讓能力更好？可以引入其他知識，即其他的預訓練模型，...

2023-06-15 標簽：語言模型訓練模型 712 0

LeCun世界模型首個研究！自監(jiān)督視覺像人一樣學習和推理！

今日，Meta 推出了首個基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯合嵌入預測架構（Image Joint Embedding Pr...

2023-06-15 標簽：人工智能模型語言模型 489 0

大語言模型中的常用評估指標

EM 是 exact match 的簡稱，所以就很好理解，em 表示預測值和答案是否完全一樣。

2023-06-12 標簽：計算模型語言模型 3374 0

多模態(tài)上下文指令調優(yōu)數據集MIMIC-IT

然而，一個理想的 AI 對話助手應該能夠解決涉及多種模態(tài)的任務。這需要獲得一個多樣化和高質量的多模式指令跟隨數據集。比如，LLaVAInstruct-1...

2023-06-12 標簽：AI語言模型數據集 937 0

Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計算一個矩陣，該矩陣包含表示成對比較結果的logits。給定該矩陣，可以推斷給定輸入x的N個輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標簽：框架模型語言模型 905 0

號稱「碾壓」LLaMA的Falcon實測得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數數據集上超過了 GPT-3（1...

2023-06-11 標簽：解碼器語言模型 758 0

PyTorch教程-9.3. 語言模型

9.3. 語言模型? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標簽：語言模型pytorch 526 0

一個通用的自適應prompt方法，突破了零樣本學習的瓶頸

為了解決這個問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對LLMs的零樣本學習進行了優(yōu)化...

2023-06-01 標簽：語言模型數據集自然語言 1009 0

GPT4技術原理之相變與涌現

物理系統(tǒng)中發(fā)生的相變最直觀，水結成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統(tǒng)發(fā)生行為的突然變化，從一種相轉變?yōu)榱硪环N相。轉變出現了之前相中沒有的新特性，...

2023-05-29 標簽：語言模型GPT 1331 0

調教LLaMA類模型沒那么難，LoRA將模型微調縮減到幾小時

最近幾個月，ChatGPT 等一系列大語言模型（LLM）相繼出現，隨之而來的是算力緊缺日益嚴重。雖然人人都想打造專屬于自己的大模型，但是能負擔得起上億參...

2023-05-28 標簽：語言模型LoRaChatGPT 3012 0

時下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預訓練中表現出的單向性。這些限制了可用于預訓練的架構選擇，以及微調的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標簽：語言模型nlp 1004 0

以Gpipe作為流水線并行的范例進行介紹

回顧ChatGPT的發(fā)展歷程，我們可以總結出大語言模型（LLM）取得驚艷效果的要點（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現實...

2023-05-25 標簽：3D開源語言模型 1306 0

大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息

? 大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息？這一問題在計算機科學和自然語言處理領域一直存在爭議。然而，MIT的一項新研究表明，僅基于文...

2023-05-25 標簽：數據語言模型自然語言 878 0

Meta AI重磅推出LIMA！媲美GPT-4、無需RLHF就能對齊！

天下人苦“對齊”久矣！要讓預訓練語言模型的響應和特定任務和用戶偏好對齊，動輒需要百萬示例數據集上的instruction tuning、以及最近從人類反...

2023-05-24 標簽：語言模型CMUChatGPT 1333 0

GPT-4推理提升1750%！清華姚班校友提出全新ToT框架

那么，這樣一個簡單的機制能否足以建立一個通向「解決通用問題的語言模型」？如果不是，哪些問題會挑戰(zhàn)當前的范式，真正的替代機制應該是什么？

2023-05-24 標簽：框架語言模型GPT 517 0