使用NVIDIA NeMo定制LLM的過程

如何創(chuàng)建自定義語言模型

2023-07-05 標(biāo)簽：NVIDIAAI語言模型 1018 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個(gè)單位。在計(jì)算交叉熵時(shí)，如果使用以 2 為底的對(duì)數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語言模型GPTOpenAI 1015 0

一個(gè)通用的自適應(yīng)prompt方法，突破了零樣本學(xué)習(xí)的瓶頸

為了解決這個(gè)問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對(duì)LLMs的零樣本學(xué)習(xí)進(jìn)行了優(yōu)化...

2023-06-01 標(biāo)簽：語言模型數(shù)據(jù)集自然語言 1010 0

時(shí)下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預(yù)訓(xùn)練中表現(xiàn)出的單向性。這些限制了可用于預(yù)訓(xùn)練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標(biāo)簽：語言模型nlp 1007 0

DreamLLM：多功能多模態(tài)大型語言模型，你的DreamLLM~

由于固有的模態(tài)缺口，如CLIP語義主要關(guān)注模態(tài)共享信息，往往忽略了可以增強(qiáng)多模態(tài)理解的模態(tài)特定知識(shí)。因此，這些研究并沒有充分認(rèn)識(shí)到多模式創(chuàng)造和理解之間潛...

2023-09-25 標(biāo)簽：框架語言模型機(jī)器智能 1000 0

行人摔倒檢測(cè)-在英特爾開發(fā)套件上基于OpenVINO? C# API部署PP-Human

OpenVINO 2023.1 于 2023 年 9 月 18 日發(fā)布，該工具包帶來了挖掘生成人工智能全部潛力的新功能。生成人工智能的覆蓋范圍得到了擴(kuò)展...

2023-10-13 標(biāo)簽：英特爾視頻監(jiān)控語言模型 999 0

深入理解語言模型的突顯能力

最近，人們對(duì)大型語言模型所展示的強(qiáng)大能力（例如思維鏈 ^[2]^ 、便簽本 ^[3]^ ）產(chǎn)生了極大的興趣，并開展了許多工作。我們將之統(tǒng)稱為大模型的突現(xiàn)...

2023-02-22 標(biāo)簽：語言模型nlpChatGPT 982 0

LangChain框架關(guān)鍵組件的使用方法

LangChain是一個(gè)強(qiáng)大的框架，旨在幫助開發(fā)人員使用語言模型構(gòu)建端到端的應(yīng)用程序。它提供了一套工具、組件和接口，可簡(jiǎn)化創(chuàng)建由大型語言模型 (LLM)...

2024-08-30 標(biāo)簽：應(yīng)用程序語言模型LLM 980 0

開源LLEMMA發(fā)布：超越未公開的頂尖模型，可直接應(yīng)用于工具和定理證明

但LLEMMA的出現(xiàn)改變了這一局面。它不僅在MATH基準(zhǔn)測(cè)試上創(chuàng)下了新高，甚至超越了某些還未對(duì)外公開的頂尖模型，如Minerva。更讓人欣喜的是，LLE...

2023-10-22 標(biāo)簽：模型語言模型python 976 0

基于檢索的大語言模型簡(jiǎn)介

簡(jiǎn)介章節(jié)講的是比較基礎(chǔ)的，主要介紹了本次要介紹的概念，即檢索（Retrieval）和大語言模型（LLM）

2023-11-15 標(biāo)簽：語言模型LLM 975 0

多模態(tài)上下文指令調(diào)優(yōu)數(shù)據(jù)集MIMIC-IT

然而，一個(gè)理想的 AI 對(duì)話助手應(yīng)該能夠解決涉及多種模態(tài)的任務(wù)。這需要獲得一個(gè)多樣化和高質(zhì)量的多模式指令跟隨數(shù)據(jù)集。比如，LLaVAInstruct-1...

2023-06-12 標(biāo)簽：AI語言模型數(shù)據(jù)集 938 0

計(jì)算機(jī)視覺迎來GPT時(shí)刻！UC伯克利三巨頭祭出首個(gè)純CV大模型！

在損失函數(shù)上，研究者從自然語言社區(qū)汲取靈感，即掩碼 token 建模已經(jīng)「讓位給了」序列自回歸預(yù)測(cè)方法。一旦圖像、視頻、標(biāo)注圖像都可以表示為序列，則訓(xùn)練...

2023-12-05 標(biāo)簽：圖像計(jì)算機(jī)視覺語言模型 930 0

Medusa如何加速大型語言模型（LLM）的生成？

面對(duì)推測(cè)性解碼的復(fù)雜性，研究人員推出了Medusa技術(shù)，這個(gè)框架回歸了Transformer模型的本質(zhì)，減少了復(fù)雜度，增強(qiáng)了效率，讓每個(gè)生成階段都能快速...

2023-09-20 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語言模型LLM 920 0

Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計(jì)算一個(gè)矩陣，該矩陣包含表示成對(duì)比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個(gè)輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語言模型 907 0

大語言模型推斷中的批處理效應(yīng)

隨著開源預(yù)訓(xùn)練大型語言模型（Large Language Model, LLM ）變得更加強(qiáng)大和開放，越來越多的開發(fā)者將大語言模型納入到他們的項(xiàng)目中。其...

2024-01-04 標(biāo)簽：語言模型機(jī)器學(xué)習(xí)LoRa 906 0

基于Llama2和OpenVIN打造聊天機(jī)器人

Llama 2是 Meta 發(fā)布了其最新的大型語言模型，Llama2 是基于 Transformer 的人工神經(jīng)網(wǎng)絡(luò)，以一系列單詞作為輸入，遞歸地預(yù)測(cè)下...

2023-08-06 標(biāo)簽：英特爾神經(jīng)網(wǎng)絡(luò)AI 904 0

大型語言模型與知識(shí)圖譜：機(jī)遇與挑戰(zhàn)

這對(duì)知識(shí)表示領(lǐng)域來說是一個(gè)巨大的步驟。長(zhǎng)時(shí)間以來，人們關(guān)注的是明確的知識(shí)，例如嵌入在文本中的知識(shí)，有時(shí)也被稱為非結(jié)構(gòu)化數(shù)據(jù)，以及以結(jié)構(gòu)化形式存在的知識(shí)，...

2023-08-24 標(biāo)簽：語言模型自然語言知識(shí)圖譜 901 0