大型語(yǔ)言模型有哪些用途？大型語(yǔ)言模型如何運(yùn)作呢？

大型語(yǔ)言模型能識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語(yǔ)言模型GPTChatGPT 8645 0

詳細(xì)介紹ChatGPT技術(shù)原理和架構(gòu)

模型選擇：ChatGPT 的開(kāi)發(fā)人員選擇了 GPT-3.5 系列中的預(yù)訓(xùn)練模型，而不是對(duì)原始 GPT-3 模型進(jìn)行調(diào)優(yōu)。使用的基線(xiàn)模型是最新版的 tex...

2023-03-08 標(biāo)簽：GPTChatGPT 1062 0

GPT/GPT-2/GPT-3/InstructGPT進(jìn)化之路

在預(yù)訓(xùn)練階段，GPT 選擇 transformer 的 decoder 部分作為模型的主要模塊，transformer 是 2017年 google 提...

2023-03-03 標(biāo)簽：GPT強(qiáng)化學(xué)習(xí)OpenAI 4251 0

Language Model Reasoning是什么意思？

那么，前面總是提到推理 (Reasoning) 這個(gè)詞，什么是推理？我嘗試用自己的語(yǔ)言來(lái)解釋“推理”的含義，最后發(fā)現(xiàn)我寫(xiě)得還不如 ChatGPT

2023-02-28 標(biāo)簽：生成器數(shù)據(jù)集GPT 1360 0

超越GPT 3.5的小型語(yǔ)言模型案例概述

ChatGPT 是在 GPT-3.5 系列模型的基礎(chǔ)上微調(diào)而來(lái)的，我們看到很多研究也在緊隨其后緊追慢趕，但是，與 ChatGPT 相比，他們的新研究效果...

2023-02-27 標(biāo)簽：GPTChatGPT 1029 0

FasterTransformer GPT介紹

GPT 是 Decooding 模型的一種變體，沒(méi)有 Encoder 模塊，沒(méi)有交叉多頭注意力模塊，使用 GeLU 作為激活函數(shù)。

2023-02-07 標(biāo)簽：編碼器gpuGPT 2801 0

支持Python和Java的BigCode開(kāi)源輕量級(jí)語(yǔ)言模型

BigCode 是一個(gè)開(kāi)放的科學(xué)合作組織，致力于開(kāi)發(fā)大型語(yǔ)言模型。近日他們開(kāi)源了一個(gè)名為 SantaCoder 的語(yǔ)言模型，該模型擁有 11 億個(gè)參數(shù)

2023-01-17 標(biāo)簽：JAVA語(yǔ)言javascriptpython 1139 0

基于統(tǒng)一語(yǔ)義匹配的通用信息抽取框架USM

信息提取（Information Extraction，IE）需要提取句子中的實(shí)體、關(guān)系、事件等，其不同的任務(wù)具有多樣的抽取目標(biāo)和異質(zhì)的機(jī)構(gòu)，因此，傳統(tǒng)...

2023-01-16 標(biāo)簽：USMGPTnlp 1454 0

用ChatGPT編寫(xiě)各種腳本

最牛逼的還是屬于程序編寫(xiě)方面，ChatGPT在各個(gè)編程語(yǔ)言上面都挺在行的（嘗試了下Python, Perl, Tcl都挺不錯(cuò)的），可以說(shuō)是一個(gè)各個(gè)語(yǔ)言都...

2023-01-13 標(biāo)簽：TCLpythonGPT 7676 0

講一講ChatGPT的技術(shù)細(xì)節(jié)

通過(guò)人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對(duì)GPT3模型（對(duì)這個(gè)是chatGPT模型的base）進(jìn)行初步訓(xùn)練（有監(jiān)督微調(diào)，SFT），從而得到一個(gè)初步能夠理解...

2023-01-03 標(biāo)簽：SFTGPTnlp 2718 0

介紹四個(gè)為語(yǔ)言生成設(shè)計(jì)的預(yù)訓(xùn)練模型

BERT: 只有Transformer Encoder部分，隨機(jī)MASK掉一些token，然后利用上下文還原。

2022-12-05 標(biāo)簽：GPT 3444 0

基于VQVAE的長(zhǎng)文本生成 利用離散code來(lái)建模文本篇章結(jié)構(gòu)的方法

寫(xiě)在前面 近年來(lái)，多個(gè)大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型 GPT、BART、T5 等被提出，這些預(yù)訓(xùn)練模型在自動(dòng)文摘等多個(gè)文本生成任務(wù)上顯著優(yōu)于非預(yù)訓(xùn)練語(yǔ)言模型。但對(duì)...

2022-12-01 標(biāo)簽：CodeGPTcnn 2101 0

介紹大模型高效訓(xùn)練所需要的主要技術(shù)

隨著B(niǎo)ERT、GPT等預(yù)訓(xùn)練模型取得成功，預(yù)訓(xùn)-微調(diào)范式已經(jīng)被運(yùn)用在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、多模態(tài)語(yǔ)言模型等多種場(chǎng)景，越來(lái)越多的預(yù)訓(xùn)練模型取得了優(yōu)異的效果。

2022-11-08 標(biāo)簽：gpuGPTMLP 5520 0

一種新的基于視覺(jué)語(yǔ)言模型的零鏡頭分類(lèi)框架

人們很容易用文字來(lái)描述類(lèi)別的視覺(jué)特征，并利用這些文字描述來(lái)輔助感知，用于分類(lèi)檢測(cè)等各種感知任務(wù)。

2022-10-20 標(biāo)簽：ClipGPTvlm 1243 0

GPT系列的“高仿” 最大可達(dá)GPT-3大小 自主訓(xùn)練

雖然GPT-3沒(méi)有開(kāi)源，卻已經(jīng)有人在復(fù)刻GPT系列的模型了。 例如，慕尼黑工業(yè)大學(xué)的Connor Leahy，此前用200個(gè)小時(shí)、6000RMB，復(fù)現(xiàn)了...

2021-02-13 標(biāo)簽：開(kāi)源語(yǔ)言模型GPT 3042 0

專(zhuān)家解讀GPT 2.0 VS BERT!GPT 2.0到底做了什么

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過(guò)，過(guò)程參考上圖，簡(jiǎn)述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語(yǔ)言模型GPTnlp 1.0萬(wàn) 0

GPT2.0究竟是做什么的？有哪些優(yōu)勢(shì)和不足？未來(lái)發(fā)展趨勢(shì)如何？

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個(gè)之前我在介紹Bert模型的時(shí)候介紹過(guò)，過(guò)程參考上圖，簡(jiǎn)述如下：GPT 1.0采取預(yù)訓(xùn)練+Fine...

2019-02-18 標(biāo)簽：語(yǔ)言模型GPTnlp 8331 0