In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開(kāi)其奧秘

In-context learning允許用戶為新用例快速構(gòu)建模型，而無(wú)需為每個(gè)任務(wù)微調(diào)和存儲(chǔ)新參數(shù)。它通常只需要很少的訓(xùn)練示例就可以使模型正常工作，而...

2023-04-11 標(biāo)簽：貝葉斯語(yǔ)言模型自然語(yǔ)言 1717 0

哈工大南洋理工提出全球首個(gè)「多模態(tài)DeepFake檢測(cè)定位」模型：讓AIGC偽造無(wú)處可藏

具體而言，在多模態(tài)媒體篡改中，各類新聞報(bào)道的圖片中重要人物的人臉（如圖 1 中法國(guó)總統(tǒng)人臉）被替換，文字中關(guān)鍵短語(yǔ)或者單詞被篡改（如圖 1 中正面短語(yǔ)「...

2023-04-11 標(biāo)簽：互聯(lián)網(wǎng)語(yǔ)言模型圖像檢測(cè) 1179 0

有哪些省內(nèi)存的大語(yǔ)言模型訓(xùn)練/微調(diào)/推理方法？

首先，我們需要了解如何根據(jù)參數(shù)量估計(jì)模型大致所需的 RAM，這在實(shí)踐中有很重要的參考意義。我們需要通過(guò)估算設(shè)置 batch_size，設(shè)置模型精度，選擇...

2023-04-10 標(biāo)簽：RAM參數(shù)語(yǔ)言模型 1746 0

基于預(yù)訓(xùn)練語(yǔ)言模型設(shè)計(jì)了一套統(tǒng)一的模型架構(gòu)

進(jìn)一步，本文研究了在更依賴 KG 的知識(shí)庫(kù)問(wèn)答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推理兩階段，先從大規(guī)模知識(shí)圖譜上檢索問(wèn)題相關(guān)的小子圖，...

2023-04-07 標(biāo)簽：PLM語(yǔ)言模型數(shù)據(jù)集 873 0

Firefly(流螢): 中文對(duì)話式大語(yǔ)言模型

Bloom是個(gè)多語(yǔ)言模型，由于需要兼容多語(yǔ)言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會(huì)被用到。我們通過(guò)刪減冗余的詞表，從多語(yǔ)言模型中提取常用...

2023-04-07 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集Firefly 7141 0

大型語(yǔ)言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開(kāi)來(lái)的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語(yǔ)言模型nlp 1236 0

重新審視Prompt優(yōu)化問(wèn)題，預(yù)測(cè)偏差讓語(yǔ)言模型上下文學(xué)習(xí)更強(qiáng)

Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯度的優(yōu)化來(lái)調(diào)整這些 embeddings。然而，這些...

2023-04-03 標(biāo)簽：語(yǔ)言模型 684 0

ChatGPT開(kāi)始聯(lián)網(wǎng)，最后的封印解除了

OpenAI 的解決方案是用第三方插件作為橋梁，讓 AI 在較安全的環(huán)境下「看」外界數(shù)據(jù)。昨天該機(jī)構(gòu)開(kāi)放了第一批 ChatGPT 插件名單。這批插件由 ...

2023-03-27 標(biāo)簽：語(yǔ)言模型OpenAIChatGPT 1134 0

語(yǔ)言模型性能評(píng)估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集

零樣本學(xué)習(xí)是AI識(shí)別方法之一。簡(jiǎn)單來(lái)說(shuō)就是識(shí)別從未見(jiàn)過(guò)的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類別， 還可以對(duì)于來(lái)自未見(jiàn)過(guò)的類別的數(shù)...

2023-03-27 標(biāo)簽：分類器語(yǔ)言模型數(shù)據(jù)集 1914 0

Recursive prompting增強(qiáng)語(yǔ)言模型方案

無(wú)監(jiān)督問(wèn)題分解，將原問(wèn)題分解為多個(gè)相對(duì)簡(jiǎn)單的子問(wèn)題。這里需要訓(xùn)練一個(gè)分解模型，用于將復(fù)雜問(wèn)題分解成多個(gè)子問(wèn)題。

2023-03-23 標(biāo)簽：語(yǔ)言模型無(wú)監(jiān)督學(xué)習(xí) 388 0

語(yǔ)言模型GPT-4在北京高考題目上的測(cè)試結(jié)果

計(jì)算符號(hào)的表示。針對(duì)數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（如， ）都不影響GPT-4的理解。為了統(tǒng)一，我們都...

2023-03-22 標(biāo)簽：電荷語(yǔ)言模型GPT 1569 0

ChatGPT開(kāi)源項(xiàng)目匯總表格

CarperAI 是EleutherAI研究小組的一個(gè)新實(shí)驗(yàn)室，其任務(wù)是“通過(guò)強(qiáng)化學(xué)習(xí)提高大型語(yǔ)言模型 (LLM) 的性能和安全性?！?CarperAI...

2023-03-22 標(biāo)簽：開(kāi)源語(yǔ)言模型ChatGPT 1913 0

如何利用大規(guī)模語(yǔ)言模型將自然語(yǔ)言問(wèn)題轉(zhuǎn)化為SQL語(yǔ)句？

有的工作嘗試引出中間推理步驟，通過(guò)將復(fù)雜問(wèn)題顯示分解為多個(gè)子問(wèn)題，從而以分而治之的方式來(lái)解決。

2023-03-22 標(biāo)簽：SQL語(yǔ)言模型SQL語(yǔ)句 7231 0

最全ChatGPT技術(shù)匯總

ChatGPT的強(qiáng)大能力是顯而易見(jiàn)的，但對(duì)于人工智能領(lǐng)域不太熟悉的人，對(duì)這種黑盒的技術(shù)仍然會(huì)擔(dān)憂或者不信任?？謶滞ǔ?lái)自于不了解，因此本文將為大家全面剖...

2023-03-22 標(biāo)簽：人工智能語(yǔ)言模型ChatGPT 4175 0

ELMER: 高效強(qiáng)大的非自回歸預(yù)訓(xùn)練文本生成模型

每個(gè)單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也使得自回歸模型難以并行化。目前大部分預(yù)訓(xùn)練生成模型均...

2023-03-13 標(biāo)簽：模型語(yǔ)言模型聊天機(jī)器人 1646 0

大型語(yǔ)言模型有哪些用途？大型語(yǔ)言模型如何運(yùn)作呢？

大型語(yǔ)言模型能識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語(yǔ)言模型GPTChatGPT 8458 0

從ChatGPT看知識(shí)管理及知識(shí)圖譜的發(fā)展

知識(shí)管理涉及到用于在組織中捕獲、存儲(chǔ)和共享知識(shí)的流程和技術(shù)。在聊天機(jī)器人設(shè)計(jì)的背景下，知識(shí)管理可以幫助確保聊天機(jī)器人能夠訪問(wèn)廣泛的相關(guān)信息，并可以為用戶...

2023-03-03 標(biāo)簽：語(yǔ)言模型知識(shí)管理聊天機(jī)器人 2121 0

使用BLIP-2 零樣本“圖生文”

現(xiàn)代計(jì)算機(jī)視覺(jué)和自然語(yǔ)言模型在能力越來(lái)越強(qiáng)大的同時(shí)，模型尺寸也隨之顯著增大。由于當(dāng)前進(jìn)行一次單模態(tài)模型的預(yù)訓(xùn)練既耗費(fèi)資源又昂貴，因此端到端視覺(jué)語(yǔ)言預(yù)訓(xùn)練...

2023-03-03 標(biāo)簽：編碼器計(jì)算機(jī)視覺(jué)語(yǔ)言模型 2190 0

SimANS：簡(jiǎn)單有效的困惑負(fù)樣本采樣方法

為訓(xùn)練該稠密檢索模型，已有方法通?；谝粚?duì)比學(xué)習(xí)訓(xùn)練目標(biāo)，即拉近語(yǔ)義一致的Query和Document的表示（Positive），并推遠(yuǎn)語(yǔ)義無(wú)關(guān)的Doc...

2023-03-03 標(biāo)簽：參數(shù)語(yǔ)言模型數(shù)據(jù)集 1615 0

LLaMA論文研讀：小參數(shù)+大數(shù)據(jù)的開(kāi)放、高效基礎(chǔ)語(yǔ)言模型閱讀筆記

這些努力都是基于這樣的假設(shè)：更多的參數(shù)會(huì)帶來(lái)更好的性能。然而，Hoffmann等人（2022）最近的工作表明，在給定的計(jì)算預(yù)算下，最好的性能不是由最大的...

2023-03-03 標(biāo)簽：語(yǔ)言模型數(shù)據(jù)集大數(shù)據(jù) 2376 0