使用BLIP-2 零樣本“圖生文”
現(xiàn)代計(jì)算機(jī)視覺和自然語(yǔ)言模型在能力越來(lái)越強(qiáng)大的同時(shí)，模型尺寸也隨之顯著增大。由于當(dāng)前進(jìn)行一次單模態(tài)模....
LeCun新作：全面綜述下一代「增強(qiáng)語(yǔ)言模型」
最近圖靈獎(jiǎng)得主Yann LeCun參與撰寫了一篇關(guān)于「增強(qiáng)語(yǔ)言模型」的綜述，回顧了語(yǔ)言模型與推理技能....
深入淺出Prompt Learning要旨及常用方法
第三范式：基于預(yù)訓(xùn)練模型 + finetuning 的范式，如 BERT + finetuning ....
SimANS：簡(jiǎn)單有效的困惑負(fù)樣本采樣方法
為訓(xùn)練該稠密檢索模型，已有方法通?；谝粚?duì)比學(xué)習(xí)訓(xùn)練目標(biāo)，即拉近語(yǔ)義一致的Query和Documen....
LLaMA論文研讀：小參數(shù)+大數(shù)據(jù)的開放、高效基礎(chǔ)語(yǔ)言模型閱讀筆記
這些努力都是基于這樣的假設(shè)：更多的參數(shù)會(huì)帶來(lái)更好的性能。然而，Hoffmann等人（2022）最近的....
AIGC可編輯的圖像生成方案
ControlNet給出的實(shí)驗(yàn)結(jié)果實(shí)在是過(guò)于驚艷了，近期視覺領(lǐng)域最讓人興奮的工作。
小程序：ChatGPT-Plus助手發(fā)布啦！
在智能客服系統(tǒng)中，ChatGPT技術(shù)可以用于自動(dòng)化的問(wèn)題解答，為用戶提供更加智能、高效的服務(wù)。例如，....
一個(gè)給NLP領(lǐng)域帶來(lái)革新的預(yù)訓(xùn)練語(yǔ)言大模型Bert
之前的文章和大家詳細(xì)的介紹了靜態(tài)的詞向量表示word2vec理論加實(shí)戰(zhàn)，但是word2vec存在一個(gè)....
Language Model Reasoning是什么意思？
那么，前面總是提到推理 (Reasoning) 這個(gè)詞，什么是推理？我嘗試用自己的語(yǔ)言來(lái)解釋“推理”....
復(fù)旦大學(xué)NLP實(shí)驗(yàn)室《自然語(yǔ)言處理導(dǎo)論》 網(wǎng)絡(luò)初版發(fā)布
復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室張奇教授、桂韜研究員以及黃萱菁教授從2020年起著手教材的規(guī)劃，結(jié)合自己對(duì)....
AI超級(jí)幫手的用法大全
它可以根據(jù)提供的關(guān)鍵詞或主題生成相關(guān)領(lǐng)域的文本，并提供有關(guān)行業(yè)趨勢(shì)，市場(chǎng)規(guī)模和其他相關(guān)信息。此外，它....
什么是query理解？query理解目前的主要作用
但需要強(qiáng)調(diào)的，是為什么我們要去做query理解，因?yàn)樗嬖诘囊饬x才是我們持續(xù)討論他在后續(xù)chatgp....
介紹一種基于Transformer的大語(yǔ)言模型
大模型的研究者和大公司出于不同的動(dòng)機(jī)站位 LLM，研究者出于對(duì) LLM 的突現(xiàn)能力 (emergen....
介紹NMT模型魯棒性對(duì)抗訓(xùn)練的三部曲
本文的問(wèn)題引入為一個(gè)小實(shí)驗(yàn)，即將機(jī)器翻譯的源句進(jìn)行微小擾動(dòng)（同義詞替換），69.74%的翻譯句子也隨....
以transformers框架實(shí)現(xiàn)中文OFA模型的訓(xùn)練和推理
OFA是阿里巴巴發(fā)布的多模態(tài)統(tǒng)一預(yù)訓(xùn)練模型，基于官方的開源項(xiàng)目，筆者對(duì)OFA在中文任務(wù)上進(jìn)行了更好的....
介紹一種信息抽取的大一統(tǒng)方法USM
信息抽取任務(wù)具有多樣的抽取目標(biāo)和異構(gòu)的結(jié)構(gòu)，而傳統(tǒng)的模型需要針對(duì)特定的任務(wù)進(jìn)行任務(wù)設(shè)計(jì)和標(biāo)簽標(biāo)注，這....
chatgpt下非端到端方案是否還有意義
其實(shí)端到端和非端到端的競(jìng)爭(zhēng)，早在前幾年就有了，DSTC對(duì)話系統(tǒng)的比賽，榜單上就已經(jīng)分為了端到端和非端....
詳細(xì)分析14種可用于時(shí)間序列預(yù)測(cè)的損失函數(shù)
在處理時(shí)間序列預(yù)測(cè)問(wèn)任務(wù)時(shí)，損失函數(shù)的選擇非常重要，因?yàn)樗鼤?huì)驅(qū)動(dòng)算法的學(xué)習(xí)過(guò)程。以往的工作提出了不同....
性別偏見探索和緩解的中文數(shù)據(jù)集-CORGI-PM
大規(guī)模語(yǔ)言模型（LMs）已經(jīng)成為了現(xiàn)在自然語(yǔ)言處理的關(guān)鍵技術(shù)，但由于訓(xùn)練語(yǔ)料中常帶有主觀的性別偏見、....
解讀ChatGPT背后的技術(shù)重點(diǎn)：RLHF、IFT、CoT、紅藍(lán)對(duì)抗
我們先來(lái)看看基于語(yǔ)言模型的會(huì)話代理的全景。ChatGPT 并非首創(chuàng)，事實(shí)上很多組織在 OpenAI ....
一個(gè)真實(shí)閑聊多模態(tài)數(shù)據(jù)集TikTalk
隨著大量預(yù)訓(xùn)練語(yǔ)言模型在文本對(duì)話任務(wù)中的出色表現(xiàn)，以及多模態(tài)的發(fā)展，在對(duì)話中引入多模態(tài)信息已經(jīng)引起了....
一文淺談Graph Transformer領(lǐng)域近期研究進(jìn)展
本文提出了幾種自動(dòng)生成子圖表示的方法，并從理論上表明，生成的表示至少與子圖表示具有相同的表達(dá)能力。該....
一種靈活有效的事件抽取數(shù)據(jù)增強(qiáng)框架-Mask-then-Fill
事件抽取，即從非機(jī)構(gòu)化文本中抽取指定的事件的觸發(fā)詞及其事件要素，為了減輕人工標(biāo)注，常采用數(shù)據(jù)增強(qiáng)方法....
深度學(xué)習(xí)頂級(jí)學(xué)術(shù)會(huì)議ICLR 2023錄用結(jié)果已經(jīng)公布！
在機(jī)器學(xué)習(xí)社區(qū)中，ICLR 是較為「年輕」的學(xué)術(shù)會(huì)議，它由深度學(xué)習(xí)巨頭、圖靈獎(jiǎng)獲得者 Yoshua ....
視覺-語(yǔ)言預(yù)訓(xùn)練入門指南
視覺-語(yǔ)言 (Vision-Language, VL) 是計(jì)算機(jī)視覺和自然語(yǔ)言處理這兩個(gè)研究領(lǐng)域之間....
有了Fine-tune-CoT方法，小模型也能做推理，完美逆襲大模型
如果給語(yǔ)言模型生成一些 prompting，它還向人們展示了其解決復(fù)雜任務(wù)的能力。標(biāo)準(zhǔn) prompt....
具有Event-Argument相關(guān)性的事件因果關(guān)系提取方法
事件因果關(guān)系識(shí)別（ECI）旨在檢測(cè)兩個(gè)給定文本事件之間是否存在因果關(guān)系，是事件因果關(guān)系理解的重要任務(wù)....
Prompt Tuning相比于Fine Tuning在哪些場(chǎng)景下表現(xiàn)更好？
第三范式：基于「預(yù)訓(xùn)練模型 + finetuning」的范式，如 BERT + finetuning....
文本分割技術(shù)的應(yīng)用場(chǎng)景
這些文本通常都非常長(zhǎng)，需要利用文本分割技術(shù)來(lái)處理這些文本，將它們按照主題的轉(zhuǎn)移或變化劃分為若干主題段....
基于預(yù)訓(xùn)練語(yǔ)言模型的行業(yè)搜索的應(yīng)用和研究
面向產(chǎn)業(yè)和消費(fèi)互聯(lián)網(wǎng)的搜索本質(zhì)都是一樣的：用戶有信息獲取需求，同時(shí)有信息資源庫(kù)，通過(guò)搜索引擎把兩者橋....
工商網(wǎng)監(jiān)