中文對(duì)話式大語(yǔ)言模型Firefly-2b6開(kāi)源，使用210萬(wàn)訓(xùn)練數(shù)據(jù)
在本文中，我們將對(duì)該模型進(jìn)行分享和介紹。與firefly-1b4相比，firefly-2b6的代碼生....
AIGC時(shí)代的多模態(tài)知識(shí)工程思考與展望
隨著人工智能總體階段的發(fā)展，生成式人工智能技術(shù)（AIGC）也在不斷迭代。從20世紀(jì)50年代到90年代....
SceneXplain：讓ChatGPT開(kāi)啟視覺(jué)視角
得益于多模態(tài)技術(shù)的不斷發(fā)展，圖像描述這個(gè)需要結(jié)合 CV 和 NLP 的老大難問(wèn)題在近些年里邁出了一大....
ChatGPT的朋友們：大語(yǔ)言模型經(jīng)典論文
本節(jié)目標(biāo)是通過(guò)OpenAI系列論文閱讀細(xì)窺ChatGPT的主要原理，其先進(jìn)的工作脈絡(luò)可以概括為下圖。....
In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開(kāi)其奧秘
In-context learning允許用戶為新用例快速構(gòu)建模型，而無(wú)需為每個(gè)任務(wù)微調(diào)和存儲(chǔ)新參數(shù)....
通俗易懂chatGPT原理
收集NLP各種任務(wù)的數(shù)據(jù)集，加上任務(wù)描述和提示組裝成新的數(shù)據(jù)集，并使用這些數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的大型語(yǔ)言模....
基于預(yù)訓(xùn)練語(yǔ)言模型設(shè)計(jì)了一套統(tǒng)一的模型架構(gòu)
進(jìn)一步，本文研究了在更依賴 KG 的知識(shí)庫(kù)問(wèn)答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推....
Firefly(流螢): 中文對(duì)話式大語(yǔ)言模型
Bloom是個(gè)多語(yǔ)言模型，由于需要兼容多語(yǔ)言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會(huì)被....
與ChatGPT性能最相匹配的開(kāi)源模型
最近由UC Berkeley、CMU、Stanford, 和 UC San Diego的研究人員創(chuàng)建....
基于GLM-6B對(duì)話模型的實(shí)體屬性抽取項(xiàng)目實(shí)現(xiàn)解析
Zero-shot、One-shot以及Few-shot讓人傻傻分不清，讀了很多文章，也沒(méi)搞清楚他們....
語(yǔ)言模型性能評(píng)估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集
零樣本學(xué)習(xí)是AI識(shí)別方法之一。簡(jiǎn)單來(lái)說(shuō)就是識(shí)別從未見(jiàn)過(guò)的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識(shí)別出訓(xùn)練....
GPT-4發(fā)布后，你的NLP研究發(fā)生了怎樣的變化？
舉Parsing的例子主要是想說(shuō)，Parsing領(lǐng)域的今天就是很多NLP子領(lǐng)域的明天。NLP很多da....
如何使用Jina來(lái)構(gòu)建一個(gè)使用Stable Diffusion生成圖像的Executor呢
為了讓你能夠更輕松地分配和管理微服務(wù)，我們將正式執(zhí)行者從Flow中分離出來(lái)。同時(shí)，也便于你更好地利用....
語(yǔ)言模型GPT-4在北京高考題目上的測(cè)試結(jié)果
計(jì)算符號(hào)的表示。針對(duì)數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（....
ChatGPT開(kāi)源項(xiàng)目匯總表格
CarperAI 是EleutherAI研究小組的一個(gè)新實(shí)驗(yàn)室，其任務(wù)是“通過(guò)強(qiáng)化學(xué)習(xí)提高大型語(yǔ)言模....
如何利用大規(guī)模語(yǔ)言模型將自然語(yǔ)言問(wèn)題轉(zhuǎn)化為SQL語(yǔ)句？
有的工作嘗試引出中間推理步驟，通過(guò)將復(fù)雜問(wèn)題顯示分解為多個(gè)子問(wèn)題，從而以分而治之的方式來(lái)解決。
自然語(yǔ)言融入NeRF，給點(diǎn)文字就生成3D圖的LERF來(lái)了
但自然語(yǔ)言不同，自然語(yǔ)言與 3D 場(chǎng)景交互非常直觀。我們可以用圖 1 中的廚房場(chǎng)景來(lái)解釋，通過(guò)詢問(wèn)餐....
最全ChatGPT技術(shù)匯總
ChatGPT的強(qiáng)大能力是顯而易見(jiàn)的，但對(duì)于人工智能領(lǐng)域不太熟悉的人，對(duì)這種黑盒的技術(shù)仍然會(huì)擔(dān)憂或者....
利用Contrastive Loss（對(duì)比損失）思想設(shè)計(jì)自己的loss function
在非監(jiān)督學(xué)習(xí)時(shí)，對(duì)于一個(gè)數(shù)據(jù)集內(nèi)的所有樣本，因?yàn)槲覀儧](méi)有樣本真實(shí)標(biāo)簽，所以在對(duì)比學(xué)習(xí)框架下，通常以每....
淺析Meta最新模型LLaMA語(yǔ)言模型細(xì)節(jié)與代碼
其中torch不用多講，fairscale是用來(lái)做GPU分布的，一般是當(dāng)使用DDP仍然遇到超顯存的問(wèn)....
微軟發(fā)布Visual ChatGPT：視覺(jué)模型加持ChatGPT實(shí)現(xiàn)絲滑聊天
系統(tǒng)原則的提示符，“Visual ChatGPT是一個(gè)可以處理廣泛語(yǔ)言和視覺(jué)任務(wù)的助手，xxxxxx....
NLP數(shù)據(jù)增強(qiáng)的最新綜述
作為一種有效的策略，數(shù)據(jù)增強(qiáng) (data augmentation, DA) 緩解了深度學(xué)習(xí)技術(shù)可能....
通俗理解文本生成的常用解碼策略
“Autoregressive”語(yǔ)言模型的含義是：當(dāng)生成文本時(shí)，它不是一下子同時(shí)生成一段文字（模型吐....
ELMER: 高效強(qiáng)大的非自回歸預(yù)訓(xùn)練文本生成模型
每個(gè)單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也....
改進(jìn)Hinton的Dropout：可以用來(lái)減輕欠擬合了
他們首先通過(guò)對(duì)梯度范數(shù)的有趣觀察來(lái)研究 dropout 的訓(xùn)練動(dòng)態(tài)，然后得出了一個(gè)關(guān)鍵的實(shí)證發(fā)現(xiàn)：在....
AIGC最新綜述：從GAN到ChatGPT的AI生成歷史
本調(diào)查全面回顧了生成模型的歷史、基本組件、AIGC 從單模態(tài)交互和多模態(tài)交互的最新進(jìn)展。我們從單峰性....
預(yù)訓(xùn)練數(shù)據(jù)大小對(duì)于預(yù)訓(xùn)練模型的影響
BERT類模型的工作模式簡(jiǎn)單，但取得的效果也是極佳的，其在各項(xiàng)任務(wù)上的良好表現(xiàn)主要得益于其在大量無(wú)監(jiān)....
兩篇大廠CTR預(yù)估最新工作
目前業(yè)內(nèi)關(guān)于embedding table的壓縮主要有NAS-based embedding dim....
GPT/GPT-2/GPT-3/InstructGPT進(jìn)化之路
在預(yù)訓(xùn)練階段，GPT 選擇 transformer 的 decoder 部分作為模型的主要模塊，tr....
從ChatGPT看知識(shí)管理及知識(shí)圖譜的發(fā)展
知識(shí)管理涉及到用于在組織中捕獲、存儲(chǔ)和共享知識(shí)的流程和技術(shù)。在聊天機(jī)器人設(shè)計(jì)的背景下，知識(shí)管理可以幫....
工商網(wǎng)監(jiān)