自然語(yǔ)言處理指令學(xué)習(xí)應(yīng)用和各種類(lèi)型的文本指令

提示是面向PLM的指令的代表，它通常是一個(gè)簡(jiǎn)短的語(yǔ)句，前面加上任務(wù)輸入（前綴提示），或者一個(gè)完形填空問(wèn)題模板（完形填空提示）。它主要用于從預(yù)訓(xùn)練的語(yǔ)言模...

2023-04-05 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)自然語(yǔ)言處理 1490 0

如何確定語(yǔ)言模型應(yīng)該有多大？

GPT-2 在此等體量的數(shù)據(jù)集上表現(xiàn)不佳。隨著訓(xùn)練的進(jìn)行，我們來(lái)觀察計(jì)算成本 (通過(guò)浮點(diǎn)運(yùn)算數(shù)來(lái)衡量) 與模型性能 (通過(guò)驗(yàn)證集上的損失來(lái)衡量) 的聯(lián)動(dòng)關(guān)系。

2023-03-17 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu深度學(xué)習(xí) 654 0

NLP數(shù)據(jù)增強(qiáng)的最新綜述

作為一種有效的策略，數(shù)據(jù)增強(qiáng) (data augmentation, DA) 緩解了深度學(xué)習(xí)技術(shù)可能失敗的數(shù)據(jù)稀缺情況。

2023-03-16 標(biāo)簽：計(jì)算機(jī)視覺(jué)自然語(yǔ)言處理nlp 1094 0

基于Transformer架構(gòu)的InstructGPT介紹

Prompt Learning是自然語(yǔ)言處理中的一種技術(shù)，它通過(guò)設(shè)計(jì)一些提示語(yǔ)（prompt）來(lái)指導(dǎo)模型在執(zhí)行任務(wù)時(shí)進(jìn)行學(xué)習(xí)和推理。

2023-03-08 標(biāo)簽：ProGPT自然語(yǔ)言處理 2363 0

ChatGPT核心技術(shù)：transformer的核心算法結(jié)構(gòu)

由于transformer是更高級(jí)的神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法，對(duì)數(shù)據(jù)量有很高要求，這也催生了從小數(shù)據(jù)如何快速產(chǎn)生大數(shù)據(jù)的算法，比如GAN對(duì)抗網(wǎng)絡(luò)等。

2023-03-08 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)GaN深度學(xué)習(xí) 1188 0

使用BLIP-2 零樣本“圖生文”

現(xiàn)代計(jì)算機(jī)視覺(jué)和自然語(yǔ)言模型在能力越來(lái)越強(qiáng)大的同時(shí)，模型尺寸也隨之顯著增大。由于當(dāng)前進(jìn)行一次單模態(tài)模型的預(yù)訓(xùn)練既耗費(fèi)資源又昂貴，因此端到端視覺(jué)語(yǔ)言預(yù)訓(xùn)練...

2023-03-03 標(biāo)簽：編碼器計(jì)算機(jī)視覺(jué)語(yǔ)言模型 2307 0

如何高效訓(xùn)練Transformer？

然而隨著模型的不斷擴(kuò)大，其訓(xùn)練過(guò)程也變得更加困難，比如會(huì)出現(xiàn)訓(xùn)練不收斂等問(wèn)題。這就需要大量的手動(dòng)調(diào)參工作來(lái)解決，而這不僅會(huì)造成資源浪費(fèi)，還會(huì)產(chǎn)生不可預(yù)估...

2023-03-01 標(biāo)簽：開(kāi)源計(jì)算機(jī)視覺(jué)自然語(yǔ)言處理 2377 0

數(shù)據(jù)科學(xué)家必會(huì)的六大NLP技術(shù)！

關(guān)鍵字提取，有時(shí)又稱(chēng)之為關(guān)鍵字檢測(cè)或關(guān)鍵字分析，這是一種文本分析的 NLP 技術(shù)。這種技術(shù)的主要目的是自動(dòng)地從文本的正文中提取出現(xiàn)頻率最高的單詞與詞組。...

2023-02-27 標(biāo)簽：機(jī)器學(xué)習(xí)自然語(yǔ)言處理nlp 2006 0

介紹一種能夠完成自然語(yǔ)言和SVA相互轉(zhuǎn)換的小工具

結(jié)論就是，SVA本身就是比較清晰的描述性語(yǔ)言，SVA和自然語(yǔ)言的轉(zhuǎn)換工具基本上沒(méi)有價(jià)值吧。

2023-02-14 標(biāo)簽：SVA自然語(yǔ)言處理 710 0

ChatGPT在電磁領(lǐng)域的能力到底有多強(qiáng)？

ChatGPT就像一個(gè)能夠理解自然語(yǔ)言的大型知識(shí)庫(kù)。你可以問(wèn)它各個(gè)領(lǐng)域（包括生活、科學(xué)、技術(shù)、經(jīng)濟(jì)等）的問(wèn)題，它也可以根據(jù)你的要求寫(xiě)小說(shuō)，寫(xiě)文案、甚至是...

2023-02-03 標(biāo)簽：電磁天線陣自然語(yǔ)言處理 2083 0

如何開(kāi)始使用PyTorch進(jìn)行自然語(yǔ)言處理

隨著人工智能和深度學(xué)習(xí)程序在未來(lái)幾年的蓬勃發(fā)展，自然語(yǔ)言處理（NLP）將日益普及，而且必要性也與日俱增。PyTorch 自然語(yǔ)言處理是實(shí)現(xiàn)這些程序的不錯(cuò)選擇。

2022-07-07 標(biāo)簽：人工智能自然語(yǔ)言處理pytorch 2786 0

基于GPT-2進(jìn)行文本生成

文本生成是自然語(yǔ)言處理中一個(gè)重要的研究領(lǐng)域，具有廣闊的應(yīng)用前景。國(guó)內(nèi)外已經(jīng)有諸如Automated Insights、Narrative Science...

2022-04-13 標(biāo)簽：生成語(yǔ)言模型自然語(yǔ)言處理 5169 0