AI領(lǐng)域頂會(huì)EMNLP 2020落下帷幕

自18年谷歌BERT橫空出世以來，預(yù)訓(xùn)練語言模型一躍成為自然語言處理領(lǐng)域的研究熱點(diǎn)，“Pre-training + Fine-tune”也成為NLP任務(wù)...

2020-12-15 標(biāo)簽：AI語言模型數(shù)據(jù)集 2050 0

Dolly 2.0發(fā)布，首個(gè)真正開放、可商用的指令調(diào)優(yōu)LLM

Dolly 2.0 是一個(gè)基于 EleutherAI pythia 模型系列的 12B 參數(shù)語言模型，并在透明且免費(fèi)提供的數(shù)據(jù)集上進(jìn)行了微調(diào)；該數(shù)據(jù)集稱...

2023-04-14 標(biāo)簽：人工智能語言模型數(shù)據(jù)集 2023 0

谷歌開發(fā)出一個(gè)新的語言模型，包含了超過1．6萬億個(gè)參數(shù)

開發(fā)人工智能的語言模型，一直是人工智能的重要細(xì)分領(lǐng)域。人工智能語言模型應(yīng)用包括搜索引擎、文字生成、個(gè)性化的對(duì)話工具以及軟件生成等。 2020年5月，Op...

2021-01-19 標(biāo)簽：AI人工智能語言模型 2012 0

一種將知識(shí)圖譜與語言模型結(jié)合的具體方式分享

知識(shí)嵌入（Knowledge Embedding）將知識(shí)圖譜中的關(guān)系和實(shí)體嵌入向量空間進(jìn)行表示。

2022-09-05 標(biāo)簽：編碼CLS語言模型 1982 0

中文對(duì)話式大語言模型Firefly-2b6開源，使用210萬訓(xùn)練數(shù)據(jù)

在本文中，我們將對(duì)該模型進(jìn)行分享和介紹。與firefly-1b4相比，firefly-2b6的代碼生成能力取得了較大的進(jìn)步，并且在古詩詞生成、對(duì)聯(lián)、作文...

2023-04-14 標(biāo)簽：模型代碼語言模型 1964 0

OpenAI發(fā)布！大語言模型對(duì)勞動(dòng)力市場(chǎng)的影響

研究人員使用美國(guó)勞工部的O*NET 27.2數(shù)據(jù)庫，其中包含了1016個(gè)職業(yè)的信息，包括各自的詳細(xì)工作活動(dòng)（Detailed Work Activiti...

2023-04-19 標(biāo)簽：轉(zhuǎn)換器語言模型GPT 1880 0

谷歌新作Dreamix：視頻擴(kuò)散模型是通用視頻編輯器，效果驚艷！

可以看到，視頻編輯比圖像編輯更加具有挑戰(zhàn)性，它需要合成新的動(dòng)作，而不僅僅是修改視覺外觀。此外還需要保持時(shí)間上的一致性。因此，將 SDEdit、Promp...

2023-02-09 標(biāo)簽：視頻編輯器語言模型 1852 0

LLM技術(shù)對(duì)人工智能發(fā)展的影響

隨著人工智能技術(shù)的飛速發(fā)展，大型語言模型（LLM）技術(shù)已經(jīng)成為推動(dòng)AI領(lǐng)域進(jìn)步的關(guān)鍵力量。LLM技術(shù)通過深度學(xué)習(xí)和自然語言處理技術(shù)，使得機(jī)器能夠理解和生...

2024-11-08 標(biāo)簽：人工智能語言模型LLM 1822 0

一種基于亂序語言模型的預(yù)訓(xùn)練模型-PERT

由于亂序語言模型不使用[MASK]標(biāo)記，減輕了預(yù)訓(xùn)練任務(wù)與微調(diào)任務(wù)之間的gap，并由于預(yù)測(cè)空間大小為輸入序列長(zhǎng)度，使得計(jì)算效率高于掩碼語言模型。PERT...

2022-05-10 標(biāo)簽：語言模型自然語言處理 1815 0

針對(duì)文本生成任務(wù)提出一種基于提示的遷移學(xué)習(xí)方法

理解是一個(gè)復(fù)雜且多面的能力，包括對(duì)文本詞匯、背景知識(shí)、語言結(jié)構(gòu)的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD...

2022-09-23 標(biāo)簽：語言模型數(shù)據(jù)集遷移學(xué)習(xí) 1814 0

英偉達(dá)H200性能顯著提升，年內(nèi)將推出B200新一代AI半導(dǎo)體

同一天，NVIDIA發(fā)布了H200的性能評(píng)估報(bào)告，表明在與美國(guó)Meta公司的大型語言模型——LLM“Llama 2”的對(duì)比中，H200使AI導(dǎo)出答案的處...

2024-04-01 標(biāo)簽：NVIDIAAI語言模型 1766 0

AMD發(fā)布通知：用戶可本地運(yùn)行GPT大語言模型，構(gòu)建個(gè)人AI聊天助手

AMD詳述運(yùn)行步驟，如在搭載70億參數(shù)的Mistral機(jī)器上，需尋找并下載“TheBloke / OpenHermes-2.5-Mistral-7B-G...

2024-03-07 標(biāo)簽：amd語言模型聊天機(jī)器人 1747 0

關(guān)于Llama 2的一切資源，我們都幫你整理好了

Meta 發(fā)布的 Llama 2，是新的 SOTA 開源大型語言模型（LLM）。Llama 2 代表著 LLaMA 的下一代版本，可商用。Llama 2...

2023-08-23 標(biāo)簽：AI開源語言模型 1722 0