文心一言是什么？文心一言有哪些功能？

文心一言 *（英文名：ERNIE Bot）* 是百度全新一代知識(shí)增強(qiáng)大語言模型，文心大模型家族的新成員，能夠與人對(duì)話互動(dòng)，回答問題，協(xié)助創(chuàng)作，高效便捷地...

2023-08-31 標(biāo)簽：語言模型深度學(xué)習(xí)文心一言 59.1萬 0

華為AI盤古大模型與chatgpt，Mate 60 Pro接入盤古人工智能大模型

華為盤古大模型是華為公司最新推出的AI語言模型，該模型的命名取自中國神話中的盤古開天辟地的故事。該模型在2021年4月正式發(fā)布，是華為公司在人工智能領(lǐng)域...

2023-09-05 標(biāo)簽：華為語言模型盤古大模型 8700 0

完成適配！曦云C500在智譜AI升級(jí)版大模型上充分兼容、高效穩(wěn)定運(yùn)行

近日，沐曦集成電路（上海）有限公司（下稱“沐曦”）曦云C500千億參數(shù)AI大模型訓(xùn)練及通用計(jì)算GPU與北京智譜華章科技有限公司（下稱“智譜AI”）開源的...

2023-08-23 標(biāo)簽：gpuAI語言模型 8280 0

一套新的自然語言處理（NLP）評(píng)估基準(zhǔn)，名為 SuperGLUE

實(shí)現(xiàn) NLP 的方法有很多，主流的方法大多圍繞多任務(wù)學(xué)習(xí)和語言模型預(yù)訓(xùn)練展開，由此孕育出很多種不同模型，比如 BERT、MT-DNN、ALICE 和 S...

2019-04-29 標(biāo)簽：語言模型自然語言處理nlp 6481 0

谷歌再次發(fā)布BERT的多語言模型和中文模型

為了評(píng)估這些系統(tǒng)，我們使用了XNLI dataset，它是MultiNLI的一個(gè)版本，其中dev集和test集已經(jīng)（由人類）翻譯成15種語言。需要注意的...

2018-11-08 標(biāo)簽：谷歌語言模型機(jī)器翻譯 6339 0

OpenAI發(fā)布一款令人印象深刻的語言模型GPT-2

今年2月，OpenAI發(fā)布了一款令人印象深刻的語言模型GPT-2，它可以寫短篇小說、詩歌，甚至輕松辨別《哈利波特》和《指環(huán)王》中的角色。最近，一位加拿大...

2019-05-17 標(biāo)簽：AI語言模型機(jī)器學(xué)習(xí) 4768 0

GTP正式誕生，你的自媒體會(huì)發(fā)生什么變化？

GPT是一種人工智能模型，代表了“生成預(yù)訓(xùn)練語言模型”的縮寫。GPT系列模型由OpenAI公司開發(fā)，采用了深度學(xué)習(xí)和自然語言處理技術(shù)，用于生成自然語言文本。

2023-05-11 標(biāo)簽：人工智能語言模型GPT 4623 0

三星發(fā)布UFS 4.0 和UFS 5.0產(chǎn)品規(guī)劃，順序讀取速度提升至8GB/s

隨著端側(cè)人工智能的崛起，智能手機(jī)市場對(duì)UFS技術(shù)也提出更高要求?？紤]到大語言模型在未來的應(yīng)用前景，提升UFS接口速度迫在眉睫。

2024-03-21 標(biāo)簽：智能手機(jī)人工智能語言模型 4335 0

SuperGLUE正式上線：NLP模型們，來迎接挑戰(zhàn)吧！

GLUE全稱是通用語言理解評(píng)估（General Language Understanding Evaluation），基于已有的9種英文語言理解任務(wù)，涵...

2019-09-13 標(biāo)簽：語言模型數(shù)據(jù)集nlp 4328 0

布朗大學(xué)90后研究生：我們復(fù)現(xiàn)了15億參數(shù)GPT-2模型，你也行！

本模型的實(shí)現(xiàn)基于Grover模型，并修改其代碼庫以匹配GPT-2的語言建模訓(xùn)練目標(biāo)。由于他們的模型是在類似的大型語料庫上進(jìn)行訓(xùn)練的，因此大部分代碼和超參...

2019-09-01 標(biāo)簽：語言模型數(shù)據(jù)集 3583 0

從預(yù)訓(xùn)練語言模型看MLM預(yù)測任務(wù)

為了解決這一問題，本文主要從預(yù)訓(xùn)練語言模型看MLM預(yù)測任務(wù)、引入prompt_template的MLM預(yù)測任務(wù)、引入verblize類別映射的Promp...

2022-11-14 標(biāo)簽：語言模型nlp 3399 0

Google科學(xué)家設(shè)計(jì)簡化稀疏架構(gòu)Switch Transformer，語言模型的參數(shù)量可擴(kuò)展至 1.6 萬億

剛剛，Google Brain 高級(jí)研究科學(xué)家 Barret Zoph 發(fā)帖表示，他們設(shè)計(jì)了一個(gè)名叫「Switch Transformer」的簡化稀疏架...

2021-01-13 標(biāo)簽：Google架構(gòu)語言模型 3398 0

Multilingual多語言預(yù)訓(xùn)練語言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預(yù)訓(xùn)練多語言模型，...

2022-05-05 標(biāo)簽：語言模型數(shù)據(jù)集nlp 3372 0

OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型

就在本周，OpenAI宣布，發(fā)布了7.74億參數(shù)GPT-2語言模型，15.58億的完整模型也有望于幾個(gè)月內(nèi)發(fā)布，并將GPT-2這6個(gè)月的進(jìn)展情況在博客上...

2019-09-01 標(biāo)簽：語言模型數(shù)據(jù)集nlp 3215 0

同濟(jì)大學(xué)發(fā)布首個(gè)“知識(shí)大模型”CivilGPT，深化教育教學(xué)數(shù)字化轉(zhuǎn)型

該大模型由同濟(jì)大學(xué)獨(dú)立研發(fā)，通過構(gòu)建高質(zhì)量的語料庫并利用千億級(jí)別的基礎(chǔ)模型進(jìn)行訓(xùn)練，成功打造了首個(gè)具備土木工程專業(yè)知識(shí)的垂直領(lǐng)域大模型，為工程教育和科研...

2024-05-28 標(biāo)簽：人工智能語言模型大模型 3077 0

如何進(jìn)行MLM訓(xùn)練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預(yù)訓(xùn)練模型中，這一策略通常被替換成了動(dòng)態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標(biāo)簽：模型語言模型mask 3042 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預(yù)訓(xùn)練語言模型借助于針對(duì)特定任務(wù)設(shè)計(jì)的prompt（無論是few shot還是zero shot），在單步驟的system-1任務(wù)上有著出色表現(xiàn)，...

2022-06-15 標(biāo)簽：自動(dòng)化語言模型 2885 0