中文對話式大語言模型Firefly-2b6開源，使用210萬訓(xùn)練數(shù)據(jù)

在本文中，我們將對該模型進行分享和介紹。與firefly-1b4相比，firefly-2b6的代碼生成能力取得了較大的進步，并且在古詩詞生成、對聯(lián)、作文...

2023-04-14 標(biāo)簽：模型代碼語言模型 1964 0

Dolly 2.0發(fā)布，首個真正開放、可商用的指令調(diào)優(yōu)LLM

Dolly 2.0 是一個基于 EleutherAI pythia 模型系列的 12B 參數(shù)語言模型，并在透明且免費提供的數(shù)據(jù)集上進行了微調(diào)；該數(shù)據(jù)集稱...

2023-04-14 標(biāo)簽：人工智能語言模型數(shù)據(jù)集 2023 0

GPT模型成功的背后用到了哪些以數(shù)據(jù)為中心的人工智能技術(shù)？

正所謂「大力出奇跡」，把參數(shù)量調(diào)「大」能提高模型性能已經(jīng)成為了大家的普遍共識。但是僅僅增加模型參數(shù)就夠了嗎？仔細閱讀GPT的一系列論文后就會發(fā)現(xiàn)，僅僅增...

2023-04-06 標(biāo)簽：人工智能語言模型GPT 1551 0

五大使用場景、五大能力文心一言將革新生產(chǎn)力工具

百度同時公布了文心一言的邀請測試方案。3月16日起，首批用戶即可通過邀請測試碼，在文心一言官網(wǎng)體驗產(chǎn)品，后續(xù)將陸續(xù)開放給更多用戶。此外，百度智能云即將面...

2023-03-17 標(biāo)簽：AI智能化語言模型 947 0

哈工大張民：ChatGPT之后，NLP還有12個待解決命題

首先來講什么是ChatGPT。第一點，ChatGPT做的事就是使機器像人一樣與人對話、交流。自然語言是人類交流最方便、最重要的媒介，語言是用來描述知識和...

2023-03-08 標(biāo)簽：語言模型nlpChatGPT 1063 0

LeCun新作：全面綜述下一代「增強語言模型」

最近圖靈獎得主Yann LeCun參與撰寫了一篇關(guān)于「增強語言模型」的綜述，回顧了語言模型與推理技能和使用工具的能力相結(jié)合的工作，并得出結(jié)論，這個新的研...

2023-03-03 標(biāo)簽：語言模型nlpChatGPT 1269 0

復(fù)旦邱錫鵬團隊發(fā)布國內(nèi)首個類ChatGPT模型MOSS

由于ChatGPT并未開源，其技術(shù)方案細節(jié)也未公開，科研人員對此有諸多猜測。有專家認為，ChatGPT是一套復(fù)雜的組合系統(tǒng)，無法由單一的生成式語言模型實...

2023-03-01 標(biāo)簽：人工智能語言模型ChatGPT 1274 0

ChatGPT“狂飆”之路背后的存儲挑戰(zhàn)

就在不久前，北京市經(jīng)濟和信息化局發(fā)布的《2022年北京人工智能產(chǎn)業(yè)發(fā)展白皮書》中明確提出“支持頭部企業(yè)打造對標(biāo)ChatGPT的大模型，著力構(gòu)建開源框架和...

2023-02-27 標(biāo)簽：AI語言模型ChatGPT 2329 0

ChatGPT火爆，最全prompt工程指南登GitHub熱榜，標(biāo)星4.7k！

如何才能讓大規(guī)模語言模型輸出自己想要的結(jié)果？現(xiàn)在，一本超全超詳提示工程指南來了，GitHub已標(biāo)星4.7k。提示工程，可以說是玩轉(zhuǎn)ChatGPT、DAL...

2023-02-27 標(biāo)簽：語言模型GitHubChatGPT 1647 0

LeCun和馬庫斯齊噴ChatGPT：大語言模型果然是邪路？

ChatGPT的出場，讓一場久違的科技盛宴開席了。全世界的投資人都蠢蠢欲動。微軟給OpenAI再投100億美元，國內(nèi)的投資人也一躍而起，摩拳擦掌。

2023-02-16 標(biāo)簽：搜索引擎語言模型ChatGPT 1158 0

ChatGPT已經(jīng)有9歲小孩的心智了

心智理論（Theory of Mind），簡稱ToM，是指人理解自己和周圍人心理狀態(tài)的能力。我們也可以簡單地理解為「同理心」。 正是因為有同理心的存在，...

2023-02-14 標(biāo)簽：人工智能語言模型ChatGPT 1494 0

梯度人工智能平臺賦能業(yè)務(wù)加速

梯度科技基于Tensorflow、Pytorch、MindSpore等多種主流深度開源框架和Ray的強化學(xué)習(xí)開發(fā)框架研發(fā)的人工智能平臺，圍繞“云+AI”...

2023-02-13 標(biāo)簽：人工智能語言模型深度學(xué)習(xí) 1307 0

谷歌新作Dreamix：視頻擴散模型是通用視頻編輯器，效果驚艷！

可以看到，視頻編輯比圖像編輯更加具有挑戰(zhàn)性，它需要合成新的動作，而不僅僅是修改視覺外觀。此外還需要保持時間上的一致性。因此，將 SDEdit、Promp...

2023-02-09 標(biāo)簽：視頻編輯器語言模型 1852 0

Meta是如何構(gòu)建新人工智能CICERO的？

日前，我們宣布了一項突破性進展，向著構(gòu)建掌握這些技能的人工智能邁進了重要的一步。我們已經(jīng)構(gòu)建了一個代理 CICERO——這是第一個在時下流行的戰(zhàn)略游戲 ...

2023-01-16 標(biāo)簽：人工智能語言模型 921 0

如何用AI來寫Verilog代碼？

可能現(xiàn)在它的功能還并不是很完善，但作為工程師，看到這么強大的功能，不禁有些感慨，我們的核心競爭力是什么？如果真的有一天，AI可以幫我們寫代碼了，我們該去做什么？

2022-12-09 標(biāo)簽：VerilogAI語言模型 2559 0

AI再卷數(shù)學(xué)界，DSP新方法將機器證明成功率提高一倍

我們以語言模型 Minerva為例。當(dāng)在足夠多的數(shù)據(jù)訓(xùn)練之后，我們發(fā)現(xiàn)它的數(shù)學(xué)能力非常強，可以在高中數(shù)學(xué)測試中拿到高于平均分水平。然而這樣的語言模型也有...

2022-11-21 標(biāo)簽：人工智能語言模型自然語言處理 712 0

聚焦“源1.0”背后的計算挑戰(zhàn)以及我們采取的訓(xùn)練方法

“源1.0”是一個典型的語言模型。語言模型通俗來講就是能夠完成自然語言理解或者生成文本的神經(jīng)網(wǎng)絡(luò)模型。對于“源1.0”，我們考慮語言模型（Languag...

2022-11-15 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)模型語言模型 956 0

從預(yù)訓(xùn)練語言模型看MLM預(yù)測任務(wù)

為了解決這一問題，本文主要從預(yù)訓(xùn)練語言模型看MLM預(yù)測任務(wù)、引入prompt_template的MLM預(yù)測任務(wù)、引入verblize類別映射的Promp...

2022-11-14 標(biāo)簽：語言模型nlp 3400 0

CogBERT：腦認知指導(dǎo)的預(yù)訓(xùn)練語言模型

另一方面，從語言處理的角度來看，認知神經(jīng)科學(xué)研究人類大腦中語言處理的生物和認知過程。研究人員專門設(shè)計了預(yù)訓(xùn)練的模型來捕捉大腦如何表示語言的意義。之前的工...

2022-11-03 標(biāo)簽：語言模型數(shù)據(jù)集 1353 0

KT利用NVIDIA AI平臺訓(xùn)練大型語言模型

韓國先進的移動運營商構(gòu)建包含數(shù)百億個參數(shù)的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓(xùn)練該模型。

2022-09-27 標(biāo)簽：NVIDIAAI語言模型 1554 0