超分畫質(zhì)大模型！華為和清華聯(lián)合提出CoSeR：基于認(rèn)知的萬物超分大模型

一是缺乏泛化能力。為了實(shí)現(xiàn)更好的超分效果，通常需要針對(duì)特定場景使用特定傳感器采集到的數(shù)據(jù)來進(jìn)行模型訓(xùn)練，這種學(xué)習(xí)方式擬合了某種低清圖像和高清圖像間的映射...

2023-12-04 標(biāo)簽：傳感器圖像大模型 974 0

一種新大模型安全問題之隱式有害內(nèi)容輸出

使用了LLaMA-13B來訓(xùn)練模型和獎(jiǎng)勵(lì)模型，使用BAD模型作為有害內(nèi)容檢測模型。

2023-12-04 標(biāo)簽：ChatGPT大模型 549 0

大模型對(duì)話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 768 0

一種新穎的大型語言模型知識(shí)更新微調(diào)范式

我們使用LLAMA2-7B作為實(shí)驗(yàn)的基礎(chǔ)模型。我們主要評(píng)估將舊知識(shí)更新為新知識(shí)的能力，因此模型將首先在舊知識(shí)上進(jìn)行為期3個(gè)時(shí)期的微調(diào)。表1中F-Lear...

2023-12-01 標(biāo)簽：數(shù)據(jù)集LoRa大模型 546 0

LLM真的能推理和規(guī)劃嗎？

在研究人員選擇的模型中，GPT-3 davinci（非指令微調(diào)）、GPT-3 textdavinci-001（指令微調(diào)）和GPT-3 textdavin...

2023-11-30 標(biāo)簽：解碼器編碼器GPT 806 0

大模型的Scaling Law的概念和推導(dǎo)

對(duì)于Decoder-only的模型，計(jì)算量(Flops), 模型參數(shù)量, 數(shù)據(jù)大小(token數(shù))，三者滿足:。(推導(dǎo)見本文最后) 模型的最終性能...

2023-11-29 標(biāo)簽：GPTOpenAI大模型 3008 0

中國大模型市場進(jìn)展與趨勢

大模型當(dāng)前以生成類應(yīng)用為主，多模態(tài)是未來重點(diǎn)發(fā)展方向 企業(yè)用戶是從應(yīng)用視角出發(fā),分成生成類應(yīng)用、決策類應(yīng)用和多模態(tài)應(yīng)用。 受限于模型能力、應(yīng)用效果等...

2023-11-29 標(biāo)簽：編程語言機(jī)器學(xué)習(xí)深度學(xué)習(xí) 692 0

大模型算驅(qū)動(dòng)AI服務(wù)器行業(yè)報(bào)告

AI服務(wù)器按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國內(nèi)的主要選擇（占比91.9%）；AI服務(wù)器...

2023-11-28 標(biāo)簽：cpu服務(wù)器AI 329 0

解讀大模型FP量化的解決方案

在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了遠(yuǎn)超 SOTA 的結(jié)果。特別是，這篇文章展示了 4-bit 量化的 LLaM...

2023-11-24 標(biāo)簽：浮點(diǎn)數(shù)大模型LLM 1137 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個(gè)單位。在計(jì)算交叉熵時(shí)，如果使用以 2 為底的對(duì)數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語言模型GPTOpenAI 1016 0

Rust目前在GPU編程生態(tài)方面的現(xiàn)狀和前景

各種 GL API 的純軟實(shí)現(xiàn)，當(dāng)沒有可用的硬件時(shí)，它可以提供純軟件的 GL API 的實(shí)現(xiàn)； 它可以用于 Linux/Windows/Mac 等...

2023-11-21 標(biāo)簽：gpu編譯器Rust 3353 0

多任務(wù)微調(diào)框架MFTCoder詳細(xì)技術(shù)解讀

MFTCoder具備高效訓(xùn)練特征，包括提供高效的數(shù)據(jù)Tokenization模式和支持PEFT微調(diào)，能有效提升微調(diào)訓(xùn)練速度并降低對(duì)資源的需求。

2023-11-17 標(biāo)簽：函數(shù)pythonGPT 1356 0

一文解析向量數(shù)據(jù)庫的大模型之路

數(shù)據(jù)在 MaaS 時(shí)代很重要，市場的火熱映射到具體的企業(yè)行為上，表現(xiàn)為大批量垂直模型的推出、數(shù)據(jù)庫企業(yè)融資數(shù)量增加、數(shù)據(jù)庫使用量陡然增長等。

2023-11-17 標(biāo)簽：數(shù)據(jù)庫騰訊云大模型 879 0

中國電信大模型做得怎么樣了？

千億參數(shù)的星辰大模型發(fā)布。從2021年10月啟動(dòng)自研城市治理大模型，星辰大模型已經(jīng)走過語義大模型、多模態(tài)大模型、語音大模型到下一代數(shù)字人的階段發(fā)展，20...

2023-11-15 標(biāo)簽：中國電信人工智能大模型 919 0

如何從第一性原理看大模型Agent技術(shù)原理

人的視覺識(shí)別過程是一個(gè)層次性的關(guān)系，從最初級(jí)的視覺皮層一直到更高級(jí)的皮層，從簡單的視覺邊緣特征到線條的方向性，再到線條之間的組合，如角等更高維特征的形成...

2023-11-14 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)控制 2753 0

NeurlPS'23開源 | 首個(gè)！開放詞匯3D實(shí)例分割！

我們介紹了開放詞匯3D實(shí)例分割的任務(wù)。當(dāng)前的3D實(shí)例分割方法通常只能從訓(xùn)練數(shù)據(jù)集中標(biāo)注的預(yù)定義的封閉類集中識(shí)別對(duì)象類別。這給現(xiàn)實(shí)世界的應(yīng)用程序帶來了很大...

2023-11-14 標(biāo)簽：3DAI大模型 918 0

北大&華為提出：多模態(tài)基礎(chǔ)大模型的高效微調(diào)

深度學(xué)習(xí)的大模型時(shí)代已經(jīng)來臨,越來越多的大規(guī)模預(yù)訓(xùn)練模型在文本、視覺和多模態(tài)領(lǐng)域展示出杰出的生成和推理能力。然而大模型巨大的參數(shù)量有兩個(gè)明顯缺點(diǎn)

2023-11-08 標(biāo)簽：框架深度學(xué)習(xí)大模型 1479 0

基于LLaMA的多語言數(shù)學(xué)推理大模型

MathOctopus在多語言數(shù)學(xué)推理任務(wù)中，表現(xiàn)出了強(qiáng)大的性能。MathOctopus-7B 可以將LLmMA2-7B在MGSM不同語言上的平均表現(xiàn)從...

2023-11-08 標(biāo)簽：多語言ChatGPT大模型 652 0