一種新大模型安全問(wèn)題之隱式有害內(nèi)容輸出

使用了LLaMA-13B來(lái)訓(xùn)練模型和獎(jiǎng)勵(lì)模型，使用BAD模型作為有害內(nèi)容檢測(cè)模型。

2023-12-04 標(biāo)簽：ChatGPT大模型 774 0

大模型對(duì)話系統(tǒng)的內(nèi)功與外功

Zero-shot Setting：在 O-Cue 中，由于單步指令較復(fù)雜（不要要進(jìn)行推理還要進(jìn)行回復(fù)生成，以及生成的格式要求），單步生成內(nèi)容過(guò)多，導(dǎo)致...

2023-12-01 標(biāo)簽：數(shù)據(jù)集大模型LLM 1.1k 0

一種新穎的大型語(yǔ)言模型知識(shí)更新微調(diào)范式

我們使用LLAMA2-7B作為實(shí)驗(yàn)的基礎(chǔ)模型。我們主要評(píng)估將舊知識(shí)更新為新知識(shí)的能力，因此模型將首先在舊知識(shí)上進(jìn)行為期3個(gè)時(shí)期的微調(diào)。表1中F-Lear...

2023-12-01 標(biāo)簽：數(shù)據(jù)集LoRa大模型 908 0

LLM真的能推理和規(guī)劃嗎？

在研究人員選擇的模型中，GPT-3 davinci（非指令微調(diào)）、GPT-3 textdavinci-001（指令微調(diào)）和GPT-3 textdavin...

2023-11-30 標(biāo)簽：解碼器編碼器GPT 1k 0

大模型的Scaling Law的概念和推導(dǎo)

對(duì)于Decoder-only的模型，計(jì)算量(Flops), 模型參數(shù)量, 數(shù)據(jù)大小(token數(shù))，三者滿足:。(推導(dǎo)見(jiàn)本文最后) 模型的最終性能...

2023-11-29 標(biāo)簽：GPTOpenAI大模型 3.7k 0

中國(guó)大模型市場(chǎng)進(jìn)展與趨勢(shì)

大模型當(dāng)前以生成類應(yīng)用為主，多模態(tài)是未來(lái)重點(diǎn)發(fā)展方向 企業(yè)用戶是從應(yīng)用視角出發(fā),分成生成類應(yīng)用、決策類應(yīng)用和多模態(tài)應(yīng)用。 受限于模型能力、應(yīng)用效果等...

2023-11-29 標(biāo)簽：編程語(yǔ)言機(jī)器學(xué)習(xí)深度學(xué)習(xí) 801 0

大模型算驅(qū)動(dòng)AI服務(wù)器行業(yè)報(bào)告

AI服務(wù)器按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國(guó)內(nèi)的主要選擇（占比91.9%）；AI服務(wù)器...

2023-11-28 標(biāo)簽：cpu服務(wù)器AI 826 0

解讀大模型FP量化的解決方案

在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了遠(yuǎn)超 SOTA 的結(jié)果。特別是，這篇文章展示了 4-bit 量化的 LLaM...

2023-11-24 標(biāo)簽：浮點(diǎn)數(shù)大模型LLM 1.4k 0

Scaling Law大模型設(shè)計(jì)實(shí)操案例

縱軸是"Bits for words", 這也是交叉熵的一個(gè)單位。在計(jì)算交叉熵時(shí)，如果使用以 2 為底的對(duì)數(shù)，交叉熵的單位就是 &q...

2023-11-22 標(biāo)簽：語(yǔ)言模型GPTOpenAI 1.5k 0

Rust目前在GPU編程生態(tài)方面的現(xiàn)狀和前景

各種 GL API 的純軟實(shí)現(xiàn)，當(dāng)沒(méi)有可用的硬件時(shí)，它可以提供純軟件的 GL API 的實(shí)現(xiàn)； 它可以用于 Linux/Windows/Mac 等...

2023-11-21 標(biāo)簽：gpu編譯器Rust 4.3k 0

多任務(wù)微調(diào)框架MFTCoder詳細(xì)技術(shù)解讀

MFTCoder具備高效訓(xùn)練特征，包括提供高效的數(shù)據(jù)Tokenization模式和支持PEFT微調(diào)，能有效提升微調(diào)訓(xùn)練速度并降低對(duì)資源的需求。

2023-11-17 標(biāo)簽：函數(shù)pythonGPT 1.7k 0

一文解析向量數(shù)據(jù)庫(kù)的大模型之路

數(shù)據(jù)在 MaaS 時(shí)代很重要，市場(chǎng)的火熱映射到具體的企業(yè)行為上，表現(xiàn)為大批量垂直模型的推出、數(shù)據(jù)庫(kù)企業(yè)融資數(shù)量增加、數(shù)據(jù)庫(kù)使用量陡然增長(zhǎng)等。

2023-11-17 標(biāo)簽：數(shù)據(jù)庫(kù)騰訊云大模型 1.1k 0

中國(guó)電信大模型做得怎么樣了？

千億參數(shù)的星辰大模型發(fā)布。從2021年10月啟動(dòng)自研城市治理大模型，星辰大模型已經(jīng)走過(guò)語(yǔ)義大模型、多模態(tài)大模型、語(yǔ)音大模型到下一代數(shù)字人的階段發(fā)展，20...

2023-11-15 標(biāo)簽：中國(guó)電信人工智能大模型 1.1k 0

如何從第一性原理看大模型Agent技術(shù)原理

人的視覺(jué)識(shí)別過(guò)程是一個(gè)層次性的關(guān)系，從最初級(jí)的視覺(jué)皮層一直到更高級(jí)的皮層，從簡(jiǎn)單的視覺(jué)邊緣特征到線條的方向性，再到線條之間的組合，如角等更高維特征的形成...

2023-11-14 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)控制 3.3k 0

NeurlPS'23開(kāi)源 | 首個(gè)！開(kāi)放詞匯3D實(shí)例分割！

我們介紹了開(kāi)放詞匯3D實(shí)例分割的任務(wù)。當(dāng)前的3D實(shí)例分割方法通常只能從訓(xùn)練數(shù)據(jù)集中標(biāo)注的預(yù)定義的封閉類集中識(shí)別對(duì)象類別。這給現(xiàn)實(shí)世界的應(yīng)用程序帶來(lái)了很大...

2023-11-14 標(biāo)簽：3DAI大模型 1.3k 0

北大&華為提出：多模態(tài)基礎(chǔ)大模型的高效微調(diào)

深度學(xué)習(xí)的大模型時(shí)代已經(jīng)來(lái)臨,越來(lái)越多的大規(guī)模預(yù)訓(xùn)練模型在文本、視覺(jué)和多模態(tài)領(lǐng)域展示出杰出的生成和推理能力。然而大模型巨大的參數(shù)量有兩個(gè)明顯缺點(diǎn)

2023-11-08 標(biāo)簽：框架深度學(xué)習(xí)大模型 2.1k 0

基于LLaMA的多語(yǔ)言數(shù)學(xué)推理大模型

MathOctopus在多語(yǔ)言數(shù)學(xué)推理任務(wù)中，表現(xiàn)出了強(qiáng)大的性能。MathOctopus-7B 可以將LLmMA2-7B在MGSM不同語(yǔ)言上的平均表現(xiàn)從...

2023-11-08 標(biāo)簽：多語(yǔ)言ChatGPT大模型 889 0

大模型在代碼缺陷檢測(cè)領(lǐng)域的應(yīng)用實(shí)踐

靜態(tài)代碼掃描(SA)能快速識(shí)別代碼缺陷，如空指針訪問(wèn)、數(shù)組越界等，以較高ROI保障質(zhì)量及提升交付效率。當(dāng)前掃描能力主要依賴人工經(jīng)驗(yàn)生成規(guī)則，泛化能力弱且...

2023-11-08 標(biāo)簽：計(jì)算機(jī)代碼缺陷檢測(cè) 1.2k 0

云邊AI的必然趨勢(shì)和硬件承載

云邊AI是指把AI大模型和算法在云端訓(xùn)練和優(yōu)化后，部署到邊緣設(shè)備上運(yùn)行，從而將AI能力融入終端設(shè)備。在前期的AI發(fā)展中，云端計(jì)算平臺(tái)憑借其強(qiáng)大的計(jì)算能力...

2023-11-07 標(biāo)簽：物聯(lián)網(wǎng)AI邊緣計(jì)算 1.2k 0