拆解大語言模型RLHF中的PPO算法

由于本文以大語言模型 RLHF 的 PPO 算法為主，所以希望你在閱讀前先弄明白大語言模型 RLHF 的前兩步，即 SFT Model 和 Reward...

2023-12-11 標(biāo)簽：算法深度學(xué)習(xí)ChatGPT 2872 0

多模態(tài)大模型最全綜述來了！

其中最后一個(gè)表示監(jiān)督信號(hào)是從圖像本身中挖掘出來的，流行的方法包括對比學(xué)習(xí)、非對比學(xué)習(xí)和masked image建模。在這些方法之外，文章也進(jìn)一步討論了多...

2023-09-26 標(biāo)簽：圖像AIGC大模型 2813 0

大模型時(shí)代下算力芯片的背后——高速互連技術(shù)會(huì)成為性能突破口？

相信資深的PC玩家大概率都聽說過“四路泰坦”的傳說，這是指在配備四個(gè)PCIe插槽的主板上使用了四塊“泰坦”顯卡（這是當(dāng)時(shí)最強(qiáng)的旗艦級顯卡型號(hào)），通過英偉...

2024-01-08 標(biāo)簽：人工智能GPU芯片大模型 2789 0

如何從第一性原理看大模型Agent技術(shù)原理

人的視覺識(shí)別過程是一個(gè)層次性的關(guān)系，從最初級的視覺皮層一直到更高級的皮層，從簡單的視覺邊緣特征到線條的方向性，再到線條之間的組合，如角等更高維特征的形成...

2023-11-14 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)控制 2754 0

大模型應(yīng)用之路：從提示詞到通用人工智能（AGI）

大模型在人工智能領(lǐng)域的應(yīng)用正迅速擴(kuò)展，從最初的提示詞（Prompt）工程到追求通用人工智能（AGI）的宏偉目標(biāo)，這一旅程充滿了挑戰(zhàn)與創(chuàng)新。本文將探索大模...

2024-06-14 標(biāo)簽：AI人工智能Agi 2748 0

大模型系列：Flash Attention V2整體運(yùn)作流程

基于1.1中的思想，我們在V2中將原本的內(nèi)外循環(huán)置換了位置（示意圖就不畫了，基本可以對比V1示意圖想象出來）。我們直接來看V2的偽代碼（如果對以下偽代碼...

2024-02-21 標(biāo)簽：gpu并行計(jì)算大模型 2676 0

風(fēng)口浪尖行穩(wěn)致遠(yuǎn) - 英偉達(dá)等企業(yè)如何順應(yīng)高性能計(jì)算大模型浪潮

關(guān)鍵詞:PLM;NLP;Transformer;ChatGPT;BERT;RNN;CNN;自注意力機(jī)制;多頭注意力機(jī)制;?Decoder Only ;E...

2023-08-23 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AI英偉達(dá) 2603 0

谷歌重磅新作PaLI-3：視覺語言新模型！更小、更快、更強(qiáng)

效果怎么樣呢？PaLI-3 在需要視覺定位文本理解和目標(biāo)定位的任務(wù)上實(shí)現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個(gè)視覺定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語言模型大模型 2582 0

TaD+RAG-緩解大模型“幻覺”的組合新療法

TaD：任務(wù)感知解碼技術(shù)（Task-aware Decoding，簡稱TaD），京東聯(lián)合清華大學(xué)針對大語言模型幻覺問題提出的一項(xiàng)技術(shù)，成果收錄于IJCA...

2024-07-16 標(biāo)簽：AIChatGPT大模型 2574 0

開放加速規(guī)范AI服務(wù)器的設(shè)計(jì)方法

當(dāng)前語言大模型的參數(shù)量已達(dá)千億以上，訓(xùn)練數(shù)據(jù)集的規(guī)模也達(dá)到了TB級別。業(yè)界典型的自然語言大模型有GPT、LLAMA、PaLM、文心、悟道、源等。如果用“...

2023-09-01 標(biāo)簽：服務(wù)器AI計(jì)算系統(tǒng) 2535 0

大模型外掛知識(shí)庫優(yōu)化-大模型輔助向量召回

用LLM根據(jù)用戶query生成k個(gè)“假答案”。（大模型生成答案采用sample模式，保證生成的k個(gè)答案不一樣，不懂LLM生成答案原理的同學(xué)可以看我這篇文...

2023-09-08 標(biāo)簽：向量數(shù)據(jù)集大模型 2454 0

什么是大模型？快速了解大模型基本概念

“在人工智能的世界里，大模型就像超級大腦一樣，能夠處理和理解大量的信息。你可能聽說過ChatGPT，它就是大模型的一個(gè)典型代表。那么，什么是大模型呢？讓...

2024-08-07 標(biāo)簽：人工智能機(jī)器學(xué)習(xí)大模型 2429 0

AI新基建引領(lǐng)“三浪變革”，驅(qū)動(dòng)產(chǎn)業(yè)升級與創(chuàng)新

2023年迎來“知識(shí)生產(chǎn)力變革”第一浪，以大語言模型為核心，實(shí)現(xiàn)知識(shí)工程的生產(chǎn)力變革，類似于中世紀(jì)的印刷革命。大語言模型具有超高速學(xué)習(xí)能力，可在人機(jī)協(xié)同...

2024-01-31 標(biāo)簽：gpuAI人工智能 2412 0

GTC 2023：短視頻多模態(tài)超大模型的場景應(yīng)用

快手科技圍繞提高模型計(jì)算效率和可部署開展技術(shù)攻關(guān)，沉淀了一套通用的混合并行訓(xùn)練、壓縮、推理整體解決方案。

2023-03-23 標(biāo)簽：AI英偉達(dá)gtc 2342 0

基于大模型的仿真系統(tǒng)研究一——三維重建大模型

一 基于大模型的仿真系統(tǒng)框架 ? ?傳統(tǒng)的仿真測試驗(yàn)證普遍基于場景，而場景的構(gòu)建主要由道路和場景編輯器來人工搭建靜態(tài)場景和動(dòng)態(tài)場景，這種方式費(fèi)時(shí)費(fèi)力，而...

2024-07-30 標(biāo)簽：仿真系統(tǒng)大模型 2320 0

盤點(diǎn)一下史上最全大語言模型訓(xùn)練中的網(wǎng)絡(luò)技術(shù)

人工智能的基礎(chǔ)設(shè)施在大語言模型訓(xùn)練和推理過程中發(fā)揮了關(guān)鍵的作用。隨著大語言模型規(guī)模不斷增大，其對計(jì)算和通信的需求也在不斷增加。高

2024-03-27 標(biāo)簽：處理器人工智能網(wǎng)絡(luò)拓?fù)?/a> 2319 0

在Dify中使用PerfXCloud大模型推理服務(wù)

近日，Dify全面接入了Perf XCloud，借助Perf XCloud提供的大模型調(diào)用服務(wù)，用戶可在Dify中構(gòu)建出更加經(jīng)濟(jì)、高效的LLM應(yīng)用。

2024-07-15 標(biāo)簽：AI澎峰科技大模型 2309 0

揭秘英偉達(dá)A100、A800、H100、H800 GPU如何實(shí)現(xiàn)高性能大模型的百倍訓(xùn)練加速

摘要：本文主要介紹大模型的內(nèi)部運(yùn)行原理、我國算力發(fā)展現(xiàn)狀。大模型指具有巨大參數(shù)量的深度學(xué)習(xí)模型，如GPT-4。其通過在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠產(chǎn)生更...

2023-09-09 標(biāo)簽：NVIDIAgpu英偉達(dá) 2275 0