完善資料讓更多小伙伴認識你，還能領(lǐng)取20積分哦，立即完善>
標簽 > 大模型
以大模型作為基礎(chǔ)模型支撐AI產(chǎn)業(yè)應(yīng)用邏輯已經(jīng)被證明實用性，AI大模型為AI落地應(yīng)用提供了一種通用化的解決方案；各自各樣參數(shù)不一、面向不同行業(yè)、面向不同任務(wù)的“大模型”也陸續(xù)發(fā)布，大模型已經(jīng)成為整個AI 界追逐的寵兒，AI大模型有效果好、泛化性強、研發(fā)流程標準化程度高等特點。
文章：2927個 瀏覽：3717次 帖子：18個
一個給NLP領(lǐng)域帶來革新的預(yù)訓(xùn)練語言大模型Bert
之前的文章和大家詳細的介紹了靜態(tài)的詞向量表示word2vec理論加實戰(zhàn)，但是word2vec存在一個很大的問題，由于是靜態(tài)詞向量所以無法表示一詞多義，對...
2023-02-28 標簽：GPTELMOSTransformer 8.0萬 0
大模型訓(xùn)練為什么不能用4090顯卡，GPU訓(xùn)練性能和成本對比
為什么？一般有 tensor parallelism、pipeline parallelism、data parallelism 幾種并行方式，分別在模...
通往AGI之路：揭秘英偉達A100、A800、H800、V100在高性能計算與大模型訓(xùn)練中的霸主地位
英偉達前段時間發(fā)布GH 200包含 36 個 NVLink 開關(guān)，將 256 個 GH200 Grace Hopper 芯片和 144TB 的共享內(nèi)存連...
全微調(diào)（Full Fine-tuning）：全微調(diào)是指對整個預(yù)訓(xùn)練模型進行微調(diào)，包括所有的模型參數(shù)。在這種方法中，預(yù)訓(xùn)練模型的所有層和參數(shù)都會被更新和優(yōu)...
2024-01-03 標簽：gpu深度學(xué)習(xí)ChatGPT 2.6萬 0
對于位置編碼，常規(guī)的做法是在計算 query，key 和 value 向量之前，會計算一個位置編碼向量 加到詞嵌入 上，位置編碼向量 同樣也是 維向量，...
2023-09-05 標簽：向量旋轉(zhuǎn)編碼大模型 1.5萬 0
本文通俗簡單地介紹了什么是大模型、大模型是怎么訓(xùn)練出來的和大模型的作用。 ? 什么是大模型 大模型，英文名叫Large Model，大型模型。早期的時候...
InfiniBand和RoCEv2網(wǎng)絡(luò)簡介及解決方案
超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對于網(wǎng)絡(luò)的要求。
2023-09-22 標簽：數(shù)據(jù)中心AITCP 1.1萬 0
從IB提供的具體操作來看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實際上都是針對內(nèi)存的操作，所不同的是，Se...
圖解大模型系列之：Megatron源碼解讀1，分布式環(huán)境初始化
使用Megatron來訓(xùn)練gpt類大模型的項目有很多。在這個系列里，我選擇了由THUDM開發(fā)的CodeGeeX項目，它是gpt在代碼生成方向上的應(yīng)用，對...
大模型為什么要微調(diào)？大模型微調(diào)的原理
在人工智能（AI）領(lǐng)域，特別是自然語言處理（NLP）領(lǐng)域，大模型（如BERT、GPT系列等）的出現(xiàn)為許多復(fù)雜任務(wù)提供了強大的解決方案。然而，這些預(yù)訓(xùn)練的...
vLLM是一個開源的大模型推理加速框架，通過PagedAttention高效地管理attention中緩存的張量，實現(xiàn)了比HuggingFace Tra...
2023-10-10 標簽：神經(jīng)網(wǎng)絡(luò)gpu服務(wù)器 6441 0
在人工智能（AI）的廣闊領(lǐng)域中，模型作為算法與數(shù)據(jù)之間的橋梁，扮演著至關(guān)重要的角色。根據(jù)模型的大小和復(fù)雜度，我們可以將其大致分為AI大模型和小模型。這兩...
之前我們使用網(wǎng)頁文本輸入的方式體驗了訊飛星火認知大模型的功能（是什么讓科大訊飛1個月股價翻倍？），本篇博文將從開發(fā)者角度來看看如何使用訊飛星火認知大模型API。
單模態(tài)大模型，通常大于100M～1B參數(shù)。具有較強的通用性，比如對圖片中任意物體進行分割，或者生成任意內(nèi)容的圖片或聲音。極大降低了場景的定制成本。
首先看吞吐量，看起來沒有什么違和的，在單卡能放下模型的情況下，確實是 H100 的吞吐量最高，達到 4090 的兩倍。
隨著BERT、GPT等預(yù)訓(xùn)練模型取得成功，預(yù)訓(xùn)-微調(diào)范式已經(jīng)被運用在自然語言處理、計算機視覺、多模態(tài)語言模型等多種場景，越來越多的預(yù)訓(xùn)練模型取得了優(yōu)異的效果。
圖解大模型訓(xùn)練之：Megatron源碼解讀2，模型并行
前文說過，用Megatron做分布式訓(xùn)練的開源大模型有很多，我們選用的是THUDM開源的CodeGeeX（代碼生成式大模型，類比于openAI Code...
什么是混合專家模型？混合專家模型 (MoEs)優(yōu)劣勢分析
門控網(wǎng)絡(luò)或路由: 這個部分用于決定哪些令牌 (token) 被發(fā)送到哪個專家。例如，在下圖中，“More”這個令牌可能被發(fā)送到第二個專家，而“Param...
2024-02-22 標簽：神經(jīng)網(wǎng)絡(luò)AITransformer 5221 0
AI大模型（如LLM，即大型語言模型）與傳統(tǒng)AI在多個方面存在顯著的區(qū)別。以下將從技術(shù)層面、應(yīng)用場景、性能表現(xiàn)、計算資源和成本、以及發(fā)展趨勢和挑戰(zhàn)等角度...
2024-07-15 標簽：AI深度學(xué)習(xí)大模型 5030 0
在科技日新月異的今天，人工智能（AI）已成為推動社會進步的重要力量。而在人工智能的眾多分支中，大模型（Large Models）作為近年來興起的概念，以...
換一批
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟技術(shù)開發(fā)區(qū)航空路6號手機智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
