完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>
標(biāo)簽 > 大模型
以大模型作為基礎(chǔ)模型支撐AI產(chǎn)業(yè)應(yīng)用邏輯已經(jīng)被證明實(shí)用性,AI大模型為AI落地應(yīng)用提供了一種通用化的解決方案;各自各樣參數(shù)不一、面向不同行業(yè)、面向不同任務(wù)的“大模型”也陸續(xù)發(fā)布,大模型已經(jīng)成為整個(gè)AI 界追逐的寵兒,AI大模型有效果好、泛化性強(qiáng)、研發(fā)流程標(biāo)準(zhǔn)化程度高等特點(diǎn)。
文章:2925個(gè) 瀏覽:3716次 帖子:18個(gè)
DeepSeek的開源之路:一文讀懂從V1-R1的技術(shù)發(fā)展,見證從開源新秀到推理革命的領(lǐng)跑者
作者:京東科技 蔡欣彤 一、引言:AI時(shí)代的挑戰(zhàn)與DeepSeek的崛起 在大模型時(shí)代,AI技術(shù)的飛速發(fā)展帶來了前所未有的機(jī)遇,但也伴隨著巨大的挑戰(zhàn)。隨...
在人工智能的廣闊領(lǐng)域中,知識圖譜與大模型是兩個(gè)至關(guān)重要的概念,它們各自擁有獨(dú)特的優(yōu)勢和應(yīng)用場景,同時(shí)又相互補(bǔ)充,共同推動(dòng)著人工智能技術(shù)的發(fā)展。本文將從定...
FP8在NVIDIA GPU架構(gòu)和軟件系統(tǒng)中的應(yīng)用
在深度學(xué)習(xí)和人工智能的快速發(fā)展背景下,尤其是大語言模型(Large Language Model,LLM)的蓬勃發(fā)展,模型的大小和計(jì)算復(fù)雜性不斷增加,對...
2024-03-28 標(biāo)簽:NVIDIA人工智能深度學(xué)習(xí) 1760 0
大型語言模型在關(guān)鍵任務(wù)和實(shí)際應(yīng)用中的挑戰(zhàn)
大型語言模型的出現(xiàn)極大地推動(dòng)了自然語言處理領(lǐng)域的進(jìn)步,但同時(shí)也存在一些局限性,比如模型可能會(huì)產(chǎn)生看似合理但實(shí)際上是錯(cuò)誤或虛假的內(nèi)容,這一現(xiàn)象被稱為幻覺(...
2023-08-15 標(biāo)簽:解碼器數(shù)據(jù)語言模型 1718 0
如何充分挖掘預(yù)訓(xùn)練視覺-語言基礎(chǔ)大模型的更好零樣本學(xué)習(xí)能力
因此,合適的prompt對于模型的效果至關(guān)重要。大量研究表明,prompt的微小差別,可能會(huì)造成效果的巨大差異。研究者們就如何設(shè)計(jì)prompt做出了各種...
2022-10-19 標(biāo)簽:模型數(shù)據(jù)集Clip 1677 0
經(jīng)典 Transformer 使用不可學(xué)習(xí)的余弦編碼,加在模型底層的詞向量輸入上。GPT、BERT將其改為可學(xué)習(xí)的絕對位置編碼,并沿用到了RoBERTa...
前言 為什么我們使用chatgpt問一個(gè)問題,回答時(shí),他是一個(gè)字或者一個(gè)詞一個(gè)詞的蹦出來,感覺是有個(gè)人在輸入,顯得很高級,其實(shí)這這一個(gè)詞一個(gè)詞蹦不是為了...
2024-06-25 標(biāo)簽:神經(jīng)網(wǎng)絡(luò)大模型 1654 0
解析優(yōu)化的調(diào)度邏輯和cuda實(shí)現(xiàn)
0x0. 前言 這篇文章來解析一下Megaton-LM涉及到的一個(gè)優(yōu)化gradient_accumulation_fusion。這里fusion的意思是...
隨著現(xiàn)在AI的快速發(fā)展,使用FPGA和ASIC進(jìn)行推理加速的研究也越來越多,從目前的市場來說,有些公司已經(jīng)有了專門做推理的ASIC,像Groq的LPU,...
大模型是一個(gè)實(shí)驗(yàn)工程,涉及數(shù)據(jù)清洗、底層框架、算法策略等多個(gè)工序,每個(gè)環(huán)節(jié)都有很多坑,因此知道如何避坑和技術(shù)選型非常重要,可以節(jié)省很多算力和時(shí)間。
據(jù)科技部新一代人工智能發(fā)展研究中心發(fā)布的報(bào)告顯示,我國已發(fā)布79個(gè)參數(shù)規(guī)模超過10億的大模型,幾乎形成了百模大戰(zhàn)的局面。在大模型研發(fā)方面,中國14個(gè)省區(qū)...
隨著人工智能技術(shù)的不斷發(fā)展,大模型(Large Models)在各個(gè)領(lǐng)域中發(fā)揮著越來越重要的作用。然而,要實(shí)現(xiàn)這些大模型的高效運(yùn)行,就需要強(qiáng)大的算力支持...
大模型時(shí)代必備存儲之HBM進(jìn)入汽車領(lǐng)域
大模型時(shí)代AI芯片必備HBM內(nèi)存已是業(yè)內(nèi)共識,存儲帶寬也成為AI芯片僅次于算力的第二關(guān)健指標(biāo),甚至某些場合超越算力,是最關(guān)鍵的性能指標(biāo),而汽車行業(yè)也開始...
一文詳解多模態(tài)大模型發(fā)展及高頻因子計(jì)算加速GPU算力 | 英偉達(dá)顯卡被限,華為如何力挽狂瀾?
近年來,全球范圍內(nèi)的芯片禁令不斷升級,給許多企業(yè)和科研機(jī)構(gòu)帶來了很大的困擾,需要在技術(shù)層面進(jìn)行創(chuàng)新和突破。一方面,可以探索使用國產(chǎn)芯片和其他不受限制的芯...
拜登政府加碼對華芯片限制,AI筆記本電腦市場面臨新挑戰(zhàn)
中國商務(wù)部對此表示反對,認(rèn)為美方濫用出口管制措施,破壞市場規(guī)則和國際貿(mào)易秩序。當(dāng)前,各大PC廠商正積極研發(fā)AI功能的筆記本電腦,如微軟的Surface系...
Kaggle知識點(diǎn):使用大模型進(jìn)行特征篩選
數(shù)據(jù)科學(xué)數(shù)據(jù)挖掘的核心是是對海量數(shù)據(jù)進(jìn)行有效的篩選和分析。傳統(tǒng)上數(shù)據(jù)篩選依賴于數(shù)據(jù)驅(qū)動(dòng)的方法,如包裹式、過濾式和嵌入式篩選。隨著大模型的發(fā)展,本文將探討...
2024-12-03 標(biāo)簽:語言模型海量數(shù)據(jù)大模型 1586 0
BERT和 GPT-3 等語言模型針對語言任務(wù)進(jìn)行了預(yù)訓(xùn)練。微調(diào)使它們適應(yīng)特定領(lǐng)域,如營銷、醫(yī)療保健、金融。在本指南中,您將了解 LLM 架構(gòu)、微調(diào)過程...
2024-01-19 標(biāo)簽:神經(jīng)網(wǎng)絡(luò)nlpChatGPT 1576 0
為什么transformer性能這么好?Transformer的上下文學(xué)習(xí)能力是哪來的?
為什么 transformer 性能這么好?它給眾多大語言模型帶來的上下文學(xué)習(xí) (In-Context Learning) 能力是從何而來?在人工智能領(lǐng)...
2023-09-25 標(biāo)簽:人工智能深度學(xué)習(xí)DeepMind 1566 0
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
電機(jī)控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動(dòng)駕駛 | TI | 瑞薩電子 |
BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
無刷電機(jī) | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
直流電機(jī) | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
步進(jìn)電機(jī) | SPWM | 充電樁 | IPM | 機(jī)器視覺 | 無人機(jī) | 三菱電機(jī) | ST |
伺服電機(jī) | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
DuerOS | Brillo | Windows11 | HarmonyOS |