什么是RAG，RAG學(xué)習(xí)和實(shí)踐經(jīng)驗(yàn)

高級(jí)的RAG能很大程度優(yōu)化原始RAG的問題，在索引、檢索和生成上都有更多精細(xì)的優(yōu)化，主要的優(yōu)化點(diǎn)會(huì)集中在索引、向量模型優(yōu)化、檢索后處理等模塊進(jìn)行優(yōu)化

2024-04-24 標(biāo)簽：大模型 1543 0

工業(yè)大模型的五個(gè)基本問題

工業(yè)業(yè)大模型是大模型為賦能工業(yè)應(yīng)用所產(chǎn)生的產(chǎn)業(yè)新形態(tài)，是制造業(yè)數(shù)字化轉(zhuǎn)型3.0的重要載體，是一個(gè)新質(zhì)體。

2024-04-23 標(biāo)簽：工業(yè)軟件工業(yè)互聯(lián)網(wǎng)大模型 911 0

全面解讀英偉達(dá)NVLink技術(shù)

NVLink是一種解決服務(wù)器內(nèi)GPU之間通信限制的協(xié)議。與傳統(tǒng)的PCIe交換機(jī)不同，NVLink帶寬有限，可以在服務(wù)器內(nèi)的GPU之間實(shí)現(xiàn)高速直接互連。第...

2024-04-22 標(biāo)簽：gpu服務(wù)器交換機(jī) 1885 0

廣汽集團(tuán)無圖純視覺智能駕駛技術(shù)解讀

一是極其精準(zhǔn)的理解復(fù)雜交通道路的能力。通過廣汽自研基于Transformer、占用網(wǎng)絡(luò)等先進(jìn)的人工智能算法，可以實(shí)現(xiàn)交通道路識(shí)別，為高階智駕方案提供立體...

2024-04-19 標(biāo)簽：算法人工智能智能駕駛 505 0

RAG系統(tǒng)中答案無關(guān)片段對(duì)LLMs生成結(jié)果的影響分析

與常見語義無關(guān)的答案無關(guān)片段相比，LLMs更容易受到高度語義相關(guān)的答案無關(guān)片段的影響；

2024-04-15 標(biāo)簽：Drag大模型LLMs 553 0

AI服務(wù)器異構(gòu)計(jì)算深度解讀

AI服務(wù)器按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國內(nèi)的主要選擇（占比91.9%）。

2024-04-12 標(biāo)簽：gpu服務(wù)器異構(gòu)計(jì)算 852 0

什么是內(nèi)存語義？CXL是如何劃分語義的

從IB提供的具體操作來看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實(shí)際上都是針對(duì)內(nèi)存的操作，所不同的是，Se...

2024-04-08 標(biāo)簽：內(nèi)存人工智能傳輸層 8168 0

大模型訓(xùn)練如何應(yīng)對(duì)GPU萬卡互聯(lián)難題

為了增強(qiáng)對(duì)訓(xùn)練穩(wěn)定性和性能的監(jiān)控，開發(fā)了一個(gè)精度達(dá)到毫秒級(jí)的監(jiān)控系統(tǒng)。采用不同級(jí)別的監(jiān)控來跟蹤各種指標(biāo)。

2024-04-07 標(biāo)簽：gpu數(shù)據(jù)中心人工智能 868 0

淺談大模型在汽車上的作用

智能汽車不僅僅是一種交通工具，更是一個(gè)全新的生活空間。夏一平強(qiáng)調(diào)，真正的智能汽車應(yīng)該具備三個(gè)核心能力：自然交流、自由移動(dòng)和自我成長(zhǎng)。

2024-04-03 標(biāo)簽：AI智能汽車大模型 1331 0

基于雙級(jí)優(yōu)化（BLO）的消除過擬合的微調(diào)方法

這篇論文試圖解決的問題是大型預(yù)訓(xùn)練模型在下游任務(wù)中進(jìn)行微調(diào)時(shí)出現(xiàn)的過擬合問題。盡管低秩適應(yīng)（LoRA）及其變體通過學(xué)習(xí)低秩增量矩陣有效地減少了與完全微調(diào)...

2024-04-02 標(biāo)簽：數(shù)據(jù)集LoRa自然語言 933 0

字節(jié)跳動(dòng)攻克GPU萬卡互聯(lián)技術(shù)突破與解決方案

在分布式訓(xùn)練中大規(guī)模使用默認(rèn)的DCQCN協(xié)議時(shí)，all-to-all通信可能會(huì)導(dǎo)致?lián)砣蚉FC級(jí)別的提高。過度使用PFC可能會(huì)導(dǎo)致頭部阻塞（HoL），從...

2024-04-01 標(biāo)簽：gpu人工智能網(wǎng)絡(luò)拓?fù)?/a> 1240 0

一文掌握AI大模型算力的核心要素

GPU和顯卡的關(guān)系，就像是CPU和主板的關(guān)系。前者是顯卡的心臟，后者是主板的心臟。有些小伙伴會(huì)把GPU和顯卡當(dāng)成一個(gè)東西，其實(shí)還有些差別的，顯卡不僅包括...

2024-03-29 標(biāo)簽：cpugpuAI 1529 0

FP8在NVIDIA GPU架構(gòu)和軟件系統(tǒng)中的應(yīng)用

在深度學(xué)習(xí)和人工智能的快速發(fā)展背景下，尤其是大語言模型（Large Language Model，LLM）的蓬勃發(fā)展，模型的大小和計(jì)算復(fù)雜性不斷增加，對(duì)...

2024-03-28 標(biāo)簽：NVIDIA人工智能深度學(xué)習(xí) 1753 0

自然語言常用的自回歸解碼方法

在選擇k值時(shí)，較大的值會(huì)使生成的內(nèi)容更具多樣性，但可能會(huì)生成不合理的內(nèi)容；較小的值則使生成的內(nèi)容多樣性較低，但質(zhì)量更有保證。我們可以根據(jù)任務(wù)的不同選擇合...

2024-03-28 標(biāo)簽：自然語言大模型 1113 0

盤點(diǎn)一下史上最全大語言模型訓(xùn)練中的網(wǎng)絡(luò)技術(shù)

人工智能的基礎(chǔ)設(shè)施在大語言模型訓(xùn)練和推理過程中發(fā)揮了關(guān)鍵的作用。隨著大語言模型規(guī)模不斷增大，其對(duì)計(jì)算和通信的需求也在不斷增加。高

2024-03-27 標(biāo)簽：處理器人工智能網(wǎng)絡(luò)拓?fù)?/a> 2314 0