InfiniBand和RoCEv2網(wǎng)絡(luò)簡介及解決方案

超高帶寬、超低延遲、超高可靠，這是大模型訓(xùn)練對于網(wǎng)絡(luò)的要求。

2023-09-22 標(biāo)簽：數(shù)據(jù)中心AITCP 1.1萬 0

聽圖森CTO王乃巖淺談從L2到L4商用車自動(dòng)駕駛中的規(guī)?；?、可靠性與成本

算法冗余：針對單點(diǎn)算法失效的問題，圖森未來將整車運(yùn)行的算法分成兩大類，即Data driven算法和Principle based算法；Data dri...

2023-09-21 標(biāo)簽：自動(dòng)駕駛大模型圖森未來 645 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項(xiàng)任務(wù)，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內(nèi)容都能用到。

2023-09-21 標(biāo)簽：源代碼GPT大模型 795 0

人工智能中常見的數(shù)據(jù)標(biāo)注方法

數(shù)據(jù)標(biāo)注（Data Annotations）是指對收集到的、未處理的原始數(shù)據(jù)或初級數(shù)據(jù)，包括語音、圖片、文本、視頻等類型的數(shù)據(jù)進(jìn)行加工處理，并轉(zhuǎn)換為機(jī)器...

2023-09-21 標(biāo)簽：人機(jī)交互人工智能大模型 3021 0

【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1222 0

一文詳解6G內(nèi)生AI架構(gòu)及關(guān)鍵技術(shù)

6G作為下一代移動(dòng)通信技術(shù)，正在成為全球范圍內(nèi)通信行業(yè)的重要研究熱點(diǎn)。6G內(nèi)生AI架構(gòu)，將人工智能與無線網(wǎng)絡(luò)緊密結(jié)合，有望為未來的通信帶來革命性的改變。

2023-09-18 標(biāo)簽：無線網(wǎng)絡(luò)AI人工智能 1425 0

大模型訓(xùn)練為什么不能用4090顯卡，GPU訓(xùn)練性能和成本對比

為什么？一般有 tensor parallelism、pipeline parallelism、data parallelism 幾種并行方式，分別在模...

2023-09-15 標(biāo)簽：fpgagpu內(nèi)存 3.1萬 0

基于星火大模型的智能編程助手iFlyCode簡介

一款基于星火大模型的智能編程助手，旨在為開發(fā)者提供高效、準(zhǔn)確和智能的編程支持。

2023-09-15 標(biāo)簽：編程C++編輯器 3872 0

大模型未來的產(chǎn)業(yè)發(fā)展趨勢和挑戰(zhàn)是什么

一般而言，大模型(Large Language Models)指的是包含超大規(guī)模參數(shù)的神經(jīng)網(wǎng)絡(luò)模型。大模型通常能夠?qū)W習(xí)到更細(xì)微的模式和規(guī)律，具有更強(qiáng)的泛...

2023-09-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)語音識(shí)別人工智能 1049 0

開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來自中國的研究團(tuán)隊(duì)正是針對這些問題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開源語言模型大模型 1793 0

LLaMA微調(diào)顯存需求減半，清華提出4比特優(yōu)化器

從 GPT-3，Gopher 到 LLaMA，大模型有更好的性能已成為業(yè)界的共識(shí)。但相比之下，單個(gè) GPU 的顯存大小卻增長緩慢，這讓顯存成為了大模型訓(xùn)...

2023-09-11 標(biāo)簽：圖像分類機(jī)器翻譯大模型 686 0

揭秘英偉達(dá)A100、A800、H100、H800 GPU如何實(shí)現(xiàn)高性能大模型的百倍訓(xùn)練加速

摘要：本文主要介紹大模型的內(nèi)部運(yùn)行原理、我國算力發(fā)展現(xiàn)狀。大模型指具有巨大參數(shù)量的深度學(xué)習(xí)模型，如GPT-4。其通過在大規(guī)模數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠產(chǎn)生更...

2023-09-09 標(biāo)簽：NVIDIAgpu英偉達(dá) 2275 0

大模型外掛知識(shí)庫優(yōu)化-大模型輔助向量召回

用LLM根據(jù)用戶query生成k個(gè)“假答案”。（大模型生成答案采用sample模式，保證生成的k個(gè)答案不一樣，不懂LLM生成答案原理的同學(xué)可以看我這篇文...

2023-09-08 標(biāo)簽：向量數(shù)據(jù)集大模型 2454 0

大模型心高氣傲，沒有AI Agents生死難料

AI Agents會(huì)消除人與AI系統(tǒng)的大量繁瑣交互已經(jīng)板上釘釘，正在發(fā)生

2023-09-06 標(biāo)簽：AI大模型 844 0

大模型的位置編碼和外推性問題一樣嗎

這種編碼方式又叫做 Sinusoidal編碼 。直覺上看，第個(gè)位置的表征向量維度是 ，這個(gè)向量的奇數(shù)位置元素使用余弦值，偶數(shù)位置元素使用正弦值。

2023-09-06 標(biāo)簽：人工智能GPT位置編碼器 949 0

十分鐘讀懂旋轉(zhuǎn)編碼（RoPE）

對于位置編碼，常規(guī)的做法是在計(jì)算 query，key 和 value 向量之前，會(huì)計(jì)算一個(gè)位置編碼向量 加到詞嵌入 上，位置編碼向量 同樣也是 維向量，...

2023-09-05 標(biāo)簽：向量旋轉(zhuǎn)編碼大模型 1.5萬 0

基于Tansformer架構(gòu)的ChatGPT原理解析

ChatGPT模型發(fā)布后，因其流暢的對話表達(dá)、極強(qiáng)的上下文存儲(chǔ)、豐富的知識(shí)創(chuàng)作及其全面解決問題的能力而風(fēng)靡全球，刷新了大眾對人工智能的認(rèn)知。提示學(xué)習(xí)（P...

2023-09-04 標(biāo)簽：ChatGPT文心一言AIGC 668 0