如何從第一性原理看大模型Agent技術(shù)原理

人的視覺(jué)識(shí)別過(guò)程是一個(gè)層次性的關(guān)系，從最初級(jí)的視覺(jué)皮層一直到更高級(jí)的皮層，從簡(jiǎn)單的視覺(jué)邊緣特征到線條的方向性，再到線條之間的組合，如角等更高維特征的形成...

2023-11-14 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò)運(yùn)動(dòng)控制 2843 0

NeurlPS'23開源 | 首個(gè)！開放詞匯3D實(shí)例分割！

我們介紹了開放詞匯3D實(shí)例分割的任務(wù)。當(dāng)前的3D實(shí)例分割方法通常只能從訓(xùn)練數(shù)據(jù)集中標(biāo)注的預(yù)定義的封閉類集中識(shí)別對(duì)象類別。這給現(xiàn)實(shí)世界的應(yīng)用程序帶來(lái)了很大...

2023-11-14 標(biāo)簽：3DAI大模型 1003 0

北大&華為提出：多模態(tài)基礎(chǔ)大模型的高效微調(diào)

深度學(xué)習(xí)的大模型時(shí)代已經(jīng)來(lái)臨,越來(lái)越多的大規(guī)模預(yù)訓(xùn)練模型在文本、視覺(jué)和多模態(tài)領(lǐng)域展示出杰出的生成和推理能力。然而大模型巨大的參數(shù)量有兩個(gè)明顯缺點(diǎn)

2023-11-08 標(biāo)簽：框架深度學(xué)習(xí)大模型 1628 0

基于LLaMA的多語(yǔ)言數(shù)學(xué)推理大模型

MathOctopus在多語(yǔ)言數(shù)學(xué)推理任務(wù)中，表現(xiàn)出了強(qiáng)大的性能。MathOctopus-7B 可以將LLmMA2-7B在MGSM不同語(yǔ)言上的平均表現(xiàn)從...

2023-11-08 標(biāo)簽：多語(yǔ)言ChatGPT大模型 717 0

大模型在代碼缺陷檢測(cè)領(lǐng)域的應(yīng)用實(shí)踐

靜態(tài)代碼掃描(SA)能快速識(shí)別代碼缺陷，如空指針訪問(wèn)、數(shù)組越界等，以較高ROI保障質(zhì)量及提升交付效率。當(dāng)前掃描能力主要依賴人工經(jīng)驗(yàn)生成規(guī)則，泛化能力弱且...

2023-11-08 標(biāo)簽：計(jì)算機(jī)代碼缺陷檢測(cè) 955 0

云邊AI的必然趨勢(shì)和硬件承載

云邊AI是指把AI大模型和算法在云端訓(xùn)練和優(yōu)化后，部署到邊緣設(shè)備上運(yùn)行，從而將AI能力融入終端設(shè)備。在前期的AI發(fā)展中，云端計(jì)算平臺(tái)憑借其強(qiáng)大的計(jì)算能力...

2023-11-07 標(biāo)簽：物聯(lián)網(wǎng)AI邊緣計(jì)算 1036 0

預(yù)訓(xùn)練擴(kuò)散大模型取得點(diǎn)云-圖像配準(zhǔn)SoTA！

現(xiàn)有方法往往是：用一個(gè)2D特征提取網(wǎng)絡(luò)提取圖像特征；用一個(gè)3D特征提取網(wǎng)絡(luò)提取點(diǎn)云特征；然后根據(jù)pixel-to-point對(duì)應(yīng)關(guān)系真值通過(guò)Metric...

2023-10-29 標(biāo)簽：圖像點(diǎn)云大模型 1400 0

探索SFT訓(xùn)練策略對(duì)性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時(shí)，會(huì)呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過(guò)在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語(yǔ)言模型SFT 1696 0

一文詳解多模態(tài)大模型發(fā)展及高頻因子計(jì)算加速GPU算力 | 英偉達(dá)顯卡被限，華為如何力挽狂瀾？

近年來(lái)，全球范圍內(nèi)的芯片禁令不斷升級(jí)，給許多企業(yè)和科研機(jī)構(gòu)帶來(lái)了很大的困擾，需要在技術(shù)層面進(jìn)行創(chuàng)新和突破。一方面，可以探索使用國(guó)產(chǎn)芯片和其他不受限制的芯...

2023-10-26 標(biāo)簽：gpuAI算力 1700 0

在RTX 4090被限制的時(shí)代下，讓大模型使用RLHF更高效的方法來(lái)了

今年，以 ChatGPT 為首的大語(yǔ)言模型（Large Language Models, LLMs) 在各個(gè)方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對(duì) G...

2023-10-22 標(biāo)簽：語(yǔ)言模型ChatGPT大模型 740 0

LLaMA2上下文長(zhǎng)度暴漲至100萬(wàn)tokens，只需調(diào)整1個(gè)超參數(shù)

目前的Transformer位置編碼方法，有絕對(duì)位置編碼（將位置信息融入到輸入）、相對(duì)位置編碼（將位置信息寫入attention分?jǐn)?shù)計(jì)算）和旋轉(zhuǎn)位置編碼...

2023-10-22 標(biāo)簽：參數(shù)人工智能大模型 803 0

谷歌重磅新作PaLI-3：視覺(jué)語(yǔ)言新模型！更小、更快、更強(qiáng)

效果怎么樣呢？PaLI-3 在需要視覺(jué)定位文本理解和目標(biāo)定位的任務(wù)上實(shí)現(xiàn)了新的 SOTA，包括 RefCOCO 數(shù)據(jù)集上的 8 個(gè)視覺(jué)定位文本理解任務(wù)和...

2023-10-20 標(biāo)簽：編碼器語(yǔ)言模型大模型 2726 0

智能駕駛感知算法梳理 高階自動(dòng)駕駛落地關(guān)鍵分析

　　感知算法升級(jí)是L2級(jí)向L 3級(jí)智能駕駛系統(tǒng)跨越的關(guān)鍵。與傳統(tǒng)2D+CNN算法相比，BEV+ Transformer算法優(yōu)勢(shì)體現(xiàn)在： 1）感知輸出信息...

2023-10-19 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)智能駕駛感知算法 572 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應(yīng)用，以支持...

2023-10-18 標(biāo)簽：人工智能C++openEuler 3229 0

主流大模型推理框架盤點(diǎn)解析

vLLM是一個(gè)開源的大模型推理加速框架，通過(guò)PagedAttention高效地管理attention中緩存的張量，實(shí)現(xiàn)了比HuggingFace Tra...

2023-10-10 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)gpu服務(wù)器 6679 0

深度學(xué)習(xí)模型部署與優(yōu)化：策略與實(shí)踐；L40S與A100、H100的對(duì)比分析

隨著生成式AI應(yīng)用的迅猛發(fā)展，我們正處在前所未有的大爆發(fā)時(shí)代。在這個(gè)時(shí)代，深度學(xué)習(xí)模型的部署成為一個(gè)亟待解決的問(wèn)題。盡管GPU在訓(xùn)練和推理中扮演著關(guān)鍵角...

2023-10-07 標(biāo)簽：gpuAI深度學(xué)習(xí) 1909 0

大模型正在被加速，AI不是只有大模型

目前最新的第四代至強(qiáng) 可擴(kuò)展處理器的單顆CPU核數(shù)已經(jīng)增長(zhǎng)到最高60核。而在數(shù)據(jù)訪問(wèn)速度上，各級(jí)緩存大小、內(nèi)存通道數(shù)、內(nèi)存訪問(wèn)速度等都有一定程度的優(yōu)化，...

2023-09-28 標(biāo)簽：處理器英特爾AI 918 0

未來(lái)人機(jī)交互趨勢(shì)：多模態(tài)大模型

在實(shí)踐中，主做視覺(jué)算法的公司和主做語(yǔ)音算法的公司在做方案的時(shí)候各自有側(cè)重點(diǎn)，不一定能完全根據(jù)主機(jī)廠的意愿來(lái)優(yōu)化。假如提供視覺(jué)算法的供應(yīng)商把結(jié)果優(yōu)化地很好...

2023-09-28 標(biāo)簽：傳感器人機(jī)交互手勢(shì)識(shí)別 2125 0