通過(guò)增強(qiáng)一致性訓(xùn)練，有效緩解CoT中的偏見(jiàn)問(wèn)題

這些偏見(jiàn)特征可能導(dǎo)致模型在沒(méi)有明確提及這些偏見(jiàn)的情況下，系統(tǒng)性地歪曲其推理過(guò)程，從而產(chǎn)生不忠實(shí)（unfaithful）的推理。

2024-03-22 標(biāo)簽：大模型 521 0

探索推理時(shí)KV Cache的動(dòng)態(tài)內(nèi)存壓縮方法

DMC通過(guò)一個(gè)決策變量（α）來(lái)有效地對(duì)輸入序列進(jìn)行分段，每個(gè)段落可以獨(dú)立地決定是繼續(xù)追加還是進(jìn)行累積。這允許模型在不同段落之間動(dòng)態(tài)調(diào)整內(nèi)存使用。

2024-03-22 標(biāo)簽：AI動(dòng)態(tài)內(nèi)存DMC 1173 0

深度探討VLMs距離視覺(jué)演繹推理還有多遠(yuǎn)？

通用大型語(yǔ)言模型（LLM）推理基準(zhǔn)：研究者們介紹了多種基于文本的推理任務(wù)和基準(zhǔn)，用于評(píng)估LLMs在不同領(lǐng)域（如常識(shí)、數(shù)學(xué)推理、常識(shí)推理、事實(shí)推理和編程）...

2024-03-19 標(biāo)簽：語(yǔ)言模型大模型 486 0

一種高效的KV緩存壓縮框架--GEAR

GEAR框架通過(guò)結(jié)合三種互補(bǔ)的技術(shù)來(lái)解決這一挑戰(zhàn)：首先對(duì)大多數(shù)相似幅度的條目應(yīng)用超低精度量化；然后使用低秩矩陣來(lái)近似量化誤差。

2024-03-19 標(biāo)簽：GEAR大模型 508 0

揭秘大語(yǔ)言模型可信能力的五個(gè)關(guān)鍵維度

不同于上述工作從待干預(yù)模型自身抽取引導(dǎo)向量，我們意在從LLMs預(yù)訓(xùn)練過(guò)程的切片中構(gòu)建引導(dǎo)向量來(lái)干預(yù)指令微調(diào)模型（SFT Model），試圖提升指令微調(diào)模...

2024-03-15 標(biāo)簽：線性分類器大模型 812 0

張宏江深度解析：大模型技術(shù)發(fā)展的八大觀察點(diǎn)

在大模型的發(fā)展史上，Scaling Law（規(guī)模律）發(fā)揮了核心作用，它是推動(dòng)模型性能持續(xù)提升的主要?jiǎng)恿Αcaling Law揭示了這樣一個(gè)現(xiàn)象：較小的...

2024-03-14 標(biāo)簽：操作系統(tǒng)Agi自然語(yǔ)言處理 379 0

大模型微調(diào)開(kāi)源項(xiàng)目全流程

對(duì)于所有“基座”（Base）模型，–template 參數(shù)可以是 default, alpaca, vicuna 等任意值。但“對(duì)話”（Chat）模型請(qǐng)...

2024-03-13 標(biāo)簽：機(jī)器學(xué)習(xí)大模型 1272 0

OpenVINO?協(xié)同Semantic Kernel：優(yōu)化大模型應(yīng)用性能新路徑

作為主要面向 RAG 任務(wù)方向的框架，Semantic Kernel 可以簡(jiǎn)化大模型應(yīng)用開(kāi)發(fā)過(guò)程，而在 RAG 任務(wù)中最常用的深度學(xué)習(xí)模型就是 Embe...

2024-03-08 標(biāo)簽：JAVAOpenAI大模型 1099 0

大語(yǔ)言模型（LLMs）如何處理多語(yǔ)言輸入問(wèn)題

研究者們提出了一個(gè)框架來(lái)描述LLMs在處理多語(yǔ)言輸入時(shí)的內(nèi)部處理過(guò)程，并探討了模型中是否存在特定于語(yǔ)言的神經(jīng)元。

2024-03-07 標(biāo)簽：神經(jīng)元自然語(yǔ)言大模型 924 0

LLM中的大規(guī)模激活

篇論文主要研究了大型語(yǔ)言模型（LLMs）中的一個(gè)現(xiàn)象，即在模型的隱藏狀態(tài)中存在極少數(shù)激活值（activations）遠(yuǎn)大于其他激活值的情況，這些被稱為“...

2024-03-01 標(biāo)簽：大模型 753 0

端到端自動(dòng)駕駛的基石在哪里？

深度學(xué)習(xí)（DL）與自動(dòng)駕駛（AD）的融合標(biāo)志著該領(lǐng)域的重大飛躍，吸引了學(xué)術(shù)界和工業(yè)界的關(guān)注。配備了攝像頭和激光雷達(dá)的AD系統(tǒng)模擬了類似人類的決策過(guò)程。

2024-02-26 標(biāo)簽：攝像頭激光雷達(dá)自動(dòng)駕駛 555 0

谷歌大型模型終于開(kāi)放源代碼，遲到但重要的開(kāi)源戰(zhàn)略

在人工智能領(lǐng)域，谷歌可以算是開(kāi)源的鼻祖。今天幾乎所有的大語(yǔ)言模型，都基于谷歌在 2017 年發(fā)布的 Transformer 論文；谷歌的發(fā)布的 BERT...

2024-02-22 標(biāo)簽：谷歌GPTOpenAI 655 0

利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（下）

對(duì)于語(yǔ)言模型（LLM）幻覺(jué)，知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫(kù)。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺(jué)的可能性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫(kù)語(yǔ)言模型知識(shí)圖譜 1526 0

利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（上）

向量數(shù)據(jù)庫(kù)是一組高維向量的集合，用于表示實(shí)體或概念，例如單詞、短語(yǔ)或文檔。向量數(shù)據(jù)庫(kù)可以根據(jù)實(shí)體或概念的向量表示來(lái)度量它們之間的相似性或關(guān)聯(lián)性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫(kù)大模型 1498 0

快速全面了解大模型長(zhǎng)文本能力

那關(guān)于LLM的長(zhǎng)文本能力，目前業(yè)界通常都是怎么做的？有哪些技術(shù)點(diǎn)或者方向？今天我們就來(lái)總結(jié)一波，供大家快速全面了解。

2024-02-22 標(biāo)簽：GPT位置編碼器大模型 1111 0

應(yīng)用大模型提升研發(fā)效率的實(shí)踐與探索

對(duì)于模型訓(xùn)練，我們可以采用 3D 并行訓(xùn)練的方式來(lái)實(shí)現(xiàn)。將模型參數(shù)和梯度張量劃分為多個(gè)分區(qū)，分配到不同 GPU 卡上進(jìn)行計(jì)算。每張卡負(fù)責(zé)自己分區(qū)的梯度和...

2024-02-22 標(biāo)簽：gpu大模型 837 0

什么是混合專家模型？混合專家模型 (MoEs)優(yōu)劣勢(shì)分析

門控網(wǎng)絡(luò)或路由: 這個(gè)部分用于決定哪些令牌 (token) 被發(fā)送到哪個(gè)專家。例如，在下圖中，“More”這個(gè)令牌可能被發(fā)送到第二個(gè)專家，而“Param...

2024-02-22 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AITransformer 5193 0

關(guān)于人工智能的幾個(gè)相關(guān)概念

大模型:即基礎(chǔ)模型，在海量數(shù)據(jù)和計(jì)算資源的基礎(chǔ)上通過(guò)預(yù)先訓(xùn)練出來(lái)的，具有大參數(shù)規(guī)模的深度學(xué)習(xí)模型 >狹義多指大語(yǔ)言模型，廣義還包括CV、多模態(tài)等...

2024-02-22 標(biāo)簽：AI人工智能大數(shù)據(jù) 469 0

大模型系列：Flash Attention V2整體運(yùn)作流程

基于1.1中的思想，我們?cè)赩2中將原本的內(nèi)外循環(huán)置換了位置（示意圖就不畫了，基本可以對(duì)比V1示意圖想象出來(lái)）。我們直接來(lái)看V2的偽代碼（如果對(duì)以下偽代碼...

2024-02-21 標(biāo)簽：gpu并行計(jì)算大模型 2661 0