開源大模型FLM-101B：訓(xùn)練成本最低的超100B參數(shù)大模型

近期，一支來自中國的研究團(tuán)隊(duì)正是針對這些問題提出了解決方案，他們推出了FLM-101B模型及其配套的訓(xùn)練策略。FLM-101B不僅大幅降低了訓(xùn)練成本，而...

2023-09-12 標(biāo)簽：開源語言模型大模型 1793 0

基于Transformer的大型語言模型（LLM）的內(nèi)部機(jī)制

本文旨在更好地理解基于 Transformer 的大型語言模型（LLM）的內(nèi)部機(jī)制，以提高它們的可靠性和可解釋性。 隨著大型語言模型（LLM）在使用和部...

2023-06-25 標(biāo)簽：存儲語言模型Transformer 1768 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調(diào)整的大型語言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們在文本以外的其他數(shù)據(jù)模式上的有效性尚未得到充分研究。在這項(xiàng)工作中，...

2023-06-19 標(biāo)簽：模塊語言建模語言模型 1761 0

大型語言模型在關(guān)鍵任務(wù)和實(shí)際應(yīng)用中的挑戰(zhàn)

大型語言模型的出現(xiàn)極大地推動了自然語言處理領(lǐng)域的進(jìn)步，但同時也存在一些局限性，比如模型可能會產(chǎn)生看似合理但實(shí)際上是錯誤或虛假的內(nèi)容，這一現(xiàn)象被稱為幻覺（...

2023-08-15 標(biāo)簽：解碼器數(shù)據(jù)語言模型 1718 0

Kaggle知識點(diǎn)：使用大模型進(jìn)行特征篩選

數(shù)據(jù)科學(xué)數(shù)據(jù)挖掘的核心是是對海量數(shù)據(jù)進(jìn)行有效的篩選和分析。傳統(tǒng)上數(shù)據(jù)篩選依賴于數(shù)據(jù)驅(qū)動的方法，如包裹式、過濾式和嵌入式篩選。隨著大模型的發(fā)展，本文將探討...

2024-12-03 標(biāo)簽：語言模型海量數(shù)據(jù)大模型 1586 0

谷歌Gemini模型AI網(wǎng)絡(luò)及TPU拆解

Gemini 是一款新型的多模態(tài)大語言模型，此前多模態(tài)大模型在處理視頻、文字、圖像等多維度輸入信息時是采用分別訓(xùn)練分別輸出再進(jìn)行拼接的方式，這種方式的缺...

2023-12-14 標(biāo)簽：谷歌GeminiAI 1547 0

LlamaIndex：面向QA系統(tǒng)的全新文檔摘要索引

添加關(guān)鍵字過濾器是增強(qiáng)檢索結(jié)果的一種方法。但這也帶來了一系列挑戰(zhàn)。我們需要手動或通過 NLP 關(guān)鍵字提取/主題標(biāo)記模型為每個文檔充分確定合適的關(guān)鍵字。此...

2023-05-12 標(biāo)簽：代碼語言模型nlp 1527 0

利用知識圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動的RAG系統(tǒng)（下）

對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫語言模型知識圖譜 1526 0

探索SFT訓(xùn)練策略對性能的影響

大模型混合多種能力項(xiàng)數(shù)據(jù)進(jìn)行微調(diào)時，會呈現(xiàn)高資源沖突，低資源增益的現(xiàn)象。我們提出的DMT策略通過在第一階段微調(diào)特定能力數(shù)據(jù)，在第二階段微調(diào)通用數(shù)據(jù)+少量...

2023-10-26 標(biāo)簽：數(shù)據(jù)語言模型SFT 1482 0

高性能計(jì)算與多模態(tài)處理的探索之旅：英偉達(dá)GH200性能優(yōu)化與GPT-4V的算力加速未來

隨著人工智能技術(shù)的不斷發(fā)展，多模態(tài)大模型成為越來越重要的發(fā)展趨勢。GPT-4V（GPT-4 近日開放的視覺模態(tài)）大型多模型（LMMs）擴(kuò)展大型語言模型（...

2023-10-19 標(biāo)簽：人工智能語言模型英偉達(dá) 1472 0

谷歌新作SPAE：GPT等大語言模型可以通過上下文學(xué)習(xí)解決視覺任務(wù)

這篇論文揭示了 PaLM 或 GPT 在通過上下文學(xué)習(xí)解決視覺任務(wù)方面的能力，并提出了新方法 SPAE（Semantic Pyramid AutoEnc...

2023-07-09 標(biāo)簽：語言模型GPTnlp 1460 0

大型語言模型的邏輯推理能力探究

最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準(zhǔn)，包含1...

2023-11-23 標(biāo)簽：語言模型自然語言ChatGPT 1335 0