探索ChatGPT模型的人工智能語言模型

最大的區(qū)別ChatGPT是通過對(duì)話數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，而不僅僅是通過單一的句子進(jìn)行預(yù)訓(xùn)練，這使得ChatGPT能夠更好地理解對(duì)話的上下文，并進(jìn)行連貫的回復(fù)。

2024-04-24 標(biāo)簽：編碼器人工智能語言模型 882 0

深度探討VLMs距離視覺演繹推理還有多遠(yuǎn)？

通用大型語言模型（LLM）推理基準(zhǔn)：研究者們介紹了多種基于文本的推理任務(wù)和基準(zhǔn)，用于評(píng)估LLMs在不同領(lǐng)域（如常識(shí)、數(shù)學(xué)推理、常識(shí)推理、事實(shí)推理和編程）...

2024-03-19 標(biāo)簽：語言模型大模型 486 0

利用知識(shí)圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動(dòng)的RAG系統(tǒng)（下）

對(duì)于語言模型（LLM）幻覺，知識(shí)圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識(shí)圖譜提供更準(zhǔn)確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。

2024-02-22 標(biāo)簽：數(shù)據(jù)庫語言模型知識(shí)圖譜 1526 0

大語言模型事實(shí)性幻象的實(shí)驗(yàn)性分析

盡管大語言模型能力不斷提升，但一個(gè)持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評(píng)測(cè)基準(zhǔn)HaluEval 2.0，并基于該評(píng)測(cè)框架從預(yù)訓(xùn)練/有監(jiān)...

2024-01-19 標(biāo)簽：開源語言模型自然語言處理 688 0

專補(bǔ)大模型短板的RAG有哪些新進(jìn)展？這篇綜述講明白了

然而，盡管它們的能力令人印象深刻，但它們并非無懈可擊。這些模型可能會(huì)產(chǎn)生誤導(dǎo)性的 “幻覺”，依賴的信息可能過時(shí)，處理特定知識(shí)時(shí)效率不高，缺乏專業(yè)領(lǐng)域的深...

2024-01-17 標(biāo)簽：人工智能語言模型大模型 1315 0

三步完成在英特爾獨(dú)立顯卡上量化和部署ChatGLM3-6B模型

ChatGLM3 是智譜 AI 和清華大學(xué) KEG 實(shí)驗(yàn)室聯(lián)合發(fā)布的新一代對(duì)話預(yù)訓(xùn)練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型...

2024-01-11 標(biāo)簽：英特爾語言模型LLM 2040 0

如何利用位置編碼實(shí)現(xiàn)長(zhǎng)度外推？

無論是縮放位置索引還是修改基地，所有token都變得彼此更接近，這將損害LLM區(qū)分相近token的位置順序的能力。結(jié)合他們對(duì)RoPE的波長(zhǎng)的觀察，存在一...

2024-01-08 標(biāo)簽：語言模型Transformer位置編碼器 637 0

基于LLM的表格數(shù)據(jù)的大模型推理綜述

面向表格數(shù)據(jù)的推理任務(wù)，在計(jì)算機(jī)領(lǐng)域，特別是自然語言處理（Natural Language Processing，NLP）領(lǐng)域的研究中扮演著重要角色[1...

2024-01-08 標(biāo)簽：SQL語言模型大模型 2009 0

模型與人類的注意力視角下參數(shù)規(guī)模擴(kuò)大與指令微調(diào)對(duì)模型語言理解的作用

近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強(qiáng)大能力，遠(yuǎn)遠(yuǎn)優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。

2024-01-04 標(biāo)簽：PLM語言模型LLM 684 0

大語言模型推斷中的批處理效應(yīng)

隨著開源預(yù)訓(xùn)練大型語言模型（Large Language Model, LLM ）變得更加強(qiáng)大和開放，越來越多的開發(fā)者將大語言模型納入到他們的項(xiàng)目中。其...

2024-01-04 標(biāo)簽：語言模型機(jī)器學(xué)習(xí)LoRa 906 0

語言模型的弱監(jiān)督視頻異常檢測(cè)方法

LGT Adapter由局部關(guān)系Transformer和全局關(guān)系圖卷積串聯(lián)組成?？紤]到常規(guī)的Transformer在長(zhǎng)時(shí)視頻時(shí)序關(guān)系建模時(shí)冗余信息較多、...

2024-01-02 標(biāo)簽：適配器語言模型Clip 1204 0

一文速覽大語言模型提示最新進(jìn)展

盡管基本的CoT提示策略在復(fù)雜推理任務(wù)中展示出了強(qiáng)大的能力，但它仍然面臨著一些問題，比如推理過程存在錯(cuò)誤和不穩(wěn)定等。因此，一系列的研究通過增強(qiáng)的提示方法...

2023-12-27 標(biāo)簽：生成器語言模型自然語言處理 892 0

谷歌Gemini模型AI網(wǎng)絡(luò)及TPU拆解

Gemini 是一款新型的多模態(tài)大語言模型，此前多模態(tài)大模型在處理視頻、文字、圖像等多維度輸入信息時(shí)是采用分別訓(xùn)練分別輸出再進(jìn)行拼接的方式，這種方式的缺...

2023-12-14 標(biāo)簽：谷歌GeminiAI 1547 0

大規(guī)模語言模型的基本概念、發(fā)展歷程和構(gòu)建流程

大規(guī)模語言模型（Large Language Models，LLM），也稱大規(guī)模語言模型或大型語言模型，是一種由包含數(shù)百億以上參數(shù)的深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的語...

2023-12-07 標(biāo)簽：人工智能語言模型華為云 5204 0

計(jì)算機(jī)視覺迎來GPT時(shí)刻！UC伯克利三巨頭祭出首個(gè)純CV大模型！

在損失函數(shù)上，研究者從自然語言社區(qū)汲取靈感，即掩碼 token 建模已經(jīng)「讓位給了」序列自回歸預(yù)測(cè)方法。一旦圖像、視頻、標(biāo)注圖像都可以表示為序列，則訓(xùn)練...

2023-12-05 標(biāo)簽：圖像計(jì)算機(jī)視覺語言模型 929 0

無監(jiān)督域自適應(yīng)場(chǎng)景：基于檢索增強(qiáng)的情境學(xué)習(xí)實(shí)現(xiàn)知識(shí)遷移

本文對(duì)比了多種基線方法，包括無監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對(duì)抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)...

2023-12-05 標(biāo)簽：解碼器編碼器語言模型 803 0