專補大模型短板的RAG有哪些新進展？這篇綜述講明白了

然而，盡管它們的能力令人印象深刻，但它們并非無懈可擊。這些模型可能會產(chǎn)生誤導性的 “幻覺”，依賴的信息可能過時，處理特定知識時效率不高，缺乏專業(yè)領域的深...

2024-01-17 標簽：人工智能語言模型大模型 1451 0

大型語言模型的邏輯推理能力探究

最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準，包含1...

2023-11-23 標簽：語言模型自然語言ChatGPT 1447 0

Meta AI重磅推出LIMA！媲美GPT-4、無需RLHF就能對齊！

天下人苦“對齊”久矣！要讓預訓練語言模型的響應和特定任務和用戶偏好對齊，動輒需要百萬示例數(shù)據(jù)集上的instruction tuning、以及最近從人類反...

2023-05-24 標簽：語言模型CMUChatGPT 1442 0

以Gpipe作為流水線并行的范例進行介紹

回顧ChatGPT的發(fā)展歷程，我們可以總結出大語言模型（LLM）取得驚艷效果的要點（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實...

2023-05-25 標簽：3D開源語言模型 1429 0

ChatGPT是怎么實現(xiàn)的

ChatGPT 能夠自動生成類似于人類寫作的文本，這一點非常引人注目，也令人意外。但它是如何實現(xiàn)的？為什么它能夠如此出色地生成我們認為有意義的文本？我的...

2023-10-16 標簽：神經(jīng)網(wǎng)絡語言模型ChatGPT 1420 0

中科大提出：LLMs的個性化綜述，詳述大模型與個性化的挑戰(zhàn)與機遇

因此，我們認為現(xiàn)在是時候?qū)徱晜€性化服務的挑戰(zhàn)以及用大型語言模型來解決它們的機會了。特別是，我們在這篇展望性論文中專門討論了以下幾個方面：現(xiàn)有個性化系統(tǒng)的...

2023-08-21 標簽：人工智能語言模型大模型 1418 0

ImageBind：跨模態(tài)之王，將6種模態(tài)全部綁定！

最近，很多方法學習與文本、音頻等對齊的圖像特征。這些方法使用單對模態(tài)或者最多幾種視覺模態(tài)。最終嵌入僅限于用于訓練的模態(tài)對。因此，視頻 - 音頻嵌入無法直...

2023-05-11 標簽：編碼器語言模型數(shù)據(jù)集 1417 0

GPT4技術原理之相變與涌現(xiàn)

物理系統(tǒng)中發(fā)生的相變最直觀，水結成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統(tǒng)發(fā)生行為的突然變化，從一種相轉變?yōu)榱硪环N相。轉變出現(xiàn)了之前相中沒有的新特性，...

2023-05-29 標簽：語言模型GPT 1413 0

DISC-LawLLM：復旦大學團隊發(fā)布中文智慧法律系統(tǒng)，構建司法評測基準，開源30萬微調(diào)數(shù)據(jù)

DISC-LawLLM是基于我們構建的高質(zhì)量數(shù)據(jù)集DISC-Law-SFT在通用領域中文大模型Baichuan-13B上進行全參指令微調(diào)得到的法律大模型...

2023-09-28 標簽：算法智能化語言模型 1411 0

Deepseek上單片機？RT-Thread上跑通大語言模型

前言單片機也能聊天？RT-Thread上跑通大語言模型在RT-Thread論壇上忽然看到了單片機和大模型對話的文章，想著春節(jié)期間看到大語言模型的熱度持續(xù)...

2025-02-07 標簽：單片機語言模型DeepSeek 1393 0

BaiChuan13B多輪對話微調(diào)范例

答案是不會。原因是LLM作為語言模型，它的注意力機制是一個單向注意力機制(通過引入 Masked Attention實現(xiàn))，模型在第一輪對話的輸出跟輸入...

2023-08-24 標簽：語言模型大模型 1385 0

語言模型的弱監(jiān)督視頻異常檢測方法

LGT Adapter由局部關系Transformer和全局關系圖卷積串聯(lián)組成。考慮到常規(guī)的Transformer在長時視頻時序關系建模時冗余信息較多、...

2024-01-02 標簽：適配器語言模型Clip 1342 0

基于顯式證據(jù)推理的few-shot關系抽取CoT

最近，上下文學習策略已被證明在沒有訓練的情況下顯示出顯著的結果。很少有研究利用上下文學習進行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標簽：語言模型nlpLLM 1342 0