一文理解多模態(tài)大語言模型——上

作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist 編...

2024-12-02 標簽：語言模型 2k 0

BaiChuan13B多輪對話微調(diào)范例

答案是不會。原因是LLM作為語言模型，它的注意力機制是一個單向注意力機制(通過引入 Masked Attention實現(xiàn))，模型在第一輪對話的輸出跟輸入...

2023-08-24 標簽：語言模型大模型 2k 0

大型語言模型的邏輯推理能力探究

最新研究揭示，盡管大語言模型LLMs在語言理解上表現(xiàn)出色，但在邏輯推理方面仍有待提高。為此，研究者們推出了GLoRE，一個全新的邏輯推理評估基準，包含1...

2023-11-23 標簽：語言模型自然語言ChatGPT 1.9k 0

清華&港大提出LanguageMPC：將大語言模型和MPC相結合的新型類人智駕系統(tǒng)

LanguageMPC首次將LLM應用于駕駛場景，并設計了將文字形式高層決策轉化為可操作駕駛行為的方法。我們定量的證明了LanguageMPC在路口和環(huán)...

2023-10-10 標簽：MPC語言模型自動駕駛 1.9k 0

ImageBind：跨模態(tài)之王，將6種模態(tài)全部綁定！

最近，很多方法學習與文本、音頻等對齊的圖像特征。這些方法使用單對模態(tài)或者最多幾種視覺模態(tài)。最終嵌入僅限于用于訓練的模態(tài)對。因此，視頻 - 音頻嵌入無法直...

2023-05-11 標簽：編碼器語言模型數(shù)據(jù)集 1.9k 0

以Gpipe作為流水線并行的范例進行介紹

回顧ChatGPT的發(fā)展歷程，我們可以總結出大語言模型（LLM）取得驚艷效果的要點（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實...

2023-05-25 標簽：3D開源語言模型 1.9k 0

專補大模型短板的RAG有哪些新進展？這篇綜述講明白了

然而，盡管它們的能力令人印象深刻，但它們并非無懈可擊。這些模型可能會產(chǎn)生誤導性的 “幻覺”，依賴的信息可能過時，處理特定知識時效率不高，缺乏專業(yè)領域的深...

2024-01-17 標簽：人工智能語言模型大模型 1.9k 0

語言模型的弱監(jiān)督視頻異常檢測方法

LGT Adapter由局部關系Transformer和全局關系圖卷積串聯(lián)組成?？紤]到常規(guī)的Transformer在長時視頻時序關系建模時冗余信息較多、...

2024-01-02 標簽：適配器語言模型Clip 1.8k 0

DISC-LawLLM：復旦大學團隊發(fā)布中文智慧法律系統(tǒng)，構建司法評測基準，開源30萬微調(diào)數(shù)據(jù)

DISC-LawLLM是基于我們構建的高質(zhì)量數(shù)據(jù)集DISC-Law-SFT在通用領域中文大模型Baichuan-13B上進行全參指令微調(diào)得到的法律大模型...

2023-09-28 標簽：算法智能化語言模型 1.8k 0

LangChain框架關鍵組件的使用方法

LangChain是一個強大的框架，旨在幫助開發(fā)人員使用語言模型構建端到端的應用程序。它提供了一套工具、組件和接口，可簡化創(chuàng)建由大型語言模型 (LLM)...

2024-08-30 標簽：應用程序語言模型LLM 1.8k 0

谷歌新作SPAE：GPT等大語言模型可以通過上下文學習解決視覺任務

這篇論文揭示了 PaLM 或 GPT 在通過上下文學習解決視覺任務方面的能力，并提出了新方法 SPAE（Semantic Pyramid AutoEnc...

2023-07-09 標簽：語言模型GPTnlp 1.8k 0

中科大提出：LLMs的個性化綜述，詳述大模型與個性化的挑戰(zhàn)與機遇

因此，我們認為現(xiàn)在是時候審視個性化服務的挑戰(zhàn)以及用大型語言模型來解決它們的機會了。特別是，我們在這篇展望性論文中專門討論了以下幾個方面：現(xiàn)有個性化系統(tǒng)的...

2023-08-21 標簽：人工智能語言模型大模型 1.8k 0

Meta AI重磅推出LIMA！媲美GPT-4、無需RLHF就能對齊！

天下人苦“對齊”久矣！要讓預訓練語言模型的響應和特定任務和用戶偏好對齊，動輒需要百萬示例數(shù)據(jù)集上的instruction tuning、以及最近從人類反...

2023-05-24 標簽：語言模型CMUChatGPT 1.8k 0

基于顯式證據(jù)推理的few-shot關系抽取CoT

最近，上下文學習策略已被證明在沒有訓練的情況下顯示出顯著的結果。很少有研究利用上下文學習進行zero-shot信息提取。不幸的是，推理的證據(jù)在思維鏈提示...

2023-11-20 標簽：語言模型nlpLLM 1.8k 0

ChatGPT是怎么實現(xiàn)的

ChatGPT 能夠自動生成類似于人類寫作的文本，這一點非常引人注目，也令人意外。但它是如何實現(xiàn)的？為什么它能夠如此出色地生成我們認為有意義的文本？我的...

2023-10-16 標簽：神經(jīng)網(wǎng)絡語言模型ChatGPT 1.8k 0

GPT-4已經(jīng)會自己設計芯片了嗎？

? GPT-4已經(jīng)會自己設計芯片了！芯片設計行業(yè)的一個老大難問題HDL，已經(jīng)被GPT-4順利解決。并且，它設計的130nm芯片，已經(jīng)成功流片。 GPT-...

2023-06-20 標簽：芯片語言模型GPT 1.8k 0