Llama2的技術(shù)細節(jié)探討分析

模型結(jié)構(gòu)為Transformer結(jié)構(gòu)，與Llama相同的是采用RMSNorm歸一化、SwiGLU激活函數(shù)、RoPE位置嵌入、詞表的構(gòu)建與大小，與Llam...

2023-07-23 標簽：函數(shù)OpenAILlama2 1625 0

從Google多模態(tài)大模型看后續(xù)大模型應(yīng)該具備哪些能力

前段時間Google推出Gemini多模態(tài)大模型，展示了不凡的對話能力和多模態(tài)能力，其表現(xiàn)究竟如何呢？

2023-12-28 標簽：SFTTPUGPT 1613 0

AIGC應(yīng)用和模型的測評對比

包括代碼補全、代碼重構(gòu)、代碼優(yōu)化、代碼注釋等，可以覆蓋多種編程語言和領(lǐng)域?；贠penAI的GPT-4模型，甚至可以做到基于手畫的一張產(chǎn)品原型草稿圖生成...

2023-06-11 標簽：AIOpenAIAIGC 1542 0

把LangChain跑起來的3個方法

使用 LangChain 開發(fā) LLM 應(yīng)用時，需要機器進行 GLM 部署，好多同學第一步就被勸退了，

2023-07-05 標簽：SQLOpenAIChatGPT 1535 0

全球首款支持 8K（8192）輸入長度的開源向量模型發(fā)布

在大模型時代，向量模型的重要性進一步增強。尤其是在檢索增強生成（RAG）場景中，它成為了一個核心組件，用于解決大模型的上下文長度限制、幻覺問題和知識注入問題。

2023-11-02 標簽：API聊天機器人自然語言處理 1400 0

探索ChatGPT的信息抽取能力

通過人工檢查ChatGPT的回復，發(fā)現(xiàn)ChatGPT傾向于識別比標注的跨度更長的sapn，以更接近人類的偏好。因此，之前的硬匹配(hard-matchi...

2023-06-01 標簽：AI數(shù)據(jù)集深度學習 1343 0

開源LLM在各種基準上的代理能力

采用ChatGPT的企業(yè)可能會擔心API調(diào)用的巨大成本、服務(wù)中斷、數(shù)據(jù)所有權(quán)和隱私問題，以及其他不可預測的事件，如最近關(guān)于董事會解雇CEO Sam Al...

2023-12-04 標簽：人工智能OpenAIChatGPT 1289 0

小紅書搜索團隊研究新框架：負樣本在大模型蒸餾中的重要性

在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現(xiàn)出強大的推理能力。然而，思維鏈已被證明是千億級參數(shù)模型才具有的涌現(xiàn)能力。

2024-01-30 標簽：算法OpenAI大模型 1283 0

【比特熊充電?！繉崙?zhàn)演練構(gòu)建LLM對話引擎

大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的...

2023-09-19 標簽：微軟NVIDIAOpenAI 1222 0

如何利用Transformers了解視覺語言模型

將模型稱為 “視覺語言” 模型是什么意思？一個結(jié)合了視覺和語言模態(tài)的模型？但這到底是什么意思呢？

2023-03-03 標簽：編碼器語言模型Clip 1207 0

OpenAI推出Sora：AI領(lǐng)域的革命性突破

大模型的核心技術(shù)是自然語言處理（NLP）和深度學習。具體而言，它基于Transformer架構(gòu)，使用了大規(guī)模無監(jiān)督學習方法，例如自回歸語言建模和掩碼語言...

2024-02-21 標簽：人工智能機器學習深度學習 1138 0