什么是混合專家模型？混合專家模型 (MoEs)優(yōu)劣勢分析

門控網(wǎng)絡或路由: 這個部分用于決定哪些令牌 (token) 被發(fā)送到哪個專家。例如，在下圖中，“More”這個令牌可能被發(fā)送到第二個專家，而“Param...

2024-02-22 標簽：神經(jīng)網(wǎng)絡AITransformer 5567 0

OpenAI推出Sora：AI領域的革命性突破

大模型的核心技術是自然語言處理（NLP）和深度學習。具體而言，它基于Transformer架構，使用了大規(guī)模無監(jiān)督學習方法，例如自回歸語言建模和掩碼語言...

2024-02-21 標簽：人工智能機器學習深度學習 1186 0

大語言模型中的語言與知識：一種神秘的分離現(xiàn)象

自然語言處理領域存在著一個非常有趣的現(xiàn)象：在多語言模型中，不同的語言之間似乎存在著一種隱含的對齊關系。

2024-02-20 標簽：機器學習自然語言處理大模型 808 0

影響AI生態(tài)系統(tǒng)的七大主要趨勢

過去，計算機只能在人類語言首先被翻譯成代碼后才能理解。但通過使用NLP，機器能夠在文本保持其自然狀態(tài)的情況下獲取智能。

2024-01-31 標簽：AI自然語言處理nlp 2227 0

Transformers內(nèi)部運作原理研究

為了理解每個組件的作用，讓我們通過訓練Transformer解決翻譯問題的過程，逐步了解Transformer的工作原理。我們將使用訓練數(shù)據(jù)的一個樣本，...

2024-01-30 標簽：解碼器Transformer自然語言處理 3487 0

基礎模型能為機器人帶來怎樣的可能性？

機器人是一種擁有無盡可能性的技術，尤其是當搭配了智能技術時。近段時間創(chuàng)造了許多變革性應用的大模型有望成為機器人的智慧大腦，幫助機器人感知和理解這個世界并...

2024-01-26 標簽：機器人計算機視覺自然語言處理 416 0

大語言模型事實性幻象的實驗性分析

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構建了幻象評測基準HaluEval 2.0，并基于該評測框架從預訓練/有監(jiān)...

2024-01-19 標簽：開源語言模型自然語言處理 769 0

詳解機器人技術基礎模型

基礎模型在解決機器人技術中的數(shù)據(jù)稀缺問題上至關重要。它們?yōu)槭褂米钌俚奶囟〝?shù)據(jù)學習和適應新任務提供了堅實的基礎。

2024-01-08 標簽：機器人人工智能自然語言處理 761 0

人工智能技術在軍事情報領域的應用背景

人工智能作為人類智慧的輔助和延伸,突破了人類認知效率低、考慮因素有限等生理限制。目前,人工智能技術在自然語言處理、圖像識別、無人駕駛、醫(yī)學診斷、軍事智能...

2024-01-05 標簽：神經(jīng)網(wǎng)絡圖像識別人工智能 1338 0

一種基于表征工程的生成式語言大模型人類偏好對齊策略

最近復旦大學自然語言處理組鄭驍慶和黃萱菁團隊提出了基于表征工程（Representation Engineering）的生成式語言大模型人類偏好對齊方法...

2024-01-03 標簽：自然語言處理 912 0

NLP領域的語言偏置問題分析

許多研究證明，學術論文表達的nativeness會影響其被接受發(fā)表的可能性[1, 2]。先前的研究也揭示了非英語母語的作者在國際期刊發(fā)表論文時所經(jīng)歷的壓...

2024-01-03 標簽：數(shù)據(jù)收集數(shù)據(jù)集自然語言處理 664 0

一文速覽大語言模型提示最新進展

盡管基本的CoT提示策略在復雜推理任務中展示出了強大的能力，但它仍然面臨著一些問題，比如推理過程存在錯誤和不穩(wěn)定等。因此，一系列的研究通過增強的提示方法...

2023-12-27 標簽：生成器語言模型自然語言處理 958 0

深度學習在人工智能領域的經(jīng)典應用

由于深度學習，圖像識別和計算機視覺任務的性能得到了顯著提高。由于在龐大的數(shù)據(jù)集上訓練深度神經(jīng)網(wǎng)絡，計算機現(xiàn)在可以可靠地分類和理解圖像，從而開辟了廣泛的應...

2023-12-15 標簽：神經(jīng)網(wǎng)絡深度學習聊天機器人 765 0

基于機器翻譯增加的跨語言機器閱讀理解算法

近日，阿里云人工智能平臺 PAI 與華南理工大學朱金輝教授團隊、達摩院自然語言處理團隊合作在自然語言處理頂級會議 EMNLP2023 上發(fā)表基于機器翻譯...

2023-12-12 標簽：算法人工智能數(shù)據(jù)集 826 0

怎樣使用Accelerate庫在多GPU上進行LLM推理呢？

大型語言模型(llm)已經(jīng)徹底改變了自然語言處理領域。隨著這些模型在規(guī)模和復雜性上的增長，推理的計算需求也顯著增加。

2023-12-01 標簽：GPU芯片自然語言處理LLM 1917 0

中國大模型市場進展與趨勢

大模型當前以生成類應用為主，多模態(tài)是未來重點發(fā)展方向 企業(yè)用戶是從應用視角出發(fā),分成生成類應用、決策類應用和多模態(tài)應用。 受限于模型能力、應用效果等...

2023-11-29 標簽：編程語言機器學習深度學習 726 0

基于單一LLM的情感分析方法的局限性

LLM的發(fā)展為情感分析任務帶來的新的解決方案。有研究人員使用LLM，在上下文學習(in-context learning, ICL)的范式下，僅使用少量...

2023-11-23 標簽：生成器自然語言處理半監(jiān)督學習 1243 0

時間序列的基礎模型像自然語言處理那樣存在嗎

時間序列預測領域在最近的幾年有著快速的發(fā)展，比如N-BEATS、N-HiTS、PatchTST和TimesNet。 大型語言模型(LLM)最近在Chat...

2023-11-03 標簽：數(shù)據(jù)模型應用程序 912 0

全球首款支持 8K（8192）輸入長度的開源向量模型發(fā)布

在大模型時代，向量模型的重要性進一步增強。尤其是在檢索增強生成（RAG）場景中，它成為了一個核心組件，用于解決大模型的上下文長度限制、幻覺問題和知識注入問題。

2023-11-02 標簽：API聊天機器人自然語言處理 1624 0