日本團隊發(fā)布在富岳超算上訓練的Fugaku-LLM大模型
5月11日訊，多方企業(yè)與機構聯手的日本研究小組昨日公布了Fugaku-LLM大型模型。該模型最大特點在于在Arm架構超算“富岳”上完成了訓練。
自2023年5月起，Fugaku-LLM模型的開發(fā)工作開始展開，最初參與團隊包括富士通、東京工業(yè)大學、日本東北大學以及日本理化學研究所（簡稱理研）。
至同年8月，又有三家合作伙伴——名古屋大學、CyberAgent（同時也是游戲巨頭Cygames的母公司）及HPC-AI領域創(chuàng)新企業(yè)Kotoba Technologies加入項目。
研究團隊在昨日的新聞發(fā)布會上表示，他們成功利用富岳超算的強大性能，使矩陣乘法運算速度提升6倍，通信速度提高3倍，從而證明大型純CPU超算同樣適用于大模型訓練。
Fugaku-LLM模型參數規(guī)模達13B，成為日本國內最大的大型語言模型。
該模型采用13824個富岳超算節(jié)點，在3800億個Token上進行訓練，其中60%為日語數據，其余40%涵蓋英語、數學、代碼等內容。
研究團隊表示，Fugaku-LLM模型能夠在交流過程中自然運用日語敬語等特殊表達方式。
在測試結果方面，該模型在日語MT-Bench模型基準測試中的平均得分高達5.5，位列基于日本語料資源的開放模型之首；在人文社科類別的測試中更獲得了9.18的高分。
現如今，Fugaku-LLM模型已在GitHub和Hugging Face平臺公開發(fā)布，外部研究人員和工程師可在遵循許可協議的基礎上，將該模型應用于學術和商業(yè)領域。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯系本站處理。
舉報投訴
-
cpu
+關注
關注
68文章
11329瀏覽量
225904 -
模型
+關注
關注
1文章
3819瀏覽量
52270 -
語言模型
+關注
關注
0文章
575瀏覽量
11343 -
大模型
+關注
關注
2文章
3772瀏覽量
5273
發(fā)布評論請先 登錄
相關推薦
熱點推薦
天數智芯深度參編的超節(jié)點技術體系白皮書正式發(fā)布
率先發(fā)布的該領域權威技術白皮書的編纂工作，也印證了企業(yè)在高速互聯架構領域的技術實力和行業(yè)貢獻，填補了國內超節(jié)點技術權威指引的空白，為智算中心、大模型
Google正式發(fā)布LLM評測基準Android Bench
LLM 在 Android 開發(fā)任務中的表現?，F在，我們發(fā)布了 Android Bench 的首個版本，這是 Google 官方專門針對 Android 開發(fā)打造的 LLM 排行榜。
芯盾時代如何破局LLM供應鏈漏洞危機
隨著人工智能技術進入 2026 年的爆發(fā)期，大語言模型（LLM）已不再是實驗室里的原型，而是支撐企業(yè)核心業(yè)務的“數字引擎”。然而，LLM的強大高度依賴于全球化的AI生態(tài)。從海量的互聯網訓練
什么是大模型，智能體...？大模型100問，快速全面了解！
一、概念篇1.什么是大模型？大模型是指參數規(guī)模巨大（通常達到數十億甚至萬億級別）、使用海量數據訓練而成的人工智能模型。2.什么是大語言模型（
芯盾時代揭秘訓練數據投毒攻擊
在人工智能的“大航海時代”，大語言模型（LLM）被視為通往AGI（通用人工智能）的“方舟”。當人們贊嘆于LLM的博學與全能，不斷給它投喂海量數據，通過工程優(yōu)化實現
LLM安全新威脅：為什么幾百個毒樣本就能破壞整個模型
本文轉自：DeepHubIMBA作者：DhanushKumar數據投毒，也叫模型投毒或訓練數據后門攻擊，本質上是在LLM的訓練、微調或檢索階
在Ubuntu20.04系統中訓練神經網絡模型的一些經驗
本帖欲分享在Ubuntu20.04系統中訓練神經網絡模型的一些經驗。我們采用jupyter notebook作為開發(fā)IDE，以TensorFlow2為訓練框架，目標是
發(fā)表于 10-22 07:03
借助NVIDIA Megatron-Core大模型訓練框架提高顯存使用效率
隨著模型規(guī)模邁入百億、千億甚至萬億參數級別，如何在有限顯存中“塞下”訓練任務，對研發(fā)和運維團隊都是巨大挑戰(zhàn)。NVIDIA Megatron-Core 作為流行的大模型
廣和通發(fā)布端側情感對話大模型FiboEmo-LLM
9月，廣和通正式發(fā)布自主研發(fā)的端側情感對話大模型FiboEmo-LLM。該模型專注于情感計算與自然語言交互融合，致力于為AI玩具、智能陪伴設備等終端場景提供“情感理解-情感響應”一體化
摩爾線程發(fā)布大模型訓練仿真工具SimuMax v1.0
近日，摩爾線程正式發(fā)布并開源大模型分布式訓練仿真工具SimuMax 1.0版本。該版本在顯存和性能仿真精度上實現突破性提升，同時引入多項關鍵功能，進一步增強了
大規(guī)模專家并行模型在TensorRT-LLM的設計
DeepSeek-V3 / R1 等模型采用大規(guī)模細粒度混合專家模型 (MoE) 架構，大幅提升了開源模型的質量。Llama 4 和 Qwen3 等新發(fā)布的開源
DeepSeek R1 MTP在TensorRT-LLM中的實現與優(yōu)化
。我們在之前的博客[1] 中介紹了 DeepSeek-R1 模型實現超低推理延遲的關鍵優(yōu)化措施。本文將深入探討 TensorRT-LLM 中的 MTP 實現與優(yōu)化。
Votee AI借助NVIDIA技術加速方言小語種LLM開發(fā)
Votee AI 利用 NVIDIA 的 GPU 硬件、NeMo Curator 數據處理軟件、NeMo Framework 模型訓練框架及 Auto Configurator 優(yōu)化工具，高效構建
使用NVIDIA Triton和TensorRT-LLM部署TTS應用的最佳實踐
針對基于 Diffusion 和 LLM 類別的 TTS 模型，NVIDIA Triton 和 TensorRT-LLM 方案能顯著提升推理速度。在單張 NVIDIA Ada Love
小白學大模型：從零實現 LLM語言模型
在當今人工智能領域，大型語言模型（LLM）的開發(fā)已經成為一個熱門話題。這些模型通過學習大量的文本數據，能夠生成自然語言文本，完成各種復雜的任務，如寫作、翻譯、問答等。https
評論