完善資料讓更多小伙伴認識你，還能領(lǐng)取20積分哦，立即完善>
標簽 > llm
在人工智能領(lǐng)域，LLM代表“大型語言模型”。在人工智能（AI）領(lǐng)域自然語言處理（NLP）是一個快速進展的領(lǐng)域。NLP中最重要是大語言模型（LLM）。大語言模型（英文：Large Language Model，縮寫LLM），也稱大型語言模型，是一種基于機器學習和自然語言處理技術(shù)的模型。
文章：321個 瀏覽：765次 帖子：3個
基于AX650N/AX630C部署端側(cè)大語言模型Qwen2
本文將分享如何將最新的端側(cè)大語言模型部署到超高性價比SoC上，向業(yè)界對端側(cè)大模型部署的開發(fā)者提供一種新的思路。
隨著人工智能技術(shù)的飛速發(fā)展，大型語言模型（Large Language Model，簡稱LLM）逐漸成為自然語言處理（NLP）領(lǐng)域的研究熱點。LLM以其...
生成式推薦系統(tǒng)與京東聯(lián)盟廣告-綜述與應(yīng)用
大型語言模型（LLM）正在深刻地影響自然語言處理（NLP）領(lǐng)域，其強大的處理各種任務(wù)的能力也為其他領(lǐng)域的從業(yè)者帶來了新的探索路徑。推薦系統(tǒng)（RS）作為解...
2023 年，生成式人工智能 (Generative AI) 領(lǐng)域涌現(xiàn)出諸多用例。這一突破性的人工智能 (AI) 技術(shù)是 OpenAI 的 ChatGP...
Optimum Intel三步完成Llama3在算力魔方的本地量化和部署
Llama3 是Meta最新發(fā)布的開源大語言模型(LLM), 當前已開源8B和70B參數(shù)量的預訓練模型權(quán)重，并支持指令微調(diào)。
OpenAI新研究：指令層次結(jié)構(gòu)防御LLM攻擊策略
為了解決這個問題，這篇研究提出了一種指令層次結(jié)構(gòu)（instruction hierarchy）。它明確定義了不同指令的優(yōu)先級，以及當不同優(yōu)先級的指令發(fā)生...
用于連接 GPU 服務(wù)器中的 8 個 GPU 的 NVLink 交換機也可以用于構(gòu)建連接 GPU 服務(wù)器之間的交換網(wǎng)絡(luò)。Nvidia 在 2022 年的...
2024-04-24 標簽：gpu服務(wù)器InfiniBand 1633 0
MoE 與 MoT：在專家混合中（左），每個令牌都被路由到不同的專家前饋層。在令牌混合（右）中，每組內(nèi)的令牌被混合，并且混合令牌由專家前饋層處理。
當前，業(yè)界在將傳統(tǒng)優(yōu)化技術(shù)引入 LLM 推理的同時，同時也在探索從大模型自回歸解碼特點出發(fā)，通過調(diào)整推理過程和引入新的模型結(jié)構(gòu)來進一步提升推理性能。
從Sora技術(shù)報告來看，時空patches或借鑒谷歌ViViT操作。ViViT借鑒ViT在圖片分割上的思路，把輸入的視頻劃分成若干個tuplet,每個t...
在Roofline模型可以直觀展示一張曲線圖，其中x軸表示AI（Arithmetic Intensity），即每個內(nèi)存操作對應(yīng)的浮點運算次數(shù)；y軸表示性...
OpenVINO?協(xié)同Semantic Kernel：優(yōu)化大模型應(yīng)用性能新路徑
作為主要面向 RAG 任務(wù)方向的框架，Semantic Kernel 可以簡化大模型應(yīng)用開發(fā)過程，而在 RAG 任務(wù)中最常用的深度學習模型就是 Embe...
利用知識圖譜與Llama-Index技術(shù)構(gòu)建大模型驅(qū)動的RAG系統(tǒng)（下）
對于語言模型（LLM）幻覺，知識圖譜被證明優(yōu)于向量數(shù)據(jù)庫。知識圖譜提供更準確、多樣化、有趣、邏輯和一致的信息，減少了LLM中出現(xiàn)幻覺的可能性。
2024-02-22 標簽：數(shù)據(jù)庫語言模型知識圖譜 1635 0
那關(guān)于LLM的長文本能力，目前業(yè)界通常都是怎么做的？有哪些技術(shù)點或者方向？今天我們就來總結(jié)一波，供大家快速全面了解。
準確解釋用戶查詢以檢索相關(guān)的結(jié)構(gòu)化數(shù)據(jù)是困難的，特別是在面對復雜或模糊的查詢、不靈活的文本到SQL轉(zhuǎn)換方面
2024-02-21 標簽：SQL數(shù)據(jù)源OpenAI 1097 0
你可以看到我們在這里使用了張量并行和并行預填充。它實際上幫助大大加快了推理速度。與等效的GPU相比，它使得Inferentia 2的成本大幅降低了。我們...
在思維鏈（CoT）提示的幫助下，大語言模型（LLMs）展現(xiàn)出強大的推理能力。然而，思維鏈已被證明是千億級參數(shù)模型才具有的涌現(xiàn)能力。
探索LangChain：構(gòu)建專屬LLM應(yīng)用的基石
LangChain通過Loader加載外部的文檔，轉(zhuǎn)化為標準的Document類型。Document類型主要包含兩個屬性：page_content 包含...
LLM推理加速新范式！推測解碼（Speculative Decoding）最新綜述
這個問題隨著LLM規(guī)模的增大愈發(fā)嚴重。并且，如下左圖所示，目前LLM常用的自回歸解碼（autoregressive decoding）在每個解碼步只能生...
換一批
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟技術(shù)開發(fā)區(qū)航空路6號手機智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
