完善資料讓更多小伙伴認識你，還能領(lǐng)取20積分哦，立即完善>
標簽 > 語言模型
文章：551個 瀏覽：11181次 帖子：4個
模型與人類的注意力視角下參數(shù)規(guī)模擴大與指令微調(diào)對模型語言理解的作用
近期的大語言模型（LLM）在自然語言理解和生成上展現(xiàn)出了接近人類的強大能力，遠遠優(yōu)于先前的BERT等預(yù)訓(xùn)練模型（PLM）。
采用伯克利神經(jīng)解析器（Berkeley Neural Parser）作為方法的基礎(chǔ)。該解析器是一種基于圖表的方法，采用自注意力編碼器和圖表解碼器，利用預(yù)...
號稱「碾壓」LLaMA的Falcon實測得分僅49.08，HuggingFace決定重寫排行榜代碼
這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過了 GPT-3（1...
考慮到強化學(xué)習(xí)[10]訓(xùn)練大語言模型的困難性，我們從語言建模的角度對大語言模型進行解毒。已有工作將解毒視為單一的任務(wù)，可以實現(xiàn)從有毒內(nèi)容到無毒內(nèi)容的直接...
2023-08-21 標簽：API語言模型強化學(xué)習(xí) 971 0
基于預(yù)訓(xùn)練模型和語言增強的零樣本視覺學(xué)習(xí)
在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會讓模型能力進一步提升 怎么讓能力更好？可以引入其他知識，即其他的預(yù)訓(xùn)練模型，...
爆火Llama 2一周請求下載超15萬，有人開源了Rust實現(xiàn)版本
隨著 Llama 2 的逐漸走紅，大家對它的二次開發(fā)開始流行起來。前幾天，OpenAI 科學(xué)家 Karpathy 利用周末時間開發(fā)了一個明星項目 lla...
2025年，如何提升大型語言模型（LLM）的推理能力成了最熱門的話題之一，大量優(yōu)化推理能力的新策略開始出現(xiàn)，包括擴展推理時間計算、運用強化學(xué)習(xí)、開展監(jiān)督...
Subword算法如今已經(jīng)成為了一個重要的NLP模型性能提升方法。自從2018年BERT橫空出世橫掃NLP界各大排行榜之后，各路預(yù)訓(xùn)練語言模型如同雨后春...
不同于單模態(tài)模型編輯，多模態(tài)模型編輯需要考慮更多的模態(tài)信息。文章出發(fā)點依然從單模態(tài)模型編輯入手，將單模態(tài)模型編輯拓展到多模態(tài)模型編輯，主要從以下三個方面...
重新審視Prompt優(yōu)化問題，預(yù)測偏差讓語言模型上下文學(xué)習(xí)更強
Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯度的優(yōu)化來調(diào)整這些 embeddings。然而，這些...
2023-04-03 標簽：語言模型 895 0
小白學(xué)大模型：從零實現(xiàn) LLM語言模型
在當(dāng)今人工智能領(lǐng)域，大型語言模型（LLM）的開發(fā)已經(jīng)成為一個熱門話題。這些模型通過學(xué)習(xí)大量的文本數(shù)據(jù)，能夠生成自然語言文本，完成各種復(fù)雜的任務(wù)，如寫作、...
通過循環(huán)訓(xùn)練實現(xiàn)忠實的低資源數(shù)據(jù)文本生成
從結(jié)構(gòu)化數(shù)據(jù)中自然語言生成（NLG）往往會產(chǎn)生多種錯誤，從而限制了這些模型在面向客戶的應(yīng)用中的實用性。當(dāng)NLG 模型在生成的輸出文本時注入與輸入結(jié)構(gòu)化數(shù)...
2023-08-24 標簽：數(shù)據(jù)庫模型語言模型 891 0
大語言模型的解碼策略與關(guān)鍵優(yōu)化總結(jié)
本文系統(tǒng)性地闡述了大型語言模型(LargeLanguageModels,LLMs)中的解碼策略技術(shù)原理及其實踐應(yīng)用。通過深入分析各類解碼算法的工作機制、...
? 作者：Sebastian Raschka 博士， 翻譯：張晶，Linux Fundation APAC Open Source Evangelist...
在RTX 4090被限制的時代下，讓大模型使用RLHF更高效的方法來了
今年，以 ChatGPT 為首的大語言模型（Large Language Models, LLMs) 在各個方面大放光彩，由此引發(fā)了學(xué)術(shù)界和商業(yè)界對 G...
OpenAI用GPT-4解釋了GPT-2三十萬個神經(jīng)元：智慧原來是這個樣子
可解釋性研究的一種簡單方法是首先了解 AI 模型各個組件（神經(jīng)元和注意力頭）在做什么。傳統(tǒng)的方法是需要人類手動檢查神經(jīng)元，以確定它們代表數(shù)據(jù)的哪些特征。...
GPT-4推理提升1750%！清華姚班校友提出全新ToT框架
那么，這樣一個簡單的機制能否足以建立一個通向「解決通用問題的語言模型」？如果不是，哪些問題會挑戰(zhàn)當(dāng)前的范式，真正的替代機制應(yīng)該是什么？
華南理工賈奎團隊ICCV'23新作：支持重新照明、編輯和物理仿真
現(xiàn)有的文本到三維模型的生成方法通常使用NeRF等隱式表達，通過體積渲染將幾何和外觀耦合在一起，但在恢復(fù)更精細的幾何結(jié)構(gòu)和實現(xiàn)逼真渲染方面存在不足，所以在...
大型語言模型（如 GPT-4）在解決特定任務(wù)和提取因果關(guān)系方面表現(xiàn)出色，但缺乏抽象的因果推理能力。它們傾向于從數(shù)據(jù)中提取已知的因果模式，而無法生成新的因果見解。
GPT是一種基于Transformer的預(yù)訓(xùn)練語言模型，可以用于自然語言處理中的各種任務(wù)。在態(tài)勢感知中，GPT可以用來對文本進行分類和情感分析，從而幫...
換一批
編輯推薦廠商產(chǎn)品技術(shù)軟件/工具OS/語言教程專題
| 電機控制 | DSP | 氮化鎵 | 功率放大器 | ChatGPT | 自動駕駛 | TI | 瑞薩電子 |
| BLDC | PLC | 碳化硅 | 二極管 | OpenAI | 元宇宙 | 安森美 | ADI |
| 無刷電機 | FOC | IGBT | 逆變器 | 文心一言 | 5G | 英飛凌 | 羅姆 |
| 直流電機 | PID | MOSFET | 傳感器 | 人工智能 | 物聯(lián)網(wǎng) | NXP | 賽靈思 |
| 步進電機 | SPWM | 充電樁 | IPM | 機器視覺 | 無人機 | 三菱電機 | ST |
| 伺服電機 | SVPWM | 光伏發(fā)電 | UPS | AR | 智能電網(wǎng) | 國民技術(shù) | Microchip |
| Arduino | BeagleBone | 樹莓派 | STM32 | MSP430 | EFM32 | ARM mbed | EDA |
| 示波器 | LPC | imx8 | PSoC | Altium Designer | Allegro | Mentor | Pads |
| OrCAD | Cadence | AutoCAD | 華秋DFM | Keil | MATLAB | MPLAB | Quartus |
| C++ | Java | Python | JavaScript | node.js | RISC-V | verilog | Tensorflow |
| Android | iOS | linux | RTOS | FreeRTOS | LiteOS | RT-THread | uCOS |
| DuerOS | Brillo | Windows11 | HarmonyOS |
關(guān)注我們的微信
下載發(fā)燒友APP
電子發(fā)燒友觀察
版權(quán)所有 ? 湖南華秋數(shù)字科技有限公司
長沙市望城經(jīng)濟技術(shù)開發(fā)區(qū)航空路6號手機智能終端產(chǎn)業(yè)園2號廠房3層（0731-88081133）
電子發(fā)燒友 （電路圖） 湘公網(wǎng)安備43011202000918
工商網(wǎng)監(jiān)
湘ICP備2023018690號-1
