標簽　>　transformer

transformer

+關(guān)注0人關(guān)注

文章：139個瀏覽：6350次帖子：3個

全部技術(shù) 資訊資料帖子視頻產(chǎn)品方案企業(yè)

transformer技術(shù)

一個給NLP領(lǐng)域帶來革新的預訓練語言大模型Bert

之前的文章和大家詳細的介紹了靜態(tài)的詞向量表示word2vec理論加實戰(zhàn)，但是word2vec存在一個很大的問題，由于是靜態(tài)詞向量所以無法表示一詞多義，對...

2023-02-28 標簽：GPT ELMOS Transformer 8.0萬 0

一文詳解Transformer神經(jīng)網(wǎng)絡(luò)模型

Transformer模型在強化學習領(lǐng)域的應用主要是應用于策略學習和值函數(shù)近似。強化學習是指讓機器在與環(huán)境互動的過程中，通過試錯來學習最優(yōu)的行為策略。

2024-02-20 標簽：神經(jīng)網(wǎng)絡(luò)AI Transformer 2.3萬 0

如何計算transformer模型的參數(shù)量

1. 前言最近，OpenAI推出的ChatGPT展現(xiàn)出了卓越的性能，引發(fā)了大規(guī)模語言模型(Large Language Model,LLM)的研究熱潮...

2023-07-10 標簽：模型 Transformer ChatGPT 1.3萬 0

手把手教你，用BERT完成一個Kaggle競賽

在本文中，我們將重點介紹BERT在多標簽文本分類問題中的應用。傳統(tǒng)的分類問題假定每個文檔都分配給一個且只分配給一個類別，即標簽。這有時也被稱為多元分類，...

2019-02-20 標簽：神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)庫 Transformer 9285 0

教你如何使用Python搭一個Transformer

與基于RNN的方法相比，Transformer 不需要循環(huán)，主要是由Attention 機制組成，因而可以充分利用python的高效線性代數(shù)函數(shù)庫，大量...

2019-04-24 標簽：python 函數(shù)庫 Transformer 7419 0

利用Transformer和CNN 各自的優(yōu)勢以獲得更好的分割性能

概述在這篇論文中，提出了一種新的醫(yī)學圖像分割混合架構(gòu)：PHTrans，它在主要構(gòu)建塊中并行混合 Transformer 和 CNN，分別從全局和局部特...

2022-11-05 標簽：數(shù)據(jù)集 cnn Transformer 7059 0

Transformer常用的輕量化方法

引言：近年來，Transformer模型在人工智能的各個領(lǐng)域得到了廣泛應用，成為了包括計算機視覺，自然語言處理以及多模態(tài)領(lǐng)域內(nèi)的主流方法。

2022-10-25 標簽：數(shù)據(jù)計算機視覺 Transformer 6627 0

普通視覺Transformer（ViT）用于語義分割的能力

本文探討了普通視覺Transformer（ViT）用于語義分割的能力，并提出了SegViT。以前基于ViT的分割網(wǎng)絡(luò)通常從ViT的輸出中學習像素級表示。...

2022-10-31 標簽：計算機視覺數(shù)據(jù)集 Transformer 5632 0

什么是混合專家模型？混合專家模型 (MoEs)優(yōu)劣勢分析

門控網(wǎng)絡(luò)或路由: 這個部分用于決定哪些令牌 (token) 被發(fā)送到哪個專家。例如，在下圖中，“More”這個令牌可能被發(fā)送到第二個專家，而“Param...

2024-02-22 標簽：神經(jīng)網(wǎng)絡(luò)AI Transformer 5221 0

視覺Transformer基本原理及目標檢測應用

視覺Transformer的一般結(jié)構(gòu)如圖2所示，包括編碼器和解碼器兩部分，其中編碼器每一層包括一個多頭自注意力模塊（self-attention）和一個...

2024-04-03 標簽：解碼器神經(jīng)網(wǎng)絡(luò)Transformer 4641 0

ChatGPT的特點及原理

ChatGPT 是一種專注于對話生成的語言模型。它能夠根據(jù)用戶的文本輸入，產(chǎn)生相應的智能回答。這個回答可以是簡短的詞語，也可以是長篇大論。其中GPT是G...

2023-02-21 標簽：Transformer OpenAI ChatGPT 4541 0

詳解NVIDIA H100 TransformerEngine

在H100發(fā)布之際，英偉達還帶來一個“重磅產(chǎn)品”——Transformer Engine。在Transformer大火之際推出這么一個產(chǎn)品，無疑是煉丹師福音。

2022-10-24 標簽：NVIDIA 英偉達 Transformer 4393 0

端到端自動駕駛到底是什么？

UniAD 統(tǒng)一自動駕駛關(guān)鍵任務(wù)，但是端到端的訓練難度極大，對數(shù)據(jù)的要求和工程能力的要求比常規(guī)的技術(shù)棧要高，但是由此帶來的全局一致性讓整個系統(tǒng)變得更加簡...

2023-06-28 標簽：機器人控制模塊自動駕駛 4166 0

視覺語言預訓練(VLP)模型的最新進展

讓機器做出與人類相似的反應一直是 AI 研究不懈追求的目標。為了讓機器具有感知和思考的能力，研究人員進行了一系列相關(guān)研究，如人臉識別、閱讀理解和人機對話...

2022-04-02 標簽：AI 模型 Transformer 3512 0

Transformers內(nèi)部運作原理研究

為了理解每個組件的作用，讓我們通過訓練Transformer解決翻譯問題的過程，逐步了解Transformer的工作原理。我們將使用訓練數(shù)據(jù)的一個樣本，...

2024-01-30 標簽：解碼器 Transformer 自然語言處理 3377 0

基于Transformer做大模型預訓練基本的并行范式

在之前的內(nèi)容中，我們已經(jīng)介紹過流水線并行、數(shù)據(jù)并行（DP，DDP和ZeRO）。今天我們將要介紹最重要，也是目前基于Transformer做大模型預訓練...

2023-05-31 標簽：數(shù)據(jù)API 模型 3265 0

淺談ChatGPT的技術(shù)架構(gòu)

GPT家族與BERT模型都是知名的NLP模型，都基于Transformer技術(shù)。GPT-1只有12個Transformer層，而到了GPT-3，則增加到96層。

2023-02-21 標簽：Transformer nlp ChatGPT 3094 0

基于Transformer模型的上下文嵌入何時真正值得使用？

作者發(fā)現(xiàn)，在決定BERT-embedding和Glove-embedding的效果性能方面，訓練數(shù)據(jù)量起著關(guān)鍵作用。通過使用更多的訓練數(shù)據(jù)，非上下文嵌入...

2020-08-28 標簽：模型數(shù)據(jù)集文本 3034 0

如何使用MATLAB構(gòu)建Transformer模型

Transformer 模型在 2017 年由 Vaswani 等人在論文《Attentionis All You Need》中首次提出。其設(shè)計初衷是為...

2025-02-06 標簽：matlab 編碼器模型 2922 0

Transformer一統(tǒng)江湖：自然語言處理三大特征抽取器比較

上面這幾個特點請記清，一個特征抽取器是否適配問題領(lǐng)域的特點，有時候決定了它的成敗，而很多模型改進的方向，其實就是改造得使得它更匹配領(lǐng)域問題的特性。這也是...

2019-02-04 標簽：Transformer 自然語言 nlp 2896 0

12 3 4 5 下一頁

相關(guān)話題

換一批

IOT

IOT

+關(guān)注

IoT是Internet of Things的縮寫，字面翻譯是“物體組成的因特網(wǎng)”，準確的翻譯應該為“物聯(lián)網(wǎng)”。物聯(lián)網(wǎng)（Internet of Things）又稱傳感網(wǎng)，簡要講就是互聯(lián)網(wǎng)從人向物的延伸。
海思

海思

+關(guān)注
STM32F103C8T6

STM32F103C8T6

+關(guān)注

STM32F103C8T6是一款集成電路，芯體尺寸為32位，程序存儲器容量是64KB，需要電壓2V~3.6V，工作溫度為-40°C ~ 85°C。
數(shù)字隔離

數(shù)字隔離

+關(guān)注

數(shù)字隔離技術(shù)常用于工業(yè)網(wǎng)絡(luò)環(huán)境的現(xiàn)場總線、軍用電子系統(tǒng)和航空航天電子設(shè)備中，尤其是一些應用環(huán)境比較惡劣的場合。數(shù)字隔離電路主要用于數(shù)字信號和開關(guān)量信號的傳輸。另一個重要原因是保護器件（或人）免受高電壓的危害。本文詳細介紹了數(shù)字隔離器工作原理及特點，選型及應用，各類數(shù)字隔離器件性能比較等內(nèi)容。
硬件工程師

硬件工程師

+關(guān)注

硬件工程師Hardware Engineer職位要求熟悉計算機市場行情；制定計算機組裝計劃；能夠選購組裝需要的硬件設(shè)備，并能合理配置、安裝計算機和外圍設(shè)備；安裝和配置計算機軟件系統(tǒng)；保養(yǎng)硬件和外圍設(shè)備；清晰描述出現(xiàn)的計算機軟硬件故障。
wifi模塊

wifi模塊

+關(guān)注

Wi-Fi模塊又名串口Wi-Fi模塊，屬于物聯(lián)網(wǎng)傳輸層，功能是將串口或TTL電平轉(zhuǎn)為符合Wi-Fi無線網(wǎng)絡(luò)通信標準的嵌入式模塊，內(nèi)置無線網(wǎng)絡(luò)協(xié)議IEEE802.11b.g.n協(xié)議棧以及TCP/IP協(xié)議棧。傳統(tǒng)的硬件設(shè)備嵌入Wi-Fi模塊可以直接利用Wi-Fi聯(lián)入互聯(lián)網(wǎng)，是實現(xiàn)無線智能家居、M2M等物聯(lián)網(wǎng)應用的重要組成部分。
MPU6050

MPU6050

+關(guān)注

MPU-6000（6050）為全球首例整合性6軸運動處理組件，相較于多組件方案，免除了組合陀螺儀與加速器時間軸之差的問題，減少了大量的封裝空間。
74ls74

74ls74

+關(guān)注

74LS74是雙D觸發(fā)器。功能多，可作雙穩(wěn)態(tài)、寄存器、移位寄存器、振蕩器、單穩(wěn)態(tài)、分頻計數(shù)器等功能。本章詳細介紹了74ls112的功能及原理，74ls74引腳圖及功能表，74ls112的應用等內(nèi)容。
Protues

Protues

+關(guān)注

Proteus軟件是英國Lab Center Electronics公司出版的EDA工具軟件（該軟件中國總代理為廣州風標電子技術(shù)有限公司）。它不僅具有其它EDA工具軟件的仿真功能，還能仿真單片機及外圍器件。
UHD

UHD

+關(guān)注

UHD是”超高清“的意思UHD的應用在電視機技術(shù)上最為普遍，目前已有不少廠商推出了UHD超高清電視。
STC12C5A60S2

STC12C5A60S2

+關(guān)注

在眾多的51系列單片機中，要算國內(nèi)STC 公司的1T增強系列更具有競爭力，因他不但和8051指令、管腳完全兼容，而且其片內(nèi)的具有大容量程序存儲器且是FLASH工藝的，如STC12C5A60S2單片機內(nèi)部就自帶高達60K FLASHROM，這種工藝的存儲器用戶可以用電的方式瞬間擦除、改寫。
循跡小車

循跡小車

+關(guān)注

做單片機的工程師相比都堆循跡小車有所認識，它是自動引導機器人系統(tǒng)的基本應用，那么今天小編就給大家介紹下自動自動循跡小車的原理，智能循跡小車的應用，智能循跡小車程序，循跡小車用途等知識吧！
LM2596

LM2596

+關(guān)注

LM2596是降壓型電源管理單片集成電路的開關(guān)電壓調(diào)節(jié)器，能夠輸出3A的驅(qū)動電流，同時具有很好的線性和負載調(diào)節(jié)特性。固定輸出版本有3.3V、5V、12V，可調(diào)版本可以輸出小于37V的各種電壓。
光立方

光立方

+關(guān)注

光立方是由四千多棵光藝高科技“發(fā)光樹”組成的，在2009年10月1日天安門廣場舉行的國慶聯(lián)歡晚會上面世。這是新中國成立六十周年國慶晚會最具創(chuàng)意的三大法寶之首。
K60

K60

+關(guān)注
光模塊

光模塊

+關(guān)注

光模塊(optical module)由光電子器件、功能電路和光接口等組成，光電子器件包括發(fā)射和接收兩部分。簡單的說，光模塊的作用就是光電轉(zhuǎn)換，發(fā)送端把電信號轉(zhuǎn)換成光信號，通過光纖傳送后，接收端再把光信號轉(zhuǎn)換成電信號。
STM32單片機

STM32單片機

+關(guān)注

STM32系列基于專為要求高性能、低成本、低功耗的嵌入式應用專門設(shè)計的ARM Cortex-M3內(nèi)核
Nexperia

Nexperia

+關(guān)注

Nexperia是大批量生產(chǎn)基本半導體的領(lǐng)先專家，這些半導體是世界上每個電子設(shè)計都需要的組件。該公司廣泛的產(chǎn)品組合包括二極管、雙極晶體管、ESD 保護器件、MOSFET、GaN FET 以及模擬和邏輯IC。
步進驅(qū)動器

步進驅(qū)動器

+關(guān)注

步進驅(qū)動器是一種將電脈沖轉(zhuǎn)化為角位移的執(zhí)行機構(gòu)。當步進驅(qū)動器接收到一個脈沖信號，它就驅(qū)動步進電機按設(shè)定的方向轉(zhuǎn)動一個固定的角度（稱為“步距角”），它的旋轉(zhuǎn)是以固定的角度一步一步運行的?？梢酝ㄟ^控制脈沖個數(shù)來控制角位移量，從而達到準確定位的目的；同時可以通過控制脈沖頻率來控制電機轉(zhuǎn)動的速度和加速度，從而達到調(diào)速和定位的目的。
CD4046

CD4046

+關(guān)注

cD4046是通用的CMOS鎖相環(huán)集成電路，其特點是電源電壓范圍寬（為3V－18V），輸入阻抗高（約100MΩ），動態(tài)功耗小，在中心頻率f0為10kHz下功耗僅為600μW，屬微功耗器件。本章主要介紹內(nèi)容有，CD4046的功能 cd4046鎖相環(huán)電路，CD4046無線發(fā)射，cd4046運用，cd4046鎖相環(huán)電路圖。
COMSOL

COMSOL

+關(guān)注

COMSOL集團是全球多物理場建模解決方案的提倡者與領(lǐng)導者。憑借創(chuàng)新的團隊、協(xié)作的文化、前沿的技術(shù)、出色的產(chǎn)品，這家高科技工程軟件公司正飛速發(fā)展，并有望成為行業(yè)領(lǐng)袖。其旗艦產(chǎn)品COMSOL Multiphysics 使工程師和科學家們可以通過模擬，賦予設(shè)計理念以生命。
加速度傳感器

加速度傳感器

+關(guān)注

加速度傳感器是一種能夠測量加速度的傳感器。通常由質(zhì)量塊、阻尼器、彈性元件、敏感元件和適調(diào)電路等部分組成。
聯(lián)網(wǎng)技術(shù)

聯(lián)網(wǎng)技術(shù)

+關(guān)注
服務(wù)機器人

服務(wù)機器人

+關(guān)注

服務(wù)機器人是機器人家族中的一個年輕成員，到目前為止尚沒有一個嚴格的定義。不同國家對服務(wù)機器人的認識不同。
四軸飛行器

四軸飛行器

+關(guān)注

四軸飛行器，又稱四旋翼飛行器、四旋翼直升機，簡稱四軸、四旋翼。這四軸飛行器（Quadrotor）是一種多旋翼飛行器。四軸飛行器的四個螺旋槳都是電機直連的簡單機構(gòu)，十字形的布局允許飛行器通過改變電機轉(zhuǎn)速獲得旋轉(zhuǎn)機身的力，從而調(diào)整自身姿態(tài)。具體的技術(shù)細節(jié)在“基本運動原理”中講述。
基站測試

基站測試

+關(guān)注

802.11ac與11基站測試（base station tests）在基站設(shè)備安裝完畢后，對基站設(shè)備電氣性能所進行的測量。n的區(qū)別，802.11n無線網(wǎng)卡驅(qū)動，802.11n怎么安裝。
TMS320F28335

TMS320F28335

+關(guān)注

TMS320F28335是一款TI高性能TMS320C28x系列32位浮點DSP處理器
SDK

SDK

+關(guān)注

　　SDK一般指軟件開發(fā)工具包，軟件開發(fā)工具包一般都是一些軟件工程師為特定的軟件包、軟件框架、硬件平臺、操作系統(tǒng)等建立應用軟件時的開發(fā)工具的集合。軟件開發(fā)工具廣義上指輔助開發(fā)某一類軟件的相關(guān)文檔、范例和工具的集合。
靜電防護

靜電防護

+關(guān)注

為防止靜電積累所引起的人身電擊、火災和爆炸、電子器件失效和損壞，以及對生產(chǎn)的不良影響而采取的防范措施。其防范原則主要是抑制靜電的產(chǎn)生，加速靜電泄漏，進行靜電中和等。
OBD

OBD

+關(guān)注

OBD是英文On-Board Diagnostic的縮寫，中文翻譯為“車載診斷系統(tǒng)”。這個系統(tǒng)隨時監(jiān)控發(fā)動機的運行狀況和尾氣后處理系統(tǒng)的工作狀態(tài)，一旦發(fā)現(xiàn)有可能引起排放超標的情況，會馬上發(fā)出警示。

換一批

電機控制	DSP	氮化鎵	功率放大器	ChatGPT	自動駕駛	TI	瑞薩電子
BLDC	PLC	碳化硅	二極管	OpenAI	元宇宙	安森美	ADI
無刷電機	FOC	IGBT	逆變器	文心一言	5G	英飛凌	羅姆
直流電機	PID	MOSFET	傳感器	人工智能	物聯(lián)網(wǎng)	NXP	賽靈思
步進電機	SPWM	充電樁	IPM	機器視覺	無人機	三菱電機	ST
伺服電機	SVPWM	光伏發(fā)電	UPS	AR	智能電網(wǎng)	國民技術(shù)	Microchip

瑞薩	沁恒股份	全志	國民技術(shù)	瑞芯微	兆易創(chuàng)新	芯海科技	Altium
德州儀器	Vishay	Micron	Skyworks	AMS	TAIYOYUDEN	納芯微	HARTING
adi	Cypress	Littelfuse	Avago	FTDI	Cirrus LogIC	Intersil	Qualcomm
st	Murata	Panasonic	Altera	Bourns	矽力杰	Samtec	揚興科技
microchip	TDK	Rohm	Silicon Labs	圣邦微電子	安費諾工業(yè)	ixys	Isocom Compo
安森美	DIODES	Nidec	Intel	EPSON	樂鑫	Realtek	ERNI電子
TE Connectivity	Toshiba	OMRON	Sensirion	Broadcom	Semtech	旺宏	英飛凌
Nexperia	Lattice	KEMET	順絡(luò)電子	霍尼韋爾	pulse	ISSI	NXP
Xilinx	廣瀨電機	金升陽	君耀電子	聚洵	Liteon	新潔能	Maxim
MPS	億光	Exar	菲尼克斯	CUI	WIZnet	Molex	Yageo
Samsung	風華高科	WINBOND	長晶科技	晶導微電子	上海貝嶺	KOA	Echelon
Coilcraft	LRC	trinamic

放大器	運算放大器	差動放大器	電流感應放大器	比較器	儀表放大器	可變增益放大器	隔離放大器
時鐘	時鐘振蕩器	時鐘發(fā)生器	時鐘緩沖器	定時器	寄存器	實時時鐘	PWM 調(diào)制器
視頻放大器	功率放大器	頻率轉(zhuǎn)換器	揚聲器放大器	音頻轉(zhuǎn)換器	音頻開關(guān)	音頻接口	音頻編解碼器
模數(shù)轉(zhuǎn)換器	數(shù)模轉(zhuǎn)換器	數(shù)字電位器	觸摸屏控制器	AFE	ADC	DAC	電源管理
線性穩(wěn)壓器	LDO	開關(guān)穩(wěn)壓器	DC/DC	降壓轉(zhuǎn)換器	電源模塊	MOSFET	IGBT
振蕩器	諧振器	濾波器	電容器	電感器	電阻器	二極管	晶體管
變送器	傳感器	解析器	編碼器	陀螺儀	加速計	溫度傳感器	壓力傳感器
電機驅(qū)動器	步進驅(qū)動器	TWS	BLDC	無刷直流驅(qū)動器	濕度傳感器	光學傳感器	圖像傳感器
數(shù)字隔離器	ESD 保護	收發(fā)器	橋接器	多路復用器	氮化鎵	PFC	數(shù)字電源

開關(guān)電源	步進電機	無線充電	LabVIEW	EMC	PLC	OLED	單片機
5G	m2m	DSP	MCU	ASIC	CPU	ROM	DRAM
NB-IoT	LoRa	Zigbee	NFC	藍牙	RFID	Wi-Fi	SIGFOX
Type-C	USB	以太網(wǎng)	仿真器	RISC	RAM	寄存器	GPU
語音識別	萬用表	CPLD	耦合	電路仿真	電容濾波	保護電路	看門狗
CAN	CSI	DSI	DVI	Ethernet	HDMI	I2C	RS-485
SDI	nas	DMA	HomeKit	閾值電壓	UART	機器學習	TensorFlow

Arduino	BeagleBone	樹莓派	STM32	MSP430	EFM32	ARM mbed	EDA
示波器	LPC	imx8	PSoC	Altium Designer	Allegro	Mentor	Pads
OrCAD	Cadence	AutoCAD	華秋DFM	Keil	MATLAB	MPLAB	Quartus

搜索歷史

transformer

transformer技術(shù)

相關(guān)標簽

相關(guān)話題

關(guān)注此標簽的用戶(0人)

C++	Java	Python	JavaScript	node.js	RISC-V	verilog	Tensorflow
Android	iOS	linux	RTOS	FreeRTOS	LiteOS	RT-THread	uCOS
DuerOS	Brillo	Windows11	HarmonyOS

林超文PCB設(shè)計：PADS教程，PADS視頻教程	鄭振宇老師：Altium Designer教程，Altium Designer視頻教程
張飛實戰(zhàn)電子視頻教程	朱有鵬老師：海思HI3518e教程，HI3518e視頻教程
李增老師：信號完整性教程，高速電路仿真教程	華為鴻蒙系統(tǒng)教程，HarmonyOS視頻教程
賽盛：EMC設(shè)計教程，EMC視頻教程	杜洋老師：STM32教程，STM32視頻教程
唐佐林：c語言基礎(chǔ)教程，c語言基礎(chǔ)視頻教程	張飛：BUCK電源教程，BUCK電源視頻教程
正點原子：FPGA教程，F(xiàn)PGA視頻教程	韋東山老師：嵌入式教程，嵌入式視頻教程
張先鳳老師：C語言基礎(chǔ)視頻教程	許孝剛老師：Modbus通訊視頻教程
王振濤老師：NB-IoT開發(fā)視頻教程	Mill老師：FPGA教程，Zynq視頻教程
C語言視頻教程	RK3566芯片資料合集
朱有鵬老師：U-Boot源碼分析視頻教程	開源硬件專題