好的!關(guān)于“神經(jīng)網(wǎng)絡(luò)引擎”,以下是通俗易懂的中文解釋:
核心概念
- 神經(jīng)網(wǎng)絡(luò): 一種模仿人腦神經(jīng)元工作方式的計(jì)算模型,是當(dāng)前人工智能(AI)和機(jī)器學(xué)習(xí)(尤其是深度學(xué)習(xí))的核心技術(shù)。它由大量相互連接的“神經(jīng)元”(節(jié)點(diǎn))組成,通過處理輸入數(shù)據(jù)并學(xué)習(xí)數(shù)據(jù)中的復(fù)雜模式來完成各種任務(wù)(如圖像識別、語音識別、自然語言處理等)。
- 引擎: 在這里指執(zhí)行計(jì)算任務(wù)的“核心”或“處理器”。它負(fù)責(zé)高效地進(jìn)行神經(jīng)網(wǎng)絡(luò)所需的各種數(shù)學(xué)運(yùn)算(主要是大規(guī)模的矩陣乘法和加法)。
神經(jīng)網(wǎng)絡(luò)引擎是什么?
簡單來說,神經(jīng)網(wǎng)絡(luò)引擎是一種專門為高效執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算任務(wù)而設(shè)計(jì)或優(yōu)化的硬件單元(或硬件+軟件的集合體)。
它的主要特點(diǎn)和用途
-
專用加速器:
- 通用處理器(CPU)雖然能做神經(jīng)網(wǎng)絡(luò)計(jì)算,但效率不高且耗電。
- 圖形處理器(GPU) 因其并行計(jì)算能力強(qiáng)大,成為早期訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主流選擇。很多情況下提到的“神經(jīng)網(wǎng)絡(luò)引擎”也指優(yōu)化過的GPU。
- 專用硬件: 隨著AI發(fā)展,出現(xiàn)了更專精的硬件單元:
- NPU: 專為神經(jīng)網(wǎng)絡(luò)處理設(shè)計(jì)的處理器核心,集成在SoC中(如手機(jī)芯片麒麟、驍龍里的NPU)。
- TPU: 谷歌開發(fā)的張量處理單元,專門加速深度學(xué)習(xí)中的張量運(yùn)算。
- VPU: 視覺處理單元,常用于計(jì)算機(jī)視覺任務(wù)中的神經(jīng)網(wǎng)絡(luò)加速。
- AI加速卡: 獨(dú)立加速卡(如NVIDIA的Tensor Core GPU, Intel的Gaudi, Habana等)。
- 這些專用硬件單元就是最典型的“神經(jīng)網(wǎng)絡(luò)引擎”。它們在架構(gòu)設(shè)計(jì)上高度優(yōu)化了神經(jīng)網(wǎng)絡(luò)的核心運(yùn)算(如乘累加操作MAC),提供遠(yuǎn)超CPU的計(jì)算吞吐量和能效比。
-
核心任務(wù):推理
- 神經(jīng)網(wǎng)絡(luò)的工作分為兩個(gè)主要階段:訓(xùn)練 和 推理。
- 訓(xùn)練: 使用大量數(shù)據(jù)和計(jì)算資源來“學(xué)習(xí)”模型參數(shù)(權(quán)重和偏差)。通常在云端或配備強(qiáng)大GPU的工作站進(jìn)行。
- 推理: 將訓(xùn)練好的模型應(yīng)用于新的、未見過的數(shù)據(jù),做出預(yù)測或識別(例如,識別一張照片中的物體,將語音轉(zhuǎn)成文字)。
- 神經(jīng)網(wǎng)絡(luò)引擎最主要、最常見的作用是高效執(zhí)行“推理”任務(wù)。 它讓設(shè)備(如手機(jī)、攝像頭、智能音箱、自動(dòng)駕駛汽車、邊緣服務(wù)器)能夠快速、低功耗地運(yùn)行訓(xùn)練好的AI模型,實(shí)現(xiàn)各種智能化功能。
-
軟件棧支持:
- 一個(gè)完整的神經(jīng)網(wǎng)絡(luò)引擎解決方案通常不僅包含硬件,還包含配套的軟件棧:
- 驅(qū)動(dòng)程序和運(yùn)行時(shí)庫: 讓操作系統(tǒng)和應(yīng)用程序能調(diào)用硬件加速能力。
- 優(yōu)化工具鏈: 能將開發(fā)者用框架(如TensorFlow, PyTorch, ONNX)訓(xùn)練的模型,高效地編譯轉(zhuǎn)換(量化、剪枝、層融合等)成能在該引擎上高效運(yùn)行的格式。
- 推理引擎/框架: 如TensorRT (NVIDIA), OpenVINO (Intel), Core ML (Apple), NNAPI (Android), ONNX Runtime等,它們利用底層硬件加速能力提供統(tǒng)一的API給上層應(yīng)用。
- 一個(gè)完整的神經(jīng)網(wǎng)絡(luò)引擎解決方案通常不僅包含硬件,還包含配套的軟件棧:
常見應(yīng)用場景(得益于神經(jīng)網(wǎng)絡(luò)引擎)
- 智能手機(jī): 人臉解鎖、智能拍照(夜景、人像虛化)、語音助手、實(shí)時(shí)翻譯、相冊物體/場景識別。
- 智能攝像頭/安防: 人臉識別、行為分析、物體檢測、車牌識別。
- 自動(dòng)駕駛: 實(shí)時(shí)感知周圍環(huán)境(車輛、行人、交通標(biāo)志)。
- 智能音箱/家居: 語音識別、自然語言理解。
- 邊緣計(jì)算設(shè)備: 工業(yè)質(zhì)檢、預(yù)測性維護(hù)、零售分析(在數(shù)據(jù)產(chǎn)生源頭就近處理,減少延遲和帶寬消耗)。
- 云端AI服務(wù): 支撐大規(guī)模的在線AI應(yīng)用(搜索推薦、內(nèi)容審核、機(jī)器翻譯等),使用強(qiáng)大的AI加速卡集群。
神經(jīng)網(wǎng)絡(luò)引擎 vs. 神經(jīng)網(wǎng)絡(luò)框架
- 神經(jīng)網(wǎng)絡(luò)框架: 是軟件工具包(如TensorFlow, PyTorch, Keras)。開發(fā)者用它來設(shè)計(jì)、訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。它提供了構(gòu)建模型、定義計(jì)算圖、訓(xùn)練算法的接口。
- 神經(jīng)網(wǎng)絡(luò)引擎: 是執(zhí)行框架訓(xùn)練出來的模型的硬件加速單元(或硬件+配套軟件)。它負(fù)責(zé)在設(shè)備上高效運(yùn)行模型進(jìn)行預(yù)測(推理)。
- 框架訓(xùn)練好的模型,通常需要經(jīng)過引擎配套的工具鏈優(yōu)化后,才能在該引擎上發(fā)揮最佳性能。
總結(jié)
神經(jīng)網(wǎng)絡(luò)引擎是現(xiàn)代AI落地的關(guān)鍵基礎(chǔ)設(shè)施之一。它通過專用硬件設(shè)計(jì)和優(yōu)化的軟件棧,極大地提高了神經(jīng)網(wǎng)絡(luò)推理任務(wù)的速度和能效比,使得復(fù)雜的AI功能能夠在手機(jī)、物聯(lián)網(wǎng)設(shè)備、邊緣計(jì)算節(jié)點(diǎn)乃至云端大規(guī)模部署,將AI從實(shí)驗(yàn)室?guī)胛覀兊娜粘I詈透鞣N產(chǎn)業(yè)應(yīng)用中。
你想了解神經(jīng)網(wǎng)絡(luò)引擎的某個(gè)特定方面嗎?例如它在手機(jī)中的應(yīng)用、不同廠商的引擎(如Apple Neural Engine, 高通 Hexagon NPU, 華為 Da Vinci NPU)、它與GPU的區(qū)別,或者如何利用推理引擎(如TensorRT, OpenVINO)?歡迎繼續(xù)提問!
恩智浦SAF9xxx系列DSP重塑車載信息娛樂系統(tǒng)音頻性能
恩智浦SAF9xxx新系列融合了新一代汽車、人工智能和機(jī)器學(xué)習(xí)(ML)音頻DSP技術(shù),并集成了神經(jīng)網(wǎng)絡(luò)引擎和基于硬件的加速器。
2024-08-27 09:50:50
AI降噪語音處理芯片NR2049-P
2025-05-16 16:49:33
蘋果M3芯片MacBook Air被譽(yù)為全球最佳消費(fèi)級AI產(chǎn)品
蘋果在推文中說:“全新Mac Airliness利用Apple芯片的力量,將Mac變?yōu)槔硐氲腁I平臺(tái)。M3芯片融入速度敏銳的16核神經(jīng)網(wǎng)絡(luò)引擎,提升設(shè)備端機(jī)器學(xué)習(xí)速率,讓MacBook Air成為了全球最頂尖的AI筆記本電腦之一。
2024-03-05 11:36:52
蘋果13pro max配置明細(xì)
iPhone13全系搭載著最新的A15仿生芯片,全新 6 核中央處理器,具有 2 個(gè)性能核心和 4 個(gè)能效核心、全新 5 核圖形處理器、全新 16 核神經(jīng)網(wǎng)絡(luò)引擎。
2021-09-17 10:44:38
蘋果代碼透露iPhone 15系列采用A16芯片,15 Pro系列采用A17
iphone14 pro已經(jīng)采用的a16生物芯片6核心處理器包括2個(gè)性能核心和4個(gè)能源效率核心,5核心gpu和16核心神經(jīng)網(wǎng)絡(luò)引擎。iphone14、14 plus使用的是前作a15芯片。
2023-08-11 10:13:48
M2芯片開啟新一代的M系列芯片 提升了M1芯片絕佳性能
M2芯片開啟了新一代的M系列芯片,中央處理器速度提高了18%,圖形處理器速度提高了35%,神經(jīng)網(wǎng)絡(luò)引擎速度提高了40%,增加了50%內(nèi)存帶寬,進(jìn)一步提升了M1芯片絕佳性能。
2022-06-07 15:43:48
M3系列芯片跑分出爐,單核最高3076分
蘋果表示,M3系列芯片的渲染速度比M1系列芯片快了2.5倍,CPU搭載的高性能核心和高能效核心分別比M1系列芯片快了30%和50%,而神經(jīng)網(wǎng)絡(luò)引擎的速度也比M1系列芯片快了60%。
2023-11-02 17:43:03
全志V853 NPU 系統(tǒng)介紹
Engines,PPU)、神經(jīng)網(wǎng)絡(luò)引擎(Neural Network Engine,NN)和各級緩存??删幊?span id="3kspceigf27" class='flag-2' style='color: #FF6600'>引擎可以使用 EVIS 硬件加速指令與 Shader 語言進(jìn)行編程,也可以實(shí)現(xiàn)激活函數(shù)等操作。神經(jīng)網(wǎng)絡(luò)
corkia
2022-11-09 10:34:37
蘋果發(fā)布M3系列新款MacBook Pro/iMac:業(yè)界首批PC 3nm芯片
蘋果m3系列的渲染速度是m1系列的2.5倍。cpu搭載的高性能核心和能源效率高的核心比m1系列芯片分別快30%和50%,比m2系列芯片分別快15%和30%,神經(jīng)網(wǎng)絡(luò)引擎也比m1系列芯片快60%。此外,新的媒體處理引擎現(xiàn)在支持av1解碼,使流媒體服務(wù)的影像體驗(yàn)在能源效率和品質(zhì)方面提高了一倍。
2023-11-01 10:34:57
臺(tái)積電無法滿足為蘋果代工M1芯片,或?qū)⒂唵谓唤o三星
11月16日消息,據(jù)國外媒體報(bào)道,在11月11日凌晨的發(fā)布會(huì)上,蘋果公司推出了他們首款自研基于Arm架構(gòu)的Mac芯片M1,配備8核中央處理器、8核圖形處理器和16核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯提升。
2020-11-16 10:59:14
蘋果M1芯片竟然存在安全漏洞你知道嗎
了八核心CPU、八核心GPU,以及十六核心的神經(jīng)網(wǎng)絡(luò)引擎,集成晶體管數(shù)量達(dá)到160億個(gè),其性能、功耗等方面的表現(xiàn)均被認(rèn)為是能擔(dān)起蘋果“后Intel時(shí)代”的大旗。
2020-11-22 09:37:47
蘋果M4芯片明年發(fā)布,臺(tái)積電2納米制程,升級版神經(jīng)網(wǎng)絡(luò)引擎
知情者透露,該計(jì)劃正緊鑼密鼓地推進(jìn)中,可能會(huì)伴隨即將面世的下一代MacBook Pro一起亮相。自2020年末首款自行研制的M1芯片問世以來,蘋果保持每年推出一款全新處理器,分別在2022年6月、同年10月以及最近一次的2022年底完成M2芯片和M3芯片的迭代更新。
2024-03-14 09:28:08
蘋果設(shè)備4月份性能排行榜發(fā)布iPad Pro平均成績高達(dá)550880分居首第一
iPad Pro 2018本月毫無懸念拿下桂冠,平均成績高達(dá)550880分,在iOS陣營中獨(dú)孤求敗。其搭載的是A12X處理器,其采用了7nm工藝制程,八核心CPU+七核心GPU設(shè)計(jì),最新的神經(jīng)網(wǎng)絡(luò)引擎,可實(shí)現(xiàn)每秒5萬億次操作。同時(shí),A12X集成了100億個(gè)晶體管,相比上代處理器的性能提升較大。
2019-05-07 17:03:42
蘋果 Mac M1 芯片圖形性能擊敗 GeForce GTX 1050 Ti/Radeon RX 560 ?
蘋果公司推出了首款自研基于 ARM 架構(gòu)的 Mac 芯片 M1,配備 8 核中央處理器、8 核圖形處理器和 16 核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯提升。蘋果自研 M1 將采用目前行業(yè)最先進(jìn)的 5nm 工藝打造,集成 160 億個(gè)晶體管。
2020-11-17 11:06:02
IFIXIT拆解MACBOOK :無風(fēng)扇設(shè)計(jì)是最大的改變
11月22日蘋果公司推出了首款自研基于 ARM 架構(gòu)的 Mac 芯片 M1,配備 8 核中央處理器、8 核圖形處理器和 16 核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品
2020-11-24 16:05:36
小鵬P7迎來OTA升級:全新AI聲音MOS語音質(zhì)量評測高達(dá)4.49分
2021年08月03日,小鵬P7迎來又一次OTA升級,新版本對應(yīng)Xmart OS版本號為2.6.1。本次OTA重點(diǎn)新增了智能語音助手小P的全新AI聲音,新聲音采用「全新一代超大規(guī)模在線神經(jīng)網(wǎng)絡(luò)引擎
2021-08-03 14:46:08
iPhone 13mini多少錢 iPhone13mini有哪些顏色
英寸 (對角線) OLED 全面屏,2340 x 1080 像素分辨率,476 ppi 性能方面 蘋蘋果13mini采用A15仿生芯片,全新6核CPU(2大核+4小核),全新4核GPU,全新16核神經(jīng)網(wǎng)絡(luò)引擎
2021-09-15 11:02:23
沒有等來的iPhone12或?qū)⒂?月30日發(fā)布,5nm加持處理器+基帶的高配又回來了?
采用5nm制程技術(shù),集成118億個(gè)晶體管,全新的6核中央處理器,有四個(gè)高能效核心和兩個(gè)高性能核心,運(yùn)行速度較上一代提升40%;4核圖形處理器,速度較上一代提升30%。A14仿生處理器,還擁有蘋果設(shè)計(jì)的新一代16核神經(jīng)網(wǎng)絡(luò)引擎,每秒可處理11萬億次運(yùn)算,機(jī)器學(xué)習(xí)性能得到70%的提升。 在發(fā)布
2020-09-16 11:02:21
蘋果M1 Mac Air跑分曝光:近112萬
蘋果公司推出了首款自研基于 ARM 架構(gòu)的 Mac 芯片 M1,配備 8 核中央處理器、8 核圖形處理器和 16 核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯提升
2020-11-26 09:38:10
WPS Office for Mac嘗鮮版支持英特爾+Apple Silicon,適配蘋果MacBook Air
設(shè)計(jì)的首款芯片。蘋果 M1 芯片采用 8 核中央處理器,具有 4 個(gè)性能核心和 4 個(gè)能效核心,搭載 16 核神經(jīng)網(wǎng)絡(luò)引擎。 IT之家了解到,WPS Office 是由金山軟件股份有限公司自主研發(fā)的一款辦公軟件套裝,可以
2020-11-16 14:16:43
IBM分析:蘋果轉(zhuǎn)向M1芯片預(yù)計(jì)今年節(jié)省25億美元
蘋果公司推出了首款自研基于 ARM 架構(gòu)的 Mac 芯片 M1,配備 8 核中央處理器、8 核圖形處理器和 16 核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯提升
2020-11-19 09:49:32
騰訊安全玄武實(shí)驗(yàn)室:公開Apple M1芯片設(shè)備存在安全漏洞
【CNMO新聞】近期,蘋果推出了首款基于ARM架構(gòu)的Mac芯片Apple M1。它配備8核中央處理器、8核圖形處理器和16核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,擁有領(lǐng)先的能效與性能表現(xiàn)。 目前蘋果已經(jīng)推出搭載
2020-11-19 11:48:52
蘋果M1替代英特爾基礎(chǔ)款 高端款依然在售
的 MacBook Pro 只有兩個(gè)雷靂/USB 4 端口,而舊款上有四個(gè)端口。 新款 Mac Mini 同樣搭配了 Apple M1 芯片,配備 8 核中央處理器、8 核圖形處理器和 16 核神經(jīng)網(wǎng)絡(luò)引擎
2020-11-12 14:31:32
搭載M1芯片的國行Mac Mini上架
核神經(jīng)網(wǎng)絡(luò)引擎,8GB 的統(tǒng)一內(nèi)存,千兆以太網(wǎng)端口。 本次蘋果共提供了兩種規(guī)格配置,256GB 存儲(chǔ)規(guī)格售價(jià)為 5299 元,512GB 存儲(chǔ)規(guī)格售價(jià)為 6799元。官網(wǎng)支持 24 期免息分期,最低每月只需要 221 元。目前蘋果中國官網(wǎng)顯示該機(jī)的預(yù)估發(fā)貨日期為 2-3 個(gè)工作日。 責(zé)任編輯:haq
2020-11-12 16:11:08
蘋果M1 Mac再次成為衡量其他筆記本標(biāo)桿
蘋果公司推出了首款自研基于 ARM 架構(gòu)的 Mac 芯片 M1,配備 8 核中央處理器、8 核圖形處理器和 16 核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯提升
2020-11-23 09:57:58
蘋果 A18 芯片發(fā)布:CPU 提升 30%、GPU 提升 40%
iPhone 15 的 A16 Bionic 快 40%,能耗降低 35% 。 該芯片還將搭載 16 核神經(jīng)網(wǎng)絡(luò)引擎 ,針對運(yùn)行大型生成模型進(jìn)行了優(yōu)化,ML 速度最高可提高 2 倍;系統(tǒng)內(nèi)存帶寬增加 17%,可以更高效地訪問生
2024-09-11 12:19:29
蘋果發(fā)布新款iMac與人工智能Apple Intelligence初階功能
iMac臺(tái)式機(jī)搭載了蘋果最新的M4芯片,不僅處理速度顯著提升,更配備了增強(qiáng)的神經(jīng)網(wǎng)絡(luò)引擎,專為處理復(fù)雜的人工智能任務(wù)而設(shè)計(jì)。這款性能卓越的新機(jī)型起售價(jià)保持不變,仍為1299美元,將于11月8日正式上市。 與此同時(shí),蘋果宣布其Apple Intelligence軟件現(xiàn)已全面支持iPhone、
2024-10-29 15:04:57
越看2020蘋果發(fā)布會(huì) 越懷念喬布斯
, iPhone12系列缺席。全場唯一亮點(diǎn)是A14芯片,全球首發(fā)5nm制程芯片,集成118億個(gè)晶體管,6核CPU、4核GPU、16核神經(jīng)網(wǎng)絡(luò)引擎。 蘋果A14芯片的推出,再次印證了喬布斯在芯片戰(zhàn)略方面
2020-09-17 15:31:08
蘋果自研Mac芯片會(huì)對英特爾帶來挑戰(zhàn)
方面公布的消息來看,M1采用目前行業(yè)最先進(jìn)的5nm工藝打造,集成160億個(gè)晶體管,配備8核中央處理器、8核圖形處理器和16核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯提升。 蘋果推出自研Mac芯片,并推出搭載這一芯片的筆記本電腦和
2020-11-12 18:10:40
朱海舟上手蘋果Mac mini:連接TNT go變MacBook
此前蘋果公司推出了首款自研基于 ARM 架構(gòu)的 Mac 芯片 M1,配備 8 核中央處理器、8 核圖形處理器和 16 核架構(gòu)的神經(jīng)網(wǎng)絡(luò)引擎,CPU、GPU、機(jī)器學(xué)習(xí)的性能及能效,較目前的產(chǎn)品都有明顯
2020-11-30 10:16:13