Azure 支持 NVIDIA 的 T4 張量核心圖形處理單元（ GPUs ） ，這是為以經(jīng)濟(jì)高效的方式部署機(jī)器學(xué)習(xí)推斷或分析工作負(fù)載而優(yōu)化的。使用 Apache Spark ? Azure Synapse Analytics 針對(duì) NVIDIA GPU 的部署進(jìn)行了優(yōu)化，加上預(yù)安裝的庫(kù)，提供了一種利用 GPU 為各種數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)提供動(dòng)力的簡(jiǎn)單方法。 GPU-accelerated Spark 的 Azure Synapse 版本內(nèi)置了對(duì) RAPIDS 加速的支持，與在 CPU 上運(yùn)行相比，它在標(biāo)準(zhǔn)分析基準(zhǔn)上的性能提升至少是在 CPU 上運(yùn)行的 2 倍，所有這些都沒(méi)有任何代碼更改。

目前， Azure Synapse 中的 GPU 加速功能可用于 按請(qǐng)求進(jìn)行私人預(yù)覽 。

NVIDIA GPU 加速的好處

NVIDIA GPU 提供了極高的計(jì)算性能，將并行處理引入多核服務(wù)器，以加速苛刻的工作負(fù)載。 CPU 由幾個(gè)為順序串行處理而優(yōu)化的內(nèi)核組成，而。另一方面， GPU 具有大規(guī)模并行體系結(jié)構(gòu)，由數(shù)千個(gè)更小、更高效的內(nèi)核組成，設(shè)計(jì)用于同時(shí)處理多個(gè)任務(wù)?？紤]到 數(shù)據(jù)科學(xué)家將 80% 的時(shí)間花在數(shù)據(jù)預(yù)處理上 ， GPU s 是加速數(shù)據(jù)處理管道的關(guān)鍵工具，而不僅僅依賴(lài)于包含 CPU 的管道。

構(gòu)建這些管道的最有效和最熟悉的方法之一是使用 Apache Spark ?。 Apache Spark 中 NVIDIA GPU 加速的好處? 包括：

更快地完成數(shù)據(jù)處理、查詢(xún)和模型訓(xùn)練，從而加快迭代速度，縮短洞察時(shí)間。

相同的 GPU 加速基礎(chǔ)架構(gòu)有助于消除 Spark 和 ML / DL 框架對(duì)復(fù)雜決策和調(diào)優(yōu)的需求。

需要更少的計(jì)算節(jié)點(diǎn)；降低基礎(chǔ)架構(gòu)成本，并有助于避免與規(guī)模相關(guān)的問(wèn)題。

NVIDIA 和 Azure Synapse 協(xié)作

NVIDIA 和 Azure Synapse 合作為數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師帶來(lái) GPU 加速。這種集成將使客戶(hù)能夠自由地使用 NVIDIA GPU for Apache Spark ? 無(wú)代碼更改且體驗(yàn)與 CPU 群集相同的應(yīng)用程序。此外，這一合作將繼續(xù)增加對(duì)最新 NVIDIA GPU 和網(wǎng)絡(luò)產(chǎn)品的支持，并為希望通過(guò)數(shù)據(jù)工程、數(shù)據(jù)準(zhǔn)備和機(jī)器學(xué)習(xí)的單一管道提高生產(chǎn)率和節(jié)約成本的大數(shù)據(jù)客戶(hù)提供持續(xù)增強(qiáng)。

Apache Spark ? Azure Synapse 中的 3 。 0 GPU 加速

而 Apache Spark ? 提供開(kāi)箱即用的 GPU 支持，配置和管理所有必需的硬件以及安裝所有低級(jí)庫(kù)需要付出大量的努力。當(dāng)您嘗試啟用 GPU 的 Apache Spark? 時(shí) 在 Azure Synapse 中，您會(huì)立即注意到一個(gè)非常簡(jiǎn)單的用戶(hù)體驗(yàn)：

幕后繁重的工作 ：為了有效使用 GPU ，庫(kù)用于與主機(jī)上的圖形卡進(jìn)行通信。安裝和配置這些庫(kù)需要時(shí)間和精力。 Azure Synapse 負(fù)責(zé)預(yù)安裝這些庫(kù)，并通過(guò)與 GPU Apache Spark? 集成，在計(jì)算節(jié)點(diǎn)之間建立所有復(fù)雜的網(wǎng)絡(luò)池。在短短幾分鐘內(nèi)，您就可以不再擔(dān)心設(shè)置問(wèn)題，而是專(zhuān)注于解決業(yè)務(wù)問(wèn)題。

優(yōu)化的 Spark 配置 ：通過(guò) NVIDIA 和 Azure Synapse 之間的合作，我們?yōu)橹С?GPU 的 Apache Spark 提供了最佳配置? 游泳池。因此，您的工作負(fù)載以最佳方式運(yùn)行，為您節(jié)省了時(shí)間和運(yùn)營(yíng)成本。

包含數(shù)據(jù)準(zhǔn)備和 ML 庫(kù) ：?jiǎn)⒂?GPU 的 Apache Spark ? Azure Synapse 中的池內(nèi)置了兩個(gè)流行的庫(kù)，支持更多功能：

RAPIDS 用于數(shù)據(jù)準(zhǔn)備 ： RAPIDS 是一套開(kāi)源軟件庫(kù)和 API ，用于完全在 GPU 上執(zhí)行端到端的數(shù)據(jù)科學(xué)和分析管道，以大幅提高速度，尤其是在大型數(shù)據(jù)集上。 RAPIDS Apache 加速器 Spark ? 構(gòu)建在 NVIDIA CUDA 和 UCX 之上，支持 GPU 加速 SQL 、數(shù)據(jù)幀操作和 Spark 洗牌。由于沒(méi)有利用這些加速的代碼更改，您還可以加速依賴(lài) Linux 基金會(huì) 三角洲湖 或微軟 Hyperspace 索引的數(shù)據(jù)管道（這兩種索引都是在 BACK 中可用的）。

Hummingbird 用于加速對(duì)傳統(tǒng) ML 模型的評(píng)分和推理。 Hummingbird 是一個(gè)用于將傳統(tǒng) ML 運(yùn)算符轉(zhuǎn)換為張量的庫(kù)，其目標(biāo)是加速傳統(tǒng)機(jī)器學(xué)習(xí)模型的推理（評(píng)分/預(yù)測(cè)）。

圖 1 ： Spark Azure Synapse 中的數(shù)據(jù)準(zhǔn)備和 ML 。

當(dāng)運(yùn)行 NVIDIA 決策支持（ NDS ）測(cè)試查詢(xún)時(shí)（源自行業(yè)已知基準(zhǔn)測(cè)試），超過(guò) 1 TB 的拼花地板數(shù)據(jù)，我們的早期結(jié)果表明 GPUs 可以在不改變?nèi)魏未a的情況下，將總體查詢(xún)性能提高近 2 倍。

圖 2 ：總體性能結(jié)果。

聯(lián)系我們 如果您有興趣被添加到私人預(yù)覽列表中。

使用 Azure Synapse 中提供的有限時(shí)間免費(fèi)數(shù)量 嘗試新功能。

圖 3 ：當(dāng)前 Azure Synapse 產(chǎn)品。

關(guān)于作者

Alexander Spiridonov 是 NVIDIA 的研究員、開(kāi)發(fā)人員和數(shù)據(jù)分析師，擔(dān)任解決方案架構(gòu)師。最近，他領(lǐng)導(dǎo)了 NVIDIA 和微軟之間的幾個(gè)聯(lián)合項(xiàng)目，涉及使用最新 GPU 技術(shù)優(yōu)化 Azure 管道。

Rahul Potharaju 是微軟 Azure 數(shù)據(jù)集團(tuán)的主要大數(shù)據(jù)研發(fā)經(jīng)理，致力于 Azure Synapse 分析。他領(lǐng)導(dǎo)了幾項(xiàng)開(kāi)源工作，包括 Spark 的 Hyperspace 和。 NET 。他的作品在頂級(jí)會(huì)議上廣泛發(fā)表，并在 SIGMM 和 TOMM 等場(chǎng)所獲獎(jiǎng)。此前，他在微軟的灰色系統(tǒng)實(shí)驗(yàn)室（ GSL ）擔(dān)任研究員。他獲得了計(jì)算機(jī)科學(xué)博士學(xué)位。畢業(yè)于普渡大學(xué)與西北大學(xué)微軟研究和計(jì)算機(jī)科學(xué)碩士學(xué)位的聯(lián)合工業(yè)合作。他是摩托羅拉工程卓越獎(jiǎng)和普渡鉆石獎(jiǎng)的獲得者。 Rahul 的工作已經(jīng)被微軟內(nèi)部的幾個(gè)商業(yè)團(tuán)體采納，并贏得了微軟值得信賴(lài)的可靠性。

審核編輯：郭婷