NVIDIA NeMo 是一款供開(kāi)發(fā)者構(gòu)建和訓(xùn)練先進(jìn)的對(duì)話式 AI 模型的開(kāi)源框架。

NVIDIA NeMo 是什么？

NVIDIA NeMo 是一個(gè)框架，用于借助簡(jiǎn)單的 Python 界面構(gòu)建、訓(xùn)練和微調(diào) GPU 加速的語(yǔ)音和自然語(yǔ)言理解（NLU）模型。使用 NeMo，開(kāi)發(fā)者可以創(chuàng)建新的模型架構(gòu)，并通過(guò)易于使用的應(yīng)用編程接口（API），在 NVIDIA GPU 中的Tensor Core 上使用混合精度計(jì)算對(duì)其進(jìn)行訓(xùn)練。

NeMo Megatron 是此框架的一部分，提供并行化技術(shù)（例如 Megatron-LM 研究項(xiàng)目中的工作流和張量并行化），用于訓(xùn)練大規(guī)模語(yǔ)言模型。

借助 NeMo，您可以構(gòu)建用于實(shí)時(shí)自動(dòng)語(yǔ)音識(shí)別（ASR）、自然語(yǔ)言處理（NLP）和文本轉(zhuǎn)語(yǔ)音（TTS）應(yīng)用（例如視頻通話轉(zhuǎn)錄、智能視頻助理以及醫(yī)療健康、金融、零售和電信行業(yè)的自動(dòng)化呼叫中心支持）的模型。

NVIDIA NeMo 的優(yōu)勢(shì)

快速建模

使用簡(jiǎn)單的 Python API 快速配置、構(gòu)建和訓(xùn)練模型。

可定制的模型

從 NVIDIA NGC 目錄中下載并自定義經(jīng)過(guò)預(yù)訓(xùn)練的先進(jìn)模型。

廣泛集成

實(shí)現(xiàn) NeMo 與 PyTorch 和 PyTorch Lightning 生態(tài)系統(tǒng)的互操作。

輕松部署

應(yīng)用 NVIDIA TensorRT 優(yōu)化，并導(dǎo)出至 NVIDIA Riva 進(jìn)行高性能推理

NVIDIA NeMo 的功能特性

輕松構(gòu)建新的模型架構(gòu)

NeMo 包含針對(duì) ASR、NLP 和 TTS 的特定領(lǐng)域集合，用于開(kāi)發(fā) Citrinet、Jasper、BERT、Fastpitch 和 HiFiGAN 等先進(jìn)模型。NeMo 模型由神經(jīng)模組構(gòu)成，神經(jīng)模組是模型的基礎(chǔ)模組。神經(jīng)類(lèi)型將這些模組的輸入和輸出強(qiáng)有力地類(lèi)型化，可自動(dòng)在模塊之間執(zhí)行語(yǔ)義檢查。

NeMo 旨在提供高靈活性，您可以使用 Hydra 框架輕松修改模型的行為。例如，您可以使用 Hydra 在以下圖表中修改 Citrinet Encoder 模組的架構(gòu)。

訓(xùn)練先進(jìn)的對(duì)話式 AI 模型

NGC 中的幾個(gè) NeMo 預(yù)訓(xùn)練的先進(jìn)模型基于開(kāi)源的免費(fèi)數(shù)據(jù)集在 NVIDIA DGX 上進(jìn)行了超過(guò) 100000 小時(shí)的訓(xùn)練。在訓(xùn)練您的用例之前，您可以微調(diào)這些模型或使用 NeMo 修改它們。

NeMo 使用 Tensor Core上的混合精度，訓(xùn)練速度能達(dá)到在單個(gè) GPU 上使用 FP32 精度的 4.5 倍。您可以進(jìn)一步將訓(xùn)練擴(kuò)展到多 GPU 系統(tǒng)和多節(jié)點(diǎn)集群。

使用 NeMo Megatron 進(jìn)行大規(guī)模語(yǔ)言建模

基于 Transformer 的大規(guī)模語(yǔ)言模型正應(yīng)用于廣泛的自然語(yǔ)言任務(wù)，例如文本生成、摘要和聊天機(jī)器人。NeMo Megatron 能夠管理訓(xùn)練數(shù)據(jù)，并使用多達(dá)數(shù)萬(wàn)億個(gè)參數(shù)訓(xùn)練大規(guī)模模型。它會(huì)執(zhí)行數(shù)據(jù)管理任務(wù)，例如格式化、過(guò)濾、重復(fù)數(shù)據(jù)刪除和混合，使用其他方式完成這些任務(wù)可能需要花費(fèi)數(shù)月時(shí)間。它還使用張量并行性在節(jié)點(diǎn)內(nèi)擴(kuò)展模型，并利用數(shù)據(jù)和工作流并行性跨節(jié)點(diǎn)擴(kuò)展數(shù)據(jù)和模型。

NeMo Megatron 可依托數(shù)千個(gè) GPU 提供高訓(xùn)練效率，使企業(yè)訓(xùn)練大規(guī)模 NLP 變得可行。

NeMo Megatron 可以將經(jīng)過(guò)訓(xùn)練的模型導(dǎo)出到 NVIDIA Triton 推理服務(wù)器，以在多個(gè) GPU 和多個(gè)節(jié)點(diǎn)上運(yùn)行大規(guī)模 NLP 模型。

靈活、開(kāi)源、快速擴(kuò)展的生態(tài)系統(tǒng)

NeMo 基于 PyTorch 和 PyTorch Lightning 構(gòu)建，為研究人員開(kāi)發(fā)和集成他們已習(xí)慣使用的模組提供了便捷的途徑。PyTorch 和 PyTorch Lightning 是開(kāi)源 Python 庫(kù)，可提供用于合成模型的模組。

NeMo 集成了 Hydra 框架，助力研究人員輕松靈活地自定義模型/模組。Hydra 是一款熱門(mén)框架，可簡(jiǎn)化復(fù)雜的對(duì)話式 AI 模型的開(kāi)發(fā)。

NeMo 是一款開(kāi)源框架，研究人員可為其獻(xiàn)言獻(xiàn)策，也可在此基礎(chǔ)上進(jìn)行構(gòu)建。

部署到生產(chǎn)環(huán)境中

要在使用 NVIDIA Riva 的生產(chǎn)環(huán)境中部署 NeMo 語(yǔ)音模型，開(kāi)發(fā)者應(yīng)使用與 Riva 兼容的格式導(dǎo)出 NeMo 模型，然后執(zhí)行 Riva 構(gòu)建和部署命令，以創(chuàng)建可實(shí)時(shí)運(yùn)行的優(yōu)化技能。

審核編輯：湯梓紅