NVIDIA NeMo 是一款供開發(fā)者構(gòu)建和訓(xùn)練先進(jìn)的對(duì)話式 AI 模型的開源框架。

NVIDIA NeMo 是什么？

NVIDIA NeMo 是一個(gè)框架，用于借助簡(jiǎn)單的 Python 界面構(gòu)建、訓(xùn)練和微調(diào) GPU 加速的語音和自然語言理解（NLU）模型。使用 NeMo，開發(fā)者可以創(chuàng)建新的模型架構(gòu)，并通過易于使用的應(yīng)用編程接口（API），在 NVIDIA GPU 中的Tensor Core 上使用混合精度計(jì)算對(duì)其進(jìn)行訓(xùn)練。

NeMo Megatron 是此框架的一部分，提供并行化技術(shù)（例如 Megatron-LM 研究項(xiàng)目中的工作流和張量并行化），用于訓(xùn)練大規(guī)模語言模型。

借助 NeMo，您可以構(gòu)建用于實(shí)時(shí)自動(dòng)語音識(shí)別（ASR）、自然語言處理（NLP）和文本轉(zhuǎn)語音（TTS）應(yīng)用（例如視頻通話轉(zhuǎn)錄、智能視頻助理以及醫(yī)療健康、金融、零售和電信行業(yè)的自動(dòng)化呼叫中心支持）的模型。

NVIDIA NeMo 的優(yōu)勢(shì)

快速建模

使用簡(jiǎn)單的 Python API 快速配置、構(gòu)建和訓(xùn)練模型。

可定制的模型

從 NVIDIA NGC 目錄中下載并自定義經(jīng)過預(yù)訓(xùn)練的先進(jìn)模型。

廣泛集成

實(shí)現(xiàn) NeMo 與 PyTorch 和 PyTorch Lightning 生態(tài)系統(tǒng)的互操作。

輕松部署

應(yīng)用 NVIDIA TensorRT 優(yōu)化，并導(dǎo)出至 NVIDIA Riva 進(jìn)行高性能推理

NVIDIA NeMo 的功能特性

輕松構(gòu)建新的模型架構(gòu)

NeMo 包含針對(duì) ASR、NLP 和 TTS 的特定領(lǐng)域集合，用于開發(fā) Citrinet、Jasper、BERT、Fastpitch 和 HiFiGAN 等先進(jìn)模型。NeMo 模型由神經(jīng)模組構(gòu)成，神經(jīng)模組是模型的基礎(chǔ)模組。神經(jīng)類型將這些模組的輸入和輸出強(qiáng)有力地類型化，可自動(dòng)在模塊之間執(zhí)行語義檢查。

NeMo 旨在提供高靈活性，您可以使用 Hydra 框架輕松修改模型的行為。例如，您可以使用 Hydra 在以下圖表中修改 Citrinet Encoder 模組的架構(gòu)。

訓(xùn)練先進(jìn)的對(duì)話式 AI 模型

NGC 中的幾個(gè) NeMo 預(yù)訓(xùn)練的先進(jìn)模型基于開源的免費(fèi)數(shù)據(jù)集在 NVIDIA DGX 上進(jìn)行了超過 100000 小時(shí)的訓(xùn)練。在訓(xùn)練您的用例之前，您可以微調(diào)這些模型或使用 NeMo 修改它們。

NeMo 使用 Tensor Core上的混合精度，訓(xùn)練速度能達(dá)到在單個(gè) GPU 上使用 FP32 精度的 4.5 倍。您可以進(jìn)一步將訓(xùn)練擴(kuò)展到多 GPU 系統(tǒng)和多節(jié)點(diǎn)集群。

使用 NeMo Megatron 進(jìn)行大規(guī)模語言建模

基于 Transformer 的大規(guī)模語言模型正應(yīng)用于廣泛的自然語言任務(wù)，例如文本生成、摘要和聊天機(jī)器人。NeMo Megatron 能夠管理訓(xùn)練數(shù)據(jù)，并使用多達(dá)數(shù)萬億個(gè)參數(shù)訓(xùn)練大規(guī)模模型。它會(huì)執(zhí)行數(shù)據(jù)管理任務(wù)，例如格式化、過濾、重復(fù)數(shù)據(jù)刪除和混合，使用其他方式完成這些任務(wù)可能需要花費(fèi)數(shù)月時(shí)間。它還使用張量并行性在節(jié)點(diǎn)內(nèi)擴(kuò)展模型，并利用數(shù)據(jù)和工作流并行性跨節(jié)點(diǎn)擴(kuò)展數(shù)據(jù)和模型。

NeMo Megatron 可依托數(shù)千個(gè) GPU 提供高訓(xùn)練效率，使企業(yè)訓(xùn)練大規(guī)模 NLP 變得可行。

NeMo Megatron 可以將經(jīng)過訓(xùn)練的模型導(dǎo)出到 NVIDIA Triton 推理服務(wù)器，以在多個(gè) GPU 和多個(gè)節(jié)點(diǎn)上運(yùn)行大規(guī)模 NLP 模型。

靈活、開源、快速擴(kuò)展的生態(tài)系統(tǒng)

NeMo 基于 PyTorch 和 PyTorch Lightning 構(gòu)建，為研究人員開發(fā)和集成他們已習(xí)慣使用的模組提供了便捷的途徑。PyTorch 和 PyTorch Lightning 是開源 Python 庫，可提供用于合成模型的模組。

NeMo 集成了 Hydra 框架，助力研究人員輕松靈活地自定義模型/模組。Hydra 是一款熱門框架，可簡(jiǎn)化復(fù)雜的對(duì)話式 AI 模型的開發(fā)。

NeMo 是一款開源框架，研究人員可為其獻(xiàn)言獻(xiàn)策，也可在此基礎(chǔ)上進(jìn)行構(gòu)建。

部署到生產(chǎn)環(huán)境中

要在使用 NVIDIA Riva 的生產(chǎn)環(huán)境中部署 NeMo 語音模型，開發(fā)者應(yīng)使用與 Riva 兼容的格式導(dǎo)出 NeMo 模型，然后執(zhí)行 Riva 構(gòu)建和部署命令，以創(chuàng)建可實(shí)時(shí)運(yùn)行的優(yōu)化技能。

審核編輯：湯梓紅