韓國(guó)先進(jìn)的移動(dòng)運(yùn)營(yíng)商構(gòu)建包含數(shù)百億個(gè)參數(shù)的大型語(yǔ)言模型，并使用 NVIDIA DGX SuperPOD 平臺(tái)和 NeMo Megatron 框架訓(xùn)練該模型。

在韓國(guó)受歡迎的 AI 語(yǔ)音助手 GiGA Genie 每天會(huì)與 800 萬(wàn)人交談。

這款 AI 賦能的揚(yáng)聲器由電信公司 KT 提供，不僅能控制電視和提供實(shí)時(shí)流量更新信息，還能根據(jù)語(yǔ)音命令完成大量其他家居輔助任務(wù)。得益于大型語(yǔ)言模型 (LLM)（能根據(jù)龐大的文本數(shù)據(jù)集識(shí)別、理解、預(yù)測(cè)和生成人類語(yǔ)言的機(jī)器學(xué)習(xí)算法），這款揚(yáng)聲器掌握了以極為復(fù)雜的韓語(yǔ)進(jìn)行對(duì)話的技能。

該公司構(gòu)建了包含數(shù)百億個(gè)參數(shù)的 LLM，并且使用NVIDIA DGX SuperPOD數(shù)據(jù)中心基礎(chǔ)架構(gòu)平臺(tái)與NeMo Megatron框架來(lái)訓(xùn)練和部署這些模型。

毫無(wú)疑問(wèn)，韓語(yǔ) (Hangul) 是一種極為復(fù)雜的語(yǔ)言。它包含四種類型的復(fù)合動(dòng)詞，而且詞語(yǔ)通常由兩個(gè)或更多個(gè)詞根組成。

KT 是韓國(guó)先進(jìn)的移動(dòng)運(yùn)營(yíng)商，擁有超過(guò) 2200 萬(wàn)用戶。該公司通過(guò)開(kāi)發(fā)包含大約 400 億個(gè)參數(shù)的 LLM，提高了智能揚(yáng)聲器對(duì)此類詞語(yǔ)的理解能力。此外，通過(guò)與 Amazon Alexa 進(jìn)行集成，GiGA Genie 也可以使用英語(yǔ)與用戶交談。

KT 的 LLM 開(kāi)發(fā)團(tuán)隊(duì)負(fù)責(zé)人 Hwijung Ryu 說(shuō)道：“借助基于Transformer的模型，我們顯著改善了 GiGA Genie 智能揚(yáng)聲器和我們客戶服務(wù)平臺(tái) AI 聯(lián)絡(luò)中心 (AICC) 的品質(zhì)?！?/p>

AICC 是基于云的一體式平臺(tái)，可提供 AI 語(yǔ)音代理和其他與客戶服務(wù)相關(guān)的應(yīng)用。

它可以接聽(tīng)電話并提供客戶需要的信息，或者快速將客戶轉(zhuǎn)接到人工代理，以便對(duì)更詳細(xì)的詢問(wèn)進(jìn)行解答。Ryu 指出，無(wú)需人工干預(yù)的 AICC 每天可以管理韓國(guó)各地打來(lái)的 10 萬(wàn)多個(gè)電話。

他補(bǔ)充說(shuō)道：“LLM 使 GiGA Genie 能夠更好地理解語(yǔ)言并生成更接近人類語(yǔ)言的句子，而 AICC 能更快地對(duì)詢問(wèn)類型進(jìn)行匯總和分類，從而將咨詢時(shí)間縮短 15 秒?！?/p>

訓(xùn)練大型語(yǔ)言模型

開(kāi)發(fā) LLM 可能是一個(gè)成本高昂且耗費(fèi)時(shí)間的過(guò)程，并需要深厚的專業(yè)技術(shù)知識(shí)和巨大的全棧技術(shù)投資。

NVIDIA AI 平臺(tái)簡(jiǎn)化并加快了 KT 的這一過(guò)程。

Ryu 說(shuō)：“我們利用 NVIDIA DGX SuperPOD 的強(qiáng)大性能以及 NeMo Megatron 的優(yōu)化算法和 3D 并行技術(shù)，更有成效地訓(xùn)練了 LLM 模型。NeMo Megatron 不斷采用新功能，這是我們認(rèn)為它在提高模型準(zhǔn)確性方面的巨大優(yōu)點(diǎn)?！?/p>

3D 并行對(duì)訓(xùn)練 KT 的 LLM 至關(guān)重要，它是一種分布式訓(xùn)練方法，可將超大規(guī)模的深度學(xué)習(xí)模型分散到多臺(tái)設(shè)備上。Ryu 指出，NeMo Megatron 使團(tuán)隊(duì)能夠以盡可能高的吞吐量輕松完成這項(xiàng)任務(wù)。

他補(bǔ)充道：“我們考慮過(guò)使用其他平臺(tái)，但很難找到從硬件級(jí)別到推理級(jí)別都能提供全棧環(huán)境的替代平臺(tái)。NVIDIA 還提供來(lái)自產(chǎn)品、工程團(tuán)隊(duì)等的出色專業(yè)知識(shí)，使我們輕松解決了多個(gè)技術(shù)問(wèn)題?！?/p>

Ryu 表示，通過(guò)使用 NeMo Megatron 中的超參數(shù)優(yōu)化工具，KT 訓(xùn)練其 LLM 的速度比使用其他框架快 2 倍。借助這些工具，用戶可以自動(dòng)找到更適合 LLM 訓(xùn)練和推理的配置，從而簡(jiǎn)化和加快開(kāi)發(fā)與部署過(guò)程。

KT 還計(jì)劃使用NVIDIA Triton 推理服務(wù)器來(lái)提供優(yōu)化的實(shí)時(shí)推理服務(wù)，以及使用NVIDIA Base Command Manager輕松監(jiān)控和管理其 AI集群中的數(shù)百個(gè)節(jié)點(diǎn)。

Ryu 說(shuō)：“得益于 LLM，KT 可以比以往更快地發(fā)布充滿競(jìng)爭(zhēng)力的產(chǎn)品。我們還確信我們的技術(shù)可以推動(dòng)其他公司的創(chuàng)新，因?yàn)樗梢杂脕?lái)增加價(jià)值和創(chuàng)造新穎的產(chǎn)品?！?/p>

KT 計(jì)劃在 11 月向開(kāi)發(fā)者發(fā)布 20 多個(gè)自然語(yǔ)言理解和自然語(yǔ)言生成 API（應(yīng)用程序編程接口）。這些 API 可用于多種任務(wù)，包括文檔摘要和分類、情緒識(shí)別和潛在不當(dāng)內(nèi)容的過(guò)濾等。

審核編輯：湯梓紅