會話 AI 服務已經(jīng)存在多年，但不論是聊天機器人，還是智能個人助理或搜索引擎，其理解能力很難達到與人類相當?shù)乃健?strong>主要瓶頸則在于超大型AI模型的實施部署無法實現(xiàn)。正因如此，不論是Google、Microsoft、Facebook，還是阿里巴巴、百度等，都在模型的部署方面孜孜以求。

NVIDIA于太平洋時間8月13日宣布重大突破：BERT訓練時間實現(xiàn)創(chuàng)紀錄的53分鐘，推理時間縮短至2毫秒，并構(gòu)建了迄今為止同類型中最大的語言模型，使得實時會話 AI與用戶進行互動時更為自然。

超大模型面前，GPU再證強大可擴展性

BERT（Bidirectional Encoder Representations from Transformers）是世界上最先進的AI語言模型之一，Google于去年發(fā)布不久就刷爆AI業(yè)界。作為一種新型的語言模型，它只需一個額外的輸出層對預訓練BERT進行微調(diào)就可以滿足各種任務，而無需再對模型進行修改，實現(xiàn)了在11項NLP任務上取得突破進展。

在對BERT模型進行訓練時，NVIDIA使用搭載了92臺 NVIDIA DGX-2H系統(tǒng)的 NVIDIA DGX SuperPOD運行該模型的大型版本，憑借1472個NVIDIA V100 GPU的強大性能，NVIDIA將BERT-Large的典型訓練時間從幾天縮短至僅僅 53 分鐘。

此外，NVIDIA還在單獨一臺NVIDIA DGX-2系統(tǒng)上執(zhí)行了BERT-Large 模型的訓練任務，用時也僅為 2.8天，充分體現(xiàn)了GPU在會話 AI 方面的可擴展性。

推理方面，借助于運行了NVIDIA TensorRT的NVIDIA T4 GPU，NVIDIA 執(zhí)行 BERT-Base SQuAD數(shù)據(jù)集的推理任務，用時僅為2.2毫秒，遠低于許多實時應用程序所需的10毫秒處理閾值；與使用高度優(yōu)化的CPU代碼時所測得的40多毫秒相比，有著顯著改進。

對此，NVIDIA 深度學習應用研究副總裁 Bryan Catanzaro 表示，“對于適用于自然語言的AI而言，大型語言模型正在為其帶來革新。NVIDIA 所取得的突破性工作成果加速了這些模型的創(chuàng)建，它們能夠幫助解決那些最為棘手的語言問題，讓我們距離實現(xiàn)真正的會話 AI 更進了一步。

NVIDIA BERT推理解決方案Faster Transformer宣布開源

開發(fā)者們對于更大模型的需求正在日益增長，NVIDIA 研究團隊基于Transformer構(gòu)建并訓練了世界上最大的語言模型。Transformer是BERT的技術構(gòu)件，正被越來越多的其他自然語言AI模型所使用。NVIDIA定制的模型包含83億個參數(shù)，是BERT-Large的24 倍。

2017年12月Google在論文“Attention is All You Need”中首次提出了Transformer，將其作為一種通用高效的特征抽取器。至今，Transformer已經(jīng)被多種NLP模型采用，比如BERT以及上月發(fā)布重刷其記錄的XLNet，這些模型在多項NLP任務中都有突出表現(xiàn)。在NLP之外，TTS、ASR等領域也在逐步采用Transformer?？梢灶A見，Transformer這個簡潔有效的網(wǎng)絡結(jié)構(gòu)會像CNN和RNN一樣被廣泛采用。

不過，雖然Transformer在多種場景下都有優(yōu)秀表現(xiàn)，但是在推理部署階段，其計算性能卻受到了巨大的挑戰(zhàn)：以BERT為原型的多層Transformer模型，其性能常常難以滿足在線業(yè)務對于低延遲（保證服務質(zhì)量）和高吞吐（考慮成本）的要求。以BERT-BASE為例，超過90%的計算時間消耗在12層Transformer的前向計算上。因此，一個高效的Transformer 前向計算方案，既可以為在線業(yè)務帶來降本增效的作用，也有利于以Transformer結(jié)構(gòu)為核心的各類網(wǎng)絡在更多實際工業(yè)場景中落地。

NVIDIA GPU計算專家團隊針對Transformer推理提出的性能優(yōu)化方案Faster Transformer宣布開源，其底層基于CUDA和cuBLAS，是一個BERT Transformer 單層前向計算的高效實現(xiàn)，其代碼簡潔明了，后續(xù)可以通過簡單修改支持多種Transformer結(jié)構(gòu)。目前優(yōu)化集中在編碼器（encoder）的前向計算（解碼器decoder開發(fā)在后續(xù)特性規(guī)劃中），能夠助力于多種BERT的應用場景。Faster Transformer對外提供C++ API，TensorFlow OP 接口，以及TensorRT插件，并提供了相應的示例，用以支持用戶將其集成到不同的線上應用代碼中。

2021年15%的客服互動將通過AI完成

預計未來幾年，基于自然語言理解的 AI 服務將呈指數(shù)級增長。根據(jù)Juniper Research 的研究表明，在未來4年中，僅數(shù)字語音助手的數(shù)量就將有望從25 億攀升到 80 億。此外，據(jù)Gartner預計，到 2021 年，15%的客服互動都將通過AI完成，相比2017年將增長4倍。

當前，全球數(shù)以百計的開發(fā)者都使用 NVIDIA 的 AI 平臺，來推進他們自己的語言理解研究并創(chuàng)建新的服務。

Microsoft Bing正在通過先進的 AI 模型和計算平臺，為客戶提供更好的搜索體驗。通過與 NVIDIA 密切合作，Bing 使用 NVIDIA GPU（Azure AI 基礎設施的一部分）進一步優(yōu)化了熱門自然語言模型 BERT 的推理功能，從而大幅提升了 Bing 于去年部署的排名搜索的搜索質(zhì)量。與基于 CPU 的平臺相比，使用 Azure NVIDIA GPU 進行推理，延遲降低了一半，吞吐量提升了5倍。

多家初創(chuàng)公司（例如Clinc、Passage AI 和Recordsure等）正在使用 NVIDIA的AI平臺為銀行、汽車制造商、零售商、醫(yī)療服務提供商、旅行社和酒店等客戶構(gòu)建先進的會話 AI 服務。據(jù)悉，中國市場也有相應的合作伙伴，日后將進一步公開。

會話AI才是真正意義上的人工智能的基本特征，不論是語言模型還是訓練、推理，底層技術的逐步強大，才是實現(xiàn)這一切的基礎。距離我們所期望的人工智能雖然還很遙遠，但技術上的每一次突破都值得記載。