據(jù)外媒報(bào)道，IBM在其新發(fā)表的論文《分布式深度學(xué)習(xí)自動(dòng)語音識(shí)別策略》（Distributed Deep Learning Strategies for Automatic Speech Recognition）中提出了一種分布式處理架構(gòu)，該架構(gòu)可以在流行的開源基準(zhǔn)測試中使訓(xùn)練速度提升15倍，并且不會(huì)損失準(zhǔn)確性。該論文作者表示，將其部署在包含有多個(gè)顯卡的系統(tǒng)上，可以將訓(xùn)練時(shí)長從幾周的時(shí)間減少到幾天。

這項(xiàng)工作計(jì)劃于5月在IEEE聲學(xué)、語音和信號(hào)處理國際會(huì)議（ICASSP）上公布。

作為貢獻(xiàn)研究人員Wei Zhang、Xiaodong Cui和Brian Kingsbury在博客中寫道：“訓(xùn)練像蘋果的Siri、谷歌智能助理和亞馬遜的Alexa那樣的自動(dòng)語音識(shí)別（Automatic Speech Recognition，ASR）系統(tǒng)，需要復(fù)雜的編碼系統(tǒng)將語音轉(zhuǎn)換為深度學(xué)習(xí)系統(tǒng)和解碼系統(tǒng)能夠理解的功能，這些系統(tǒng)可以將輸出轉(zhuǎn)換為人類可讀的文本。更加復(fù)雜的模型將使大規(guī)模的訓(xùn)練更加困難?！?/p>

該團(tuán)隊(duì)的并行化解決方案需要提高批量大小，即可以一次處理的樣本數(shù)量，而不是不加選擇地處理，否則就會(huì)影響準(zhǔn)確性。他們將批量大小增加到2560個(gè)，同時(shí)應(yīng)用一種被稱為異步分散并行隨機(jī)梯度下降（ADPSGD）的分布式深度學(xué)習(xí)技術(shù)。

正如研究人員解釋的那樣，大多數(shù)深度學(xué)習(xí)模型要么采用同步優(yōu)化方法，這種方法受到緩慢系統(tǒng)的不成比例的影響，要么采用基于參數(shù)服務(wù)器（PS）的異步方法，這種方法往往會(huì)導(dǎo)致模型不太精確。相比之下，ADPSGD（IBM于2018年在一篇論文中首次詳述的）是異步和分散的，它保證了模型準(zhǔn)確性的基線水平，并為某些類型的優(yōu)化問題提供了加速。

在測試中，該論文的作者表示，ADPSGD將ASR作業(yè)的運(yùn)行時(shí)間，從單個(gè)V100圖形處理器系統(tǒng)上的一周縮短到32圖形處理器系統(tǒng)上的11.5小時(shí)。ADPSGD留給未來工作算法的時(shí)間，可以處理更大的批量和系統(tǒng)優(yōu)化更強(qiáng)大的硬件。

Zhang、Cui和Kingsbury寫道：“在半天內(nèi)完成訓(xùn)練工作是可取的，因?yàn)樗寡芯咳藛T能夠快速迭代開發(fā)新的算法。這也可以使開發(fā)人員快速調(diào)整現(xiàn)有模型以適應(yīng)他們的應(yīng)用，尤其是在需要大量語音以實(shí)現(xiàn)穩(wěn)健性和可用性所需的高精度的自定義用例中。”

訓(xùn)練自然語言理解模型不僅需要強(qiáng)大的硬件基礎(chǔ)以及數(shù)千小時(shí)語音和數(shù)以百萬的文本單詞的語料庫，而且整個(gè)訓(xùn)練過程中所耗費(fèi)的時(shí)間也是非常漫長的?？梢哉fIBM提出的分布式處理架構(gòu)大大減輕了計(jì)算負(fù)擔(dān)。