人工智能 （AI） 在相對較短的時間內(nèi)從科幻小說變成了我們生活中不可或缺的一部分。當(dāng)您想到 AI 時，您可能會想到能夠在國際象棋、圍棋或“危險”中超越人類的自動駕駛汽車或計算機。現(xiàn)實情況是，你會發(fā)現(xiàn)人工智能應(yīng)用無處不在——在定制的谷歌新聞源、潘多拉播放列表、Netflix 推薦、智能揚聲器語音識別、智能助手中的自然語言處理、車輛中的計算機視覺、智能工廠——還有無數(shù)更多的例子。當(dāng)您從亞馬遜購物時，機器學(xué)習(xí) （ML） 會在幕后工作，從提出購買建議到將點擊發(fā)貨時間縮短到僅 15 分鐘。

隨著人工智能應(yīng)用程序?qū)οM者越來越重要，數(shù)十億美元現(xiàn)在在商業(yè)世界中處于危險之中。例如，97% 的手機用戶使用人工智能語音助手。Siri 或 Cortana 誤解的語音命令對我們來說可能是一個小麻煩，但在語音助手市場上的失敗代表了蘋果、亞馬遜和谷歌之間的競爭中損失了數(shù)十億美元的份額 。還有更嚴重的挑戰(zhàn)——錯誤的自動駕駛算法或醫(yī)療保健行業(yè)的誤診可能導(dǎo)致致命后果和法律影響。

讓 AI 結(jié)果具有相關(guān)性、可靠性和易于獲得性是一場競賽。只有那些在最好的機器/深度學(xué)習(xí)基礎(chǔ)設(shè)施上訓(xùn)練過的人工智能模型，來自最大的數(shù)據(jù)集，才能生存下來。

ML/深度學(xué)習(xí)：不是您的平均計算工作量

機器學(xué)習(xí)——尤其是它的子集——深度學(xué)習(xí)系統(tǒng)——構(gòu)成了人工智能基礎(chǔ)設(shè)施的基礎(chǔ)。拋開復(fù)雜的數(shù)學(xué)問題不談，最簡單的 ML 算法通過對答案進行重復(fù)“猜測”來實現(xiàn)一個目標（例如，成功識別手寫符號），并通過檢查預(yù)期答案來從每個不準確的猜測中學(xué)習(xí)，直到猜測以非常高的準確度匹配預(yù)期的答案。這種反饋結(jié)構(gòu)稱為神經(jīng)網(wǎng)絡(luò)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)是機器/深度學(xué)習(xí)的過程。圖 1 顯示了一個用于手寫識別的相對簡單的神經(jīng)網(wǎng)絡(luò)示例。

圖1 用于手寫識別的神經(jīng)網(wǎng)絡(luò)示例［6］

深度神經(jīng)網(wǎng)絡(luò)使用更多層來獲得復(fù)雜目標的準確答案。深度學(xué)習(xí)過程使用不斷增加的訓(xùn)練數(shù)據(jù)集來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。目標越復(fù)雜，神經(jīng)網(wǎng)絡(luò)中的層數(shù)就越多，神經(jīng)網(wǎng)絡(luò)就越難訓(xùn)練。例如，百度的中文語音識別模型使用約 12，000 小時的語音訓(xùn)練數(shù)據(jù)，需要數(shù)十 exaflops 的計算，這需要長達六周的時間才能完成。圖像識別工作負載的計算要求呈指數(shù)級增長。

傳統(tǒng)的中央處理器 （CPU） 專為通用控制數(shù)據(jù)流而設(shè)計，對于 AI/ML 計算密集型工作負載效率不高。由于摩爾定律失效，供應(yīng)商無法跟上 CPU 的速度或大到足以處理 AI/ML 工作負載的速度。

分布式機器學(xué)習(xí)：摩爾定律的治愈方法

設(shè)計用于處理 AI/ML 工作負載的現(xiàn)代服務(wù)器遵循分散式架構(gòu) - 一個由多個專用加速器包圍的通用 CPU，用于處理從 ML 到加密、安全、存儲和網(wǎng)絡(luò)的任務(wù)。加速器可以是圖形處理單元 （GPU）、定制的現(xiàn)場可編程門陣列 （FPGA） 或定制的專用集成電路的組合。開放計算項目 （OCP） ［10］ 最近發(fā)布了 OCP 加速器模塊 （OAM）的通用外形規(guī)格，以簡化服務(wù)器設(shè)計并實現(xiàn)模塊化服務(wù)器架構(gòu)。

分散式架構(gòu)通過使用多個優(yōu)化的數(shù)據(jù)處理器提供原始 exaflops。然而，為了實現(xiàn)更大規(guī)模的機器學(xué)習(xí)，處理單元需要相互充分連接。在 2018 年分布式計算原理研討會上的演講展示了使用 TensorFlow在 ResNet-152 圖像分類方面的速度提高了近 10 倍。

圖 2中顯示的 ResNet-152 圖像分類示例 還強調(diào)了連接性在現(xiàn)代高度分布式機器學(xué)習(xí)系統(tǒng)中的重要性，其中多達 90% 的時間可能用于節(jié)點通信。

圖 2 分布式機器學(xué)習(xí)的好處 - 19 天到 2.4 天

審核編輯：郭婷