近日，?Google?AI負責(zé)人Jeff?Dean發(fā)推文表示，在最新一輪MLPerf基準測試中，Google新的ML超級計算機和最新的Tensor處理單元（TPU）芯片，打破了6項MLPerf基準測試記錄。

這6個模型分別是用于排名與推薦的DLRM模型;常用于自然語言處理的Transformer;還有Google搜尋所使用的BERT模型;廣泛用于圖像分類的ResNet-50模型;可在移動設(shè)備上執(zhí)行的輕量級物體偵測模型SSD;以及圖像分割模型Mask?R-CNN。

谷歌在博客中披露，該超級計算機包括4096個TPU?V3芯片和CPU數(shù)百個主機上的，并提供超過430?PFLOPs的峰值性能。較前一代TPU?v3相比，擁有兩倍的矩陣乘法效能，而且存儲器頻寬大幅增加，內(nèi)部相連技術(shù)也獲得改善，利用MLPerf基準測試比較TPU?v4和TPU?v3，TPU?v4平均效能提升2.7倍，最大的效能差異是用于訓(xùn)練Mask?R-CNN，TPU?v4的效能是TPU?v3的3.7倍。

Google使用TensorFlow、JAX和Lingvo中的機器學(xué)習(xí)模型實作，從零開始訓(xùn)練Transformer、SSD、BERT以及ResNet-50模型，訓(xùn)練時間皆在30秒之內(nèi)。而在2015年時，即便用最快的硬件加速器，訓(xùn)練其中一種模型，都需要花費3個多星期，現(xiàn)今相當于把相同模型的訓(xùn)練速度提升5個數(shù)量級。
責(zé)任編輯:pj