香港浸會(huì)大學(xué)（HKBU）的研究人員與來自騰訊機(jī)器學(xué)習(xí)的團(tuán)隊(duì)合作，創(chuàng)造了一種新技術(shù)，可在保持準(zhǔn)確性的同時(shí)以前所未有的速度訓(xùn)練人工智能（AI）機(jī)器。

在實(shí)驗(yàn)期間，研究小組分別在短短4分鐘和6.6分鐘內(nèi)訓(xùn)練了兩個(gè)流行的深度神經(jīng)網(wǎng)絡(luò)，分別稱為AlexNet和ResNet-50。以前，最快的培訓(xùn)時(shí)間是AlexNet 11分鐘，ResNet-50 15分鐘。

AlexNet和ResNet-50是基于ImageNet建立的深度神經(jīng)網(wǎng)絡(luò)，ImageNet是用于視覺識(shí)別的大規(guī)模數(shù)據(jù)集。經(jīng)過訓(xùn)練后，系統(tǒng)便能夠識(shí)別并標(biāo)記給定照片中的物體。結(jié)果比以前的記錄快得多，并且勝過所有其他現(xiàn)有系統(tǒng)。

機(jī)器學(xué)習(xí)是一組數(shù)學(xué)方法，可使計(jì)算機(jī)從數(shù)據(jù)中學(xué)習(xí)，而無(wú)需人工進(jìn)行編程。然后，可以將所得的算法應(yīng)用于AI中使用的各種數(shù)據(jù)和視覺識(shí)別任務(wù)。

浸大的團(tuán)隊(duì)由朱小文教授和博士組成。來自計(jì)算機(jī)科學(xué)系的學(xué)生Shi Shaohuai。儲(chǔ)教授說：“我們提出了一種新的優(yōu)化訓(xùn)練方法，可以在不損失準(zhǔn)確性的情況下顯著提高最佳輸出。在AI訓(xùn)練中，研究人員力求更快地訓(xùn)練其網(wǎng)絡(luò)，但這會(huì)導(dǎo)致準(zhǔn)確性下降。結(jié)果，訓(xùn)練在保持精度和精度的同時(shí)，高速進(jìn)行機(jī)器學(xué)習(xí)的模型是科學(xué)家們的重要目標(biāo)?！?/p>

朱教授說，訓(xùn)練AI 機(jī)器所需的時(shí)間受計(jì)算時(shí)間和通信時(shí)間的影響。研究團(tuán)隊(duì)在這兩個(gè)方面均取得了突破，創(chuàng)造了這一破紀(jì)錄的成就。

這包括采用一種稱為FP16的更簡(jiǎn)單的計(jì)算方法來替代更傳統(tǒng)的FP32，從而使計(jì)算速度更快而又不損失準(zhǔn)確性。由于通信時(shí)間受數(shù)據(jù)塊大小的影響，因此該團(tuán)隊(duì)提出了一種名為“張量融合”的通信技術(shù)，該技術(shù)將較小的數(shù)據(jù)片段合并為較大的數(shù)據(jù)片段，優(yōu)化了傳輸模式，從而提高了AI訓(xùn)練期間的通信效率。

這項(xiàng)新技術(shù)可以用于大規(guī)模圖像分類，還可以應(yīng)用于其他AI應(yīng)用程序，包括機(jī)器翻譯;自然語(yǔ)言處理（NLP），以增強(qiáng)人類語(yǔ)言與計(jì)算機(jī)之間的交互;醫(yī)學(xué)影像分析;和在線多人戰(zhàn)斗游戲。