IBM聲稱已開發(fā)出世界上第一批采用7納米技術(shù)構(gòu)建的用于AI推理和訓(xùn)練的高能效芯片。在2月初舉行的2021年國(guó)際固態(tài)電路虛擬會(huì)議上，該公司的研究人員詳細(xì)介紹了一種硬件加速器，該加速器支持多種模型類型，同時(shí)在所有模型類型上實(shí)現(xiàn)“領(lǐng)先”的電源效率。

AI加速器是一種專用硬件，旨在加速AI應(yīng)用程序，特別是神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)。它們?cè)谠O(shè)計(jì)上是多核的，并且專注于低精度算術(shù)或內(nèi)存計(jì)算，這兩者都可以提高大型AI算法的性能，并帶來(lái)更好的自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)和其他處理。

IBM表示，其四核的芯片（仍處于研究階段）已針對(duì)具有許多不同的AI和機(jī)器學(xué)習(xí)模型的低精度工作負(fù)載進(jìn)行了優(yōu)化。與高精度技術(shù)相比，低精度技術(shù)需要更少的硅面積和功耗，從而提高了緩存利用率，并減少了內(nèi)存瓶頸。這通常會(huì)減少訓(xùn)練AI模型的時(shí)間和精力成本。

IBM的AI加速器芯片是少數(shù)采用超低精度“混合FP8 ”格式并以基于極端紫外線光刻的封裝來(lái)訓(xùn)練深度學(xué)習(xí)模型的芯片。它也是率先采用電源管理的功能之一，能夠通過(guò)在高功耗的計(jì)算階段放慢速度來(lái)最大化性能。它提供了很高的持續(xù)利用率，表面上可以轉(zhuǎn)化為卓越的實(shí)際應(yīng)用性能。

據(jù)了解，這顆芯片用于用于“混合” FP8訓(xùn)練的時(shí)候，具有25.6Tflop / s的速度，而用于INT4推理，也可以做到102.4Top / s的速度。

混合8位浮點(diǎn)（HFP8）是IBM發(fā)明的一種格式（于2019年發(fā)布），它克服了標(biāo)準(zhǔn)8位（1個(gè)符號(hào)，5個(gè)指數(shù)，2個(gè)尾數(shù)）FP8浮點(diǎn)格式的局限性，在訓(xùn)練特定的8位浮點(diǎn)格式時(shí)效果很好標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)，但在訓(xùn)練其他網(wǎng)絡(luò)時(shí)會(huì)導(dǎo)致準(zhǔn)確性降低?；旌螰P8使用4個(gè)指數(shù)和3個(gè)尾數(shù)位進(jìn)行正向傳播，然后使用5個(gè)指數(shù)和2個(gè)尾數(shù)位進(jìn)行逆向傳播，這大大提高了訓(xùn)練的準(zhǔn)確性。

四個(gè)核通過(guò)一對(duì)寬的快速數(shù)據(jù)環(huán)鏈接在一起，一個(gè)用于順時(shí)針傳輸，另一個(gè)用于逆時(shí)針傳輸。這些可以保持在芯片內(nèi)關(guān)閉，也可以通過(guò)外部存儲(chǔ)器或多個(gè)相同的芯片打開并路由，以處理更大的網(wǎng)絡(luò)。環(huán)和內(nèi)核是異步的，以允許不同的時(shí)鐘速率分別交換功率以提高性能。

每個(gè)核心分為兩個(gè)共享暫存存儲(chǔ)器的子核心，然后每個(gè)子核心具有8×8引擎陣列，這些引擎經(jīng)過(guò)優(yōu)化，可通過(guò)用于浮點(diǎn)和定點(diǎn)計(jì)算的單獨(dú)管道來(lái)加速卷積和矩陣乘法–一起提供FP16，HFP8，INT4和INT2具有AI訓(xùn)練和推理功能。

該36mm 2 芯片采用EUV光刻技術(shù)制造，通過(guò)內(nèi)核上的0.75V和SRAM上的0.95V達(dá)到了上述性能指標(biāo)。利用在編譯網(wǎng)絡(luò)時(shí)收集的網(wǎng)絡(luò)知識(shí)，該芯片可以限制耗電的網(wǎng)絡(luò)層，以將其保持在功耗預(yù)算之內(nèi)。標(biāo)稱工作頻率（0.55V內(nèi)核，0.7V SRAM）產(chǎn)生1GHz時(shí)鐘，并具有3.5Tflop / s / W FP8和16Top / s / W INT4。

在實(shí)驗(yàn)中，IBM表示，其AI芯片通常可達(dá)到80％以上的訓(xùn)練利用率和60％以上的推理利用率。此外，該芯片的性能和功率效率超過(guò)了其他專用推理和訓(xùn)練芯片。

IBM未來(lái)2-3年的目標(biāo)是將新穎的AI芯片設(shè)計(jì)商業(yè)應(yīng)用到一系列應(yīng)用中，包括在云，隱私，安全性和自動(dòng)駕駛汽車方面的大規(guī)模訓(xùn)練。IBM研究人員Ankur Agrawal和Kailash Gopalakrishnan在博客中寫道：“我們的新AI核心和芯片可用于跨多個(gè)行業(yè)的許多新的云到邊緣應(yīng)用程序?！?“例如，它們可以用于使用8位格式（相對(duì)于當(dāng)前行業(yè)中使用的16位和32位格式）的視覺(jué)，語(yǔ)音和自然語(yǔ)言處理中的大規(guī)模深度學(xué)習(xí)模型的云訓(xùn)練。它們還可以用于云推理應(yīng)用程序，例如語(yǔ)音到文本AI服務(wù)，文本到語(yǔ)音AI服務(wù)，自然語(yǔ)言處理服務(wù)。
責(zé)任編輯:tzh