芯片企業(yè)正在借助不斷演進(jìn)和革命性技術(shù)，以在功耗相同或更低的情況下顯著提高性能，這標(biāo)志著從制造驅(qū)動(dòng)設(shè)計(jì)到半導(dǎo)體架構(gòu)師驅(qū)動(dòng)設(shè)計(jì)的根本性轉(zhuǎn)變。

?

● ?計(jì)算任務(wù)改變對(duì)計(jì)算架構(gòu)的需求

過(guò)去大多數(shù)芯片只包含一到兩項(xiàng)先進(jìn)技術(shù)，主要是為了跟上每隔幾年新工藝節(jié)點(diǎn)的光刻技術(shù)改進(jìn)，是根據(jù)行業(yè)路線圖進(jìn)行的，要求在未來(lái)能夠獲得可預(yù)測(cè)但不顯著的收益。隨著大型語(yǔ)言模型和傳感器數(shù)據(jù)的爆炸式增長(zhǎng)，以及自行設(shè)計(jì)芯片的系統(tǒng)公司之間的競(jìng)爭(zhēng)加劇，以及國(guó)際競(jìng)爭(zhēng)在人工智能領(lǐng)域不斷激烈，芯片設(shè)計(jì)的規(guī)則正在發(fā)生重大變化。

漸進(jìn)式改進(jìn)與性能的巨大飛躍相結(jié)合，雖然這些改進(jìn)將計(jì)算和分析能力提升到全新水平，但也需要全新的權(quán)衡考慮。這些變革的核心在于高度定制的芯片架構(gòu)，芯片是在最先進(jìn)的工藝節(jié)點(diǎn)開(kāi)發(fā)的。并行處理變得幾乎是必然的，加速器用于特定數(shù)據(jù)類(lèi)型和操作。在某些情況下，這些微型系統(tǒng)可能不會(huì)商業(yè)銷(xiāo)售，因?yàn)樗鼈優(yōu)閿?shù)據(jù)中心提供了競(jìng)爭(zhēng)優(yōu)勢(shì)。

也可能包括其他商業(yè)技術(shù)，如處理核心、加速器、減少延遲的內(nèi)存內(nèi)或近內(nèi)存計(jì)算技術(shù)，以及不同的緩存策略、共同封裝的光學(xué)器件和更快速的互連。其中許多進(jìn)展多年來(lái)一直處于研究或擱置狀態(tài)，現(xiàn)在正在全面部署。

在最近的Hot Chips 2023會(huì)議上，谷歌研究院的工程研究員兼機(jī)器學(xué)習(xí)系統(tǒng)副總裁Amin Vahdat指出，現(xiàn)在的芯片可以解決十年前無(wú)法想象的問(wèn)題，機(jī)器學(xué)習(xí)正在承擔(dān)越來(lái)越多的任務(wù)。需要改變對(duì)系統(tǒng)設(shè)計(jì)的看法。過(guò)去五、六、七年中計(jì)算需求的增長(zhǎng)令人震驚...雖然在[算法]稀疏性方面出現(xiàn)了許多創(chuàng)新，10倍每個(gè)模型的參數(shù)數(shù)量持續(xù)一年。計(jì)算成本隨著參數(shù)數(shù)量的增加而超線性增長(zhǎng)。必須構(gòu)建一種不同的計(jì)算基礎(chǔ)設(shè)施來(lái)應(yīng)對(duì)這一挑戰(zhàn)。值得注意的是，如果嘗試在通用計(jì)算上做到這一點(diǎn)，就不會(huì)取得今天的成就，在過(guò)去50或60年間開(kāi)發(fā)的傳統(tǒng)計(jì)算智慧已被拋棄?！?/p>

舊問(wèn)題并沒(méi)有解決，功耗和散熱一直是設(shè)計(jì)團(tuán)隊(duì)頭疼的問(wèn)題，并且隨著處理速度和數(shù)量的增加，問(wèn)題變得更加難以解決。在大約3GHz之后，由于熱密度更高且芯片無(wú)法散發(fā)熱量，僅僅提高時(shí)鐘頻率就不再是一個(gè)簡(jiǎn)單的選擇。雖然稀疏數(shù)據(jù)模型和軟硬件協(xié)同設(shè)計(jì)提高了在各種處理元件上運(yùn)行的軟件效率，以及每個(gè)計(jì)算周期處理更多數(shù)據(jù)的能力，但不再需要轉(zhuǎn)動(dòng)一個(gè)旋鈕來(lái)提高每瓦性能。隨著數(shù)據(jù)的增加和架構(gòu)創(chuàng)新的轉(zhuǎn)變，這些經(jīng)濟(jì)學(xué)發(fā)生了巨大的變化，這一點(diǎn)在今年的Hot Chips會(huì)議上顯而易見(jiàn)。

解決的辦法包括內(nèi)存中/近內(nèi)存處理，以及更接近數(shù)據(jù)源的處理。移動(dòng)大量數(shù)據(jù)需要大量的系統(tǒng)資源——帶寬、電力和時(shí)間——這對(duì)計(jì)算有直接的經(jīng)濟(jì)影響。一般來(lái)說(shuō)，收集和處理的大部分?jǐn)?shù)據(jù)都是無(wú)用的。汽車(chē)或安全系統(tǒng)中的視頻輸入中的相關(guān)數(shù)據(jù)可能僅持續(xù)一兩秒，而可能需要數(shù)小時(shí)的數(shù)據(jù)進(jìn)行整理。對(duì)靠近源頭的數(shù)據(jù)進(jìn)行預(yù)處理，并使用人工智能來(lái)識(shí)別感興趣的數(shù)據(jù)，意味著只需發(fā)送一小部分?jǐn)?shù)據(jù)進(jìn)行進(jìn)一步處理和存儲(chǔ)。

三星首席工程師Jin Hyun Kim表示：“大部分能源消耗來(lái)自移動(dòng)數(shù)據(jù)?！?他指出了三種提高效率和提升績(jī)效的解決方案：使用HBM進(jìn)行內(nèi)存處理，實(shí)現(xiàn)極高的帶寬和功耗；使用LPDDR對(duì)需要高容量的低功耗設(shè)備進(jìn)行內(nèi)存處理；使用CXL進(jìn)行近內(nèi)存處理，以適中的成本實(shí)現(xiàn)極高的容量。

內(nèi)存處理已經(jīng)醞釀了很多年，直到最近才出現(xiàn)太大進(jìn)展。大型語(yǔ)言模型已經(jīng)極大地推動(dòng)了這項(xiàng)技術(shù)的發(fā)展。大部分?jǐn)?shù)據(jù)處理中的計(jì)算都是稀疏的，這意味著許多數(shù)值是零。利用這一點(diǎn)需要另一種類(lèi)型的處理單元，這種處理單元要比通用計(jì)算單元快，也要節(jié)省能源。沒(méi)有人會(huì)完全放棄通用處理器，在大部分的應(yīng)用中具有多樣性需求的硬件。

內(nèi)存加速對(duì)于 AI/ML 的乘法累加 (MAC) 函數(shù)特別有用，因?yàn)樾枰焖偬幚淼臄?shù)據(jù)量呈爆炸式增長(zhǎng)。使用生成式預(yù)訓(xùn)練 Transformer 3 (GPT-3) 和 GPT4，僅加載數(shù)據(jù)就需要大量帶寬。與此相關(guān)的挑戰(zhàn)有很多，包括如何有效地做到這一點(diǎn)，同時(shí)最大限度地提高性能和吞吐量，如何擴(kuò)展它以處理大型語(yǔ)言模型中參數(shù)數(shù)量的快速增加，以及如何建立靈活性以適應(yīng)未來(lái)的變化。

SK hynix America 高級(jí)技術(shù)經(jīng)理 Yonkwee Kwon 在 Hot Chips 2023 上的演講中表示：“一開(kāi)始的想法是將內(nèi)存作為加速器，第一個(gè)目標(biāo)是實(shí)現(xiàn)高效擴(kuò)展，擁有高性能也很重要。設(shè)計(jì)的系統(tǒng)架構(gòu)易于編程，同時(shí)最大限度地減少系統(tǒng)結(jié)構(gòu)開(kāi)銷(xiāo)，但仍然允許軟件堆棧實(shí)現(xiàn)靈活性。

● ?CPU的改進(jìn)

計(jì)算的開(kāi)銷(xiāo)也是一個(gè)重要的內(nèi)容，計(jì)算要求大量的能量，隨著數(shù)據(jù)的增加，處理元素的數(shù)量將越來(lái)越多。要找到這些計(jì)算元素，需要大量的互連，而這些互連要么會(huì)增加成本，要么會(huì)增加功耗，或者兩者兼而有之。從計(jì)算工作負(fù)載的核心到核心移動(dòng)數(shù)據(jù)意味著不僅需要互連，還需要一種具有高度可擴(kuò)展性和能夠使用低功耗傳輸大量數(shù)據(jù)的技術(shù)。這需要更復(fù)雜的網(wǎng)絡(luò)拓?fù)洌枰谡麄€(gè)系統(tǒng)級(jí)別進(jìn)行管理，以確保能夠處理大量數(shù)據(jù)。

我們?cè)谙掳氩糠钟懻撨@個(gè)內(nèi)容。

● ?小結(jié)

芯片企業(yè)和設(shè)計(jì)者正處于一個(gè)充滿挑戰(zhàn)和機(jī)會(huì)的時(shí)代，隨著數(shù)據(jù)和計(jì)算需求的不斷增長(zhǎng)，創(chuàng)新者正在尋找新的方式來(lái)提高性能、降低功耗、改善能源效率以及優(yōu)化數(shù)據(jù)處理和分析的方法。這需要從傳統(tǒng)的計(jì)算模型和設(shè)計(jì)方法中脫穎而出，采用更加定制化和創(chuàng)新性的解決方案，以滿足未來(lái)的需求。

編輯：黃飛

?