Hotchip 2023的相關(guān)PPT，我們會后續(xù)整理出來，給大家參考！上文講到內(nèi)存的變化有助于減少數(shù)據(jù)移動量，但這只是挑戰(zhàn)的一部分，本文將針對CPU改進(jìn)。

●? CPU計算-提高速度

下一個挑戰(zhàn)是提高主要CPU處理單元的速度。

一種方法是分支預(yù)測，類似于預(yù)測下一個操作的方式，就像互聯(lián)網(wǎng)搜索引擎一樣。然而，與任何并行架構(gòu)一樣，關(guān)鍵是確保各種處理單元充分運行，以最大限度地提高性能和效率。

Arm通過其Neoverse V2設(shè)計對這一概念進(jìn)行了改進(jìn)，將分支預(yù)測與獲取分離。這導(dǎo)致了通過減少停頓來提高效率，并更快地從錯誤預(yù)測中恢復(fù)。Arm的首席CPU架構(gòu)師Magnus Bruce表示：“動態(tài)饋送機(jī)制允許內(nèi)核調(diào)節(jié)攻擊性，并主動防止系統(tǒng)擁塞。這些基本概念使我們能夠推動機(jī)器的寬度和深度，保持較短的管道以快速恢復(fù)錯誤預(yù)測?！?/p>

這些改進(jìn)是通過在多個架構(gòu)點進(jìn)行微調(diào)而實現(xiàn)的，而不是進(jìn)行大規(guī)模改變。例如，分離分支預(yù)測和獲取可以將分支目標(biāo)緩沖區(qū)拆分為兩個級別，使其能夠處理多50%的條目。增加了預(yù)測器中存儲的歷史記錄三倍，并將獲取隊列中的條目數(shù)量增加一倍，從而顯著提高了實際性能。綜合考慮各種改進(jìn)，Neoverse V2的性能是V1的兩倍，具體取決于其在系統(tǒng)中的角色。

AMD的下一代Zen 4核心通過微架構(gòu)的改進(jìn)，每周期的指令數(shù)增加了約14%。由于工藝擴(kuò)展，5nm下的頻率提高了16%。由于微架構(gòu)和技術(shù)的改進(jìn)，功耗降低了約60%。物理設(shè)計也得到了改進(jìn)。

與Arm一樣，AMD也致力于改進(jìn)分支預(yù)測和獲取。AMD的研究員兼Zen 4首席架構(gòu)師Kai Troester表示，通過更多的分支、每周期更多的分支預(yù)測以及允許更多條目和每個條目更多操作的更大操作緩存，分支預(yù)測的準(zhǔn)確性得到了提高。此外，Zen 4增加了3D V高速緩存，將每個內(nèi)核的L3高速緩存提升至高達(dá)96 MB，并在256位數(shù)據(jù)路徑上使用兩個連續(xù)周期提供對512位操作的支持。這一設(shè)計擴(kuò)大了數(shù)據(jù)管道的規(guī)模，并盡可能縮短數(shù)據(jù)傳輸距離。

● 平臺系統(tǒng)架構(gòu)

平臺架構(gòu)方面的主要趨勢是領(lǐng)域特定性的不斷增加，這對通用處理器的傳統(tǒng)開發(fā)模式造成了破壞。現(xiàn)在的挑戰(zhàn)是如何提供本質(zhì)上大規(guī)模的定制，有兩種主要方法：

1）通過添加硬件或可編程邏輯來實現(xiàn)可編程性

2）開發(fā)可互換的平臺部件。

英特爾引入了一個將小芯片集成到先進(jìn)封裝中的框架，利用其嵌入式多芯片互連橋來連接高速I/O、處理器內(nèi)核和內(nèi)存。英特爾的目標(biāo)是提供足夠的定制和性能，以滿足客戶需求，但交付這些系統(tǒng)的速度比完全定制的架構(gòu)要快得多，并且結(jié)果是可預(yù)測的。

英特爾首席至強架構(gòu)師Chris Gianos表示。“這將是一個多芯片架構(gòu)，可以使用這些小芯片構(gòu)建結(jié)構(gòu)，具有很大的靈活性，只是互操作，為我們提供了專門優(yōu)化產(chǎn)品核心的維度之一。將創(chuàng)建E核（超高效）的小芯片和P核（高性能）的小芯片?！?/p>

英特爾還創(chuàng)建了一個模塊化網(wǎng)狀結(jié)構(gòu)來將各種組件連接在一起，以及一個支持DDR或MCR內(nèi)存以及通過CXL連接的內(nèi)存的通用控制器。

●?神經(jīng)處理器和光學(xué)互連

這是研究的重要方向，新方法和新技術(shù)的清單也是前所未有的。業(yè)界正在廣泛尋找增加性能、降低功耗的新方法，同時仍然關(guān)注面積和成本。對于AI/ML應(yīng)用程序來說，精度也至關(guān)重要。光子學(xué)在機(jī)架內(nèi)的服務(wù)器之間發(fā)揮著作用，但是否將其應(yīng)用到芯片層面仍不確定。這領(lǐng)域的工作仍在繼續(xù)，光子學(xué)受到了許多公司的關(guān)注。

整個行業(yè)正在積極尋找提高性能并降低功耗的全新方法，同時關(guān)注成本和芯片尺寸。PPAC（性能、功耗、面積、成本）仍然是關(guān)注的核心，但不同應(yīng)用和用例可能會對這些方面的權(quán)衡提出不同的要求。IBM的研究員Dharmendra Modha指出：“人工智能的運營支出和資本支出正變得難以維持?！彼M(jìn)一步表示：“架構(gòu)勝過摩爾定律?！边@強調(diào)了架構(gòu)創(chuàng)新在應(yīng)對當(dāng)前挑戰(zhàn)方面的重要性。

對于AI/ML應(yīng)用程序來說，精度至關(guān)重要。IBM的設(shè)計包括支持混合精度的向量矩陣乘法器、具有FP16精度的向量計算單元和激活函數(shù)單元。處理是在距離內(nèi)存幾微米的范圍內(nèi)完成的，避免了依賴于數(shù)據(jù)的條件分支、緩存未命中、停頓和推測執(zhí)行等問題。

復(fù)雜芯片所面臨的一個關(guān)鍵挑戰(zhàn)不僅在于內(nèi)存和處理器之間的數(shù)據(jù)傳輸，還包括芯片周圍的數(shù)據(jù)傳輸。片上網(wǎng)絡(luò)和其他互連結(jié)構(gòu)簡化了這一過程。盡管硅光子學(xué)在高速網(wǎng)絡(luò)芯片中已有所應(yīng)用，光子學(xué)在芯片層面的使用仍不確定。然而，光子學(xué)在許多公司中引起了廣泛關(guān)注，特別是在服務(wù)器之間的機(jī)架內(nèi)。

Lightelligence工程副總裁Maurice Steinman表示，已經(jīng)開發(fā)了基于光子學(xué)的專門加速器，速度比GPU快100倍，同時功耗顯著降低。該公司還研發(fā)了片上光學(xué)網(wǎng)絡(luò)，使用硅介質(zhì)層作為連接小芯片的媒介，而不是電子連接。

●?可持續(xù)性和可靠性

隨著所有這些變化，出現(xiàn)了兩個未解決的問題。

首先是可持續(xù)性問題。隨著越來越多的數(shù)據(jù)由芯片處理，能源消耗成為一個日益突出的挑戰(zhàn)，而制造這些設(shè)備也需要大量能源。盡管在數(shù)據(jù)中心方面已經(jīng)取得了一些進(jìn)展，但能源問題仍然存在。芯片制造商正積極尋找可持續(xù)發(fā)展的解決方案。

第二個未解決的問題是可靠性。現(xiàn)代芯片設(shè)計更加復(fù)雜，因此確保結(jié)果的準(zhǔn)確性和一致性變得更加困難。這一挑戰(zhàn)涉及到數(shù)據(jù)的分區(qū)、處理、重新聚合和分析，尤其是當(dāng)設(shè)備老化程度不同并以意想不到的方式交互時。可靠性問題需要深入研究和解決。

有關(guān)人工智能訓(xùn)練和CO2排放的數(shù)據(jù)可能具有誤導(dǎo)性。正確的數(shù)據(jù)分析對于理解問題的嚴(yán)重性至關(guān)重要。與此同時，模型從單一模態(tài)轉(zhuǎn)向多種模態(tài)，這包括圖像、文本、聲音和視頻，因此動力、可持續(xù)性和可靠性仍然是至關(guān)重要的關(guān)注點。

編輯：黃飛

?