大語(yǔ)言模型(LLMs)正以革命性的姿態(tài)重塑我們與科技的互動(dòng)模式。然而，由于其龐大的規(guī)模，它們往往屬于資源密集型范疇，不僅大幅推高了成本，還造成了能源消耗的激增。本文深入剖析了大語(yǔ)言模型的規(guī)模大小、硬件需求以及所涉及的財(cái)務(wù)影響這三者之間的內(nèi)在聯(lián)系。我們將深入探究現(xiàn)實(shí)中大語(yǔ)言模型的發(fā)展趨勢(shì)，并共同探討如何借助規(guī)模更小、效能更高的模型，打造一個(gè)更具可持續(xù)性的人工智能生態(tài)系統(tǒng)。

理解模型規(guī)模：參數(shù)與性能

不妨將大語(yǔ)言模型視作一個(gè)大腦，其中有著數(shù)十億個(gè)名為“參數(shù)”的“細(xì)胞”。其“細(xì)胞”數(shù)量越多，它便越智能，功能也越發(fā)強(qiáng)大。從傳統(tǒng)意義上來(lái)說(shuō)，規(guī)模更大的模型往往具備更卓越的理解能力，所儲(chǔ)備的知識(shí)也更為豐富——這就好比一個(gè)大腦，同時(shí)擁有了更高的智商和更強(qiáng)大的記憶力。本質(zhì)上，一個(gè)大型的大語(yǔ)言模型就如同一位學(xué)識(shí)深厚、見(jiàn)解獨(dú)到的專家。然而，獲取這種專業(yè)能力是需要付出代價(jià)的。這些規(guī)模更大的模型需要更為強(qiáng)勁的計(jì)算機(jī)來(lái)驅(qū)動(dòng)，能耗也會(huì)大幅增加，不僅使成本顯著上升，對(duì)環(huán)境產(chǎn)生的影響也不容小覷*。

為了能更好地對(duì)語(yǔ)言模型進(jìn)行分類，按照模型規(guī)模大小來(lái)劃分會(huì)很有幫助。這張圖表展示了不同類別的模型，以及與之對(duì)應(yīng)的參數(shù)數(shù)量和示例：

基于公開(kāi)可用信息(在可獲取的情況下)和行業(yè)對(duì)閉源模型的估計(jì)。

大語(yǔ)言模型：性能更優(yōu)，體積更小

我們不妨以 Llama 模型為例。這些模型的迅猛發(fā)展，凸顯出人工智能領(lǐng)域的一個(gè)關(guān)鍵趨勢(shì)：對(duì)效率與性能的高度重視。

2023年8月，Llama 2 700億參數(shù)(70B)版本一經(jīng)推出，便被視作頂級(jí)基礎(chǔ)模型。然而，其龐大的規(guī)模對(duì)硬件要求極高，只有像 NVIDIA H100 這樣強(qiáng)勁的加速器才能支撐其運(yùn)行。短短不到九個(gè)月后，Meta 公司推出了 Llama 3 80億參數(shù)(8B)版本，模型規(guī)模銳減近九倍。這一優(yōu)化使得該模型不僅能夠在更為小巧的人工智能加速器上運(yùn)行，甚至在經(jīng)過(guò)優(yōu)化的 CPU 上也能順暢運(yùn)作，硬件成本與功耗均大幅降低。尤為值得一提的是，在準(zhǔn)確性基準(zhǔn)測(cè)試中，Llama 3 80億參數(shù)版本的表現(xiàn)超越了參數(shù)更多、體積更大的前代模型。

*信息來(lái)源及測(cè)試方法：出自 “指令微調(diào)模型” 部分:

這一趨勢(shì)在2024年9月 Llama 3.2發(fā)布時(shí)得以延續(xù)，該版本推出了適用于多種應(yīng)用場(chǎng)景的10億參數(shù)(1B)和30億參數(shù)(3B)變體。就連像 Llama 3.2 4050億參數(shù)(405B)這樣的大型三類模型也在縮小規(guī)模。2024年12月，Llama 3.3 700億參數(shù)(70B)版本問(wèn)世，在 MMLU 聊天測(cè)評(píng)中取得了86.0的分?jǐn)?shù)*，幾乎與參數(shù)規(guī)模大得多的前代模型 Llama 3.2 4050億參數(shù)(405B)所獲得的88.6分相當(dāng)。

這表明，如今較小規(guī)模類別的模型在使用更少計(jì)算資源的情況下，其性能(準(zhǔn)確性)已能與上一代較大規(guī)模類別的模型相媲美。這種向更小、更高效模型的轉(zhuǎn)變正在推動(dòng)人工智能的普及，有助于讓更多人能夠使用人工智能，同時(shí)也使其更具可持續(xù)性*。更妙的是，這種朝著小型語(yǔ)言模型發(fā)展的趨勢(shì)在未來(lái)很可能會(huì)持續(xù)下去，因此可以預(yù)期，未來(lái)發(fā)布的新模型其規(guī)?？赡軙?huì)比當(dāng)前一代的模型小很多倍。

模型愈發(fā)貼合特定應(yīng)用場(chǎng)景

我們正見(jiàn)證著一種日益增長(zhǎng)的趨勢(shì)，即通過(guò)一種名為知識(shí)蒸餾的過(guò)程來(lái)創(chuàng)建專門的人工智能模型。這種技術(shù)本質(zhì)上是從大語(yǔ)言模型中“去除冗余”，剔除不必要的信息，并常常針對(duì)特定任務(wù)對(duì)其進(jìn)行優(yōu)化。

可以這樣理解：一家大型銷售機(jī)構(gòu)想要分析其內(nèi)部數(shù)據(jù)，它并不需要一個(gè)能夠?qū)懺?shī)或設(shè)計(jì)建筑的人工智能模型。同樣，一個(gè)需要編碼幫助的工程部門也不需要一個(gè)擁有豐富鳥(niǎo)類遷徙知識(shí)的模型。

通過(guò)知識(shí)蒸餾，我們能夠創(chuàng)建出在指定領(lǐng)域表現(xiàn)卓越的高度專業(yè)化模型。這些模型更加精簡(jiǎn)、運(yùn)行速度更快且效率更高，因?yàn)樗鼈儧](méi)有被無(wú)關(guān)信息所累。

這種朝著特定領(lǐng)域模型發(fā)展的趨勢(shì)帶來(lái)了諸多好處：

? 提高準(zhǔn)確性：通過(guò)專注于特定領(lǐng)域，這些模型在其專業(yè)領(lǐng)域內(nèi)能夠?qū)崿F(xiàn)更高的準(zhǔn)確性和更好的性能表現(xiàn)。

? 降低資源消耗：規(guī)模更小、更具針對(duì)性的模型通常所需的計(jì)算能力和內(nèi)存更少，這有助于使其更具成本效益且更加節(jié)能。

? 增強(qiáng)可部署性：特定領(lǐng)域的模型可以輕松部署在更廣泛的硬件上，包括直接在經(jīng)過(guò)人工智能優(yōu)化的 CPU 上進(jìn)行推理。

隨著人工智能的不斷發(fā)展，我們可以預(yù)期，這些專門的模型將大量涌現(xiàn)，在從客戶服務(wù)、醫(yī)學(xué)診斷到金融分析、科學(xué)研究等各個(gè)特定領(lǐng)域中表現(xiàn)出色。我們期待看到在全球范圍內(nèi)的各個(gè)行業(yè)和應(yīng)用中，新的潛力被不斷挖掘出來(lái)。

你的人工智能運(yùn)行速度是不是太快了?

人們往往很容易想要把重點(diǎn)放在最大化人工智能推理速度上(就好比吹噓一輛跑車的最高時(shí)速那樣)，但一種更為實(shí)際的做法是考慮用戶的實(shí)際需求。

就像用一輛跑車來(lái)滿足日常通勤需求有點(diǎn)大材小用一樣，以閃電般的速度生成文本對(duì)于人機(jī)交互來(lái)說(shuō)可能也沒(méi)有必要。有資料顯示，普通人每分鐘能閱讀200到300個(gè)英文單詞。人工智能模型很容易就能超過(guò)這個(gè)速度，但根據(jù)與人工智能平臺(tái)聯(lián)盟*的合作經(jīng)驗(yàn)，每分鐘輸出大約450個(gè)單詞(每秒10個(gè)詞元，按每個(gè)英文單詞約1.3個(gè)詞元來(lái)算*)的速度通常就足夠了。

一味地追求絕對(duì)速度可能會(huì)導(dǎo)致不必要的成本增加和流程復(fù)雜化。一種更為平衡的方法是注重在不過(guò)度消耗資源的前提下，為用戶提供最佳的使用體驗(yàn)。

云原生處理器：用于推理的靈活解決方案

AmpereOne 云原生處理器，相較于 GPU 具有一項(xiàng)關(guān)鍵優(yōu)勢(shì)：靈活性。它們能夠?qū)τ?jì)算核心進(jìn)行分配，從而允許多個(gè)人工智能推理會(huì)話同時(shí)運(yùn)行。雖然 GPU 通常一次只能處理單個(gè)

會(huì)話(不過(guò)也有一些例外情況，比如 NVIDIA H100 具備有限的多實(shí)例 GPU(MIG)功能)，但一個(gè)擁有192個(gè)核心的 CPU 可以進(jìn)行分區(qū)，以處理大量較小的任務(wù)，其中包括通用型工作負(fù)載。

這使得 CPU 在運(yùn)行規(guī)模較小的0類或1類人工智能模型時(shí)效率極高。盡管 GPU 憑借其強(qiáng)大的原始計(jì)算能力，在處理規(guī)模較大的2類或3類模型時(shí)仍然表現(xiàn)出色，但對(duì)于許多常見(jiàn)的人工智能應(yīng)用而言，CPU 提供了一種具有成本效益且可擴(kuò)展的解決方案。

從本質(zhì)上講，這關(guān)乎為任務(wù)選擇合適的工具。對(duì)于大型、復(fù)雜的模型而言，人工智能硬件加速器無(wú)疑是最佳選擇。但對(duì)于數(shù)量較多的小型任務(wù)，經(jīng)過(guò)人工智能優(yōu)化的云原生處理器所具備的靈活性和高效性則展現(xiàn)出了顯著的優(yōu)勢(shì)。

通過(guò)合理規(guī)劃計(jì)算規(guī)模，實(shí)現(xiàn)每個(gè)機(jī)架的大語(yǔ)言模型效率最大化

為了讓每個(gè)人都能更輕松地使用人工智能推理，我們需要降低其成本。這意味著要選擇規(guī)模較小的人工智能模型，并讓它們?cè)诟咝У挠布线\(yùn)行，從而最大限度地增加我們能夠同時(shí)執(zhí)行的人工智能任務(wù)數(shù)量。

大多數(shù)數(shù)據(jù)中心運(yùn)營(yíng)商每個(gè)機(jī)架的電力預(yù)算限制在10千瓦到20千瓦之間*。通過(guò)優(yōu)化模型規(guī)模和硬件選擇，我們可以提高每個(gè)機(jī)架上人工智能推理的密度，使這項(xiàng)技術(shù)更具成本效益，也更能廣泛普及。

我們以一個(gè)功率為12.5千瓦、42U規(guī)格的機(jī)架為例來(lái)進(jìn)行說(shuō)明。以下是根據(jù)模型規(guī)模和硬件配置，在保持每秒至少10個(gè)詞元(TPS)的情況下，能夠運(yùn)行的人工智能推理會(huì)話數(shù)量：

敲黑板劃重點(diǎn)：較小規(guī)模的人工智能模型(0類或1類)能夠在一個(gè)機(jī)架中大幅增加可同時(shí)運(yùn)行的人工智能任務(wù)數(shù)量，并且還能始終保持令人滿意的用戶體驗(yàn)。以下是這一情況得以實(shí)現(xiàn)的原因：

? 能源效率：AmpereOne 能源利用效率高，能夠在普通機(jī)架中實(shí)現(xiàn)可運(yùn)行服務(wù)器數(shù)量的最大化。

? 分區(qū)能力：擁有192個(gè)計(jì)算核心的 AmpereOne 允許每個(gè)機(jī)架創(chuàng)建多個(gè)并發(fā)的推理會(huì)話。

? Ampere 人工智能優(yōu)化器：Ampere 的人工智能優(yōu)化器(AIO)庫(kù)有助于提升諸如Llama 3等大語(yǔ)言模型的性能。

構(gòu)建更具可持續(xù)性的人工智能計(jì)算體系通過(guò)針對(duì)特定的應(yīng)用場(chǎng)景和行業(yè)對(duì)人工智能模型進(jìn)行優(yōu)化，我們能夠顯著減小模型的規(guī)模和復(fù)雜程度。這種有的放矢的方法有助于創(chuàng)建出規(guī)模更小、效率更高的模型，這些模型所需的計(jì)算能力較低，并且可以在成本更低、更易于獲取的云原生硬件上運(yùn)行。這不僅使個(gè)人和小型組織更容易接觸和使用人工智能，還能通過(guò)降低能源消耗來(lái)促進(jìn)可持續(xù)發(fā)展。

這賦予了個(gè)人、研究人員以及各種規(guī)模的企業(yè)利用人工智能潛力的能力，從而在各個(gè)領(lǐng)域推動(dòng)創(chuàng)新并帶來(lái)社會(huì)效益。若想深入了解 Ampere 在人工智能推理領(lǐng)域的創(chuàng)新成果，可訪問(wèn) Ampere 人工智能主頁(yè)。

關(guān)于 Ampere Computing

Ampere Computing 是一家現(xiàn)代化半導(dǎo)體企業(yè)，致力于塑造云計(jì)算的未來(lái)，并推出了世界上首款云原生處理器。為可持續(xù)云而生，Ampere 云原生處理器兼具最高性能和最佳每瓦性能，助力加速多種云計(jì)算應(yīng)用的交付，為云提供行業(yè)領(lǐng)先的性能、能效和可擴(kuò)展性。