9月14-15日,2023全球AI芯片峰會(huì)將在深圳灣萬(wàn)麗酒店舉行。清華大學(xué)教授、中國(guó)半導(dǎo)體行業(yè)協(xié)會(huì)副理事長(zhǎng)魏少軍領(lǐng)銜50+位演講嘉賓,NVIDIA高通英特爾AMD齊聚,近30家中國(guó)AI芯片與算力企業(yè)登臺(tái)交鋒,4家Chiplet創(chuàng)業(yè)創(chuàng)新團(tuán)隊(duì)亮相,6位分析師和投資人帶來報(bào)告分享。峰會(huì)最終議程已公布,歡迎大家報(bào)名,線下參會(huì)交流。
由 GPT-4 等大型語(yǔ)言模型 (LLM) 支持的生成式人工智能在科技界引起了巨大震動(dòng)。ChatGPT 的迅速崛起引發(fā)了全球科技行業(yè)對(duì)人工智能的重新評(píng)估和優(yōu)先考慮,實(shí)時(shí)重塑了產(chǎn)品戰(zhàn)略。
LLM 的整合為產(chǎn)品開發(fā)人員提供了一種簡(jiǎn)便的方法,將人工智能驅(qū)動(dòng)的功能融入到他們的產(chǎn)品中。但并非一帆風(fēng)順。產(chǎn)品領(lǐng)導(dǎo)者面臨著一個(gè)巨大的挑戰(zhàn):GPU 短缺和成本飆升。
01.LLMs的興起和GPU短缺
越來越多的人工智能初創(chuàng)公司和服務(wù)導(dǎo)致對(duì) A100 和 H100 等高端 GPU 的高需求,從而壓垮了 Nvidia 及其制造合作伙伴臺(tái)積電,兩者都在努力滿足供應(yīng)。Reddit 等在線論壇上充斥著對(duì) GPU 可用性的不滿,這呼應(yīng)了整個(gè)技術(shù)社區(qū)的情緒。情況變得如此可怕,AWS 和 Azure 都別無選擇,只能實(shí)施配額系統(tǒng)。
這個(gè)瓶頸不僅擠壓了初創(chuàng)企業(yè),也擠壓了初創(chuàng)企業(yè)的發(fā)展。對(duì)于 OpenAI 這樣的科技巨頭來說,這是一個(gè)絆腳石。最近在倫敦舉行的一次非正式會(huì)議上,OpenAI 首席執(zhí)行官 Sam Altman坦誠(chéng)承認(rèn),計(jì)算機(jī)芯片短缺正在阻礙 ChatGPT 的進(jìn)步。據(jù)報(bào)道,Altman 感嘆計(jì)算能力的缺乏導(dǎo)致 API 可用性低于標(biāo)準(zhǔn),并阻礙 OpenAI 為 ChatGPT 推出更大的“上下文窗口”。
推薦一場(chǎng)會(huì)議。2023全球AI芯片峰會(huì)將于9月14-15日在深圳灣萬(wàn)麗酒店舉行,NVIDIA 解決方案與架構(gòu)技術(shù)總監(jiān)張瑞華首次參會(huì),將圍繞《生成式 AI 與大語(yǔ)言模型時(shí)代的 NVIDIA GPU 生態(tài)》這一主題帶來演講。歡迎大家報(bào)名參會(huì)~
02.優(yōu)先考慮AI功能
一方面,產(chǎn)品領(lǐng)導(dǎo)者發(fā)現(xiàn)自己陷入了不懈的創(chuàng)新之中,面臨著利用新一代人工智能的力量提供尖端功能的期望。另一方面,他們還要應(yīng)對(duì) GPU 容量限制的嚴(yán)峻現(xiàn)實(shí)。這是一個(gè)復(fù)雜的雜耍行為,無情的優(yōu)先順序不僅成為戰(zhàn)略決策,而且成為必要。 鑒于 GPU 可用性在可預(yù)見的未來仍將是一個(gè)挑戰(zhàn),產(chǎn)品領(lǐng)導(dǎo)者必須戰(zhàn)略性地考慮 GPU 分配。傳統(tǒng)上,產(chǎn)品領(lǐng)導(dǎo)者依賴于優(yōu)先級(jí)劃分技術(shù),例如客戶價(jià)值/需求與努力矩陣。無論這種方法在計(jì)算資源豐富的世界中多么合乎邏輯,現(xiàn)在都需要進(jìn)行一些重新評(píng)估。 在我們當(dāng)前的范式中,計(jì)算是限制因素,而不是軟件人才,產(chǎn)品領(lǐng)導(dǎo)者必須重新定義如何確定各種產(chǎn)品或功能的優(yōu)先級(jí),將 GPU 的限制帶到戰(zhàn)略決策的最前沿。 對(duì)于科技行業(yè)來說,圍繞容量限制進(jìn)行規(guī)劃似乎不尋常,但在其他行業(yè)卻是一種常見策略。基本概念很簡(jiǎn)單:最有價(jià)值的因素是在受限資源上花費(fèi)的時(shí)間,目標(biāo)是優(yōu)化在該約束上花費(fèi)的每單位時(shí)間的價(jià)值。
03.技術(shù)成功指標(biāo)
作為一名前顧問,我已成功地將這個(gè)框架應(yīng)用于各個(gè)行業(yè)。我相信,在 GPU 限制存在的情況下,科技產(chǎn)品領(lǐng)導(dǎo)者也可以使用類似的方法來確定產(chǎn)品或功能的優(yōu)先級(jí)。應(yīng)用此框架時(shí),最直接的價(jià)值衡量標(biāo)準(zhǔn)是盈利能力。 然而,在科技領(lǐng)域,盈利能力可能并不總是合適的衡量標(biāo)準(zhǔn),特別是在涉足新市場(chǎng)或新產(chǎn)品時(shí)。因此,我調(diào)整了該框架,以與技術(shù)中普遍使用的成功指標(biāo)保持一致,概述了一個(gè)簡(jiǎn)單的四個(gè)步驟過程:
1.貢獻(xiàn) 首先也是最重要的,確定你的北極星指標(biāo)。這是每個(gè)產(chǎn)品或功能的貢獻(xiàn),概括了其價(jià)值的本質(zhì)。一些具體的例子可能包括:
收入和利潤(rùn)增加
市場(chǎng)份額的增長(zhǎng)
日/月活躍用戶數(shù)增長(zhǎng)
2. 所需GPU數(shù)量 衡量每個(gè)產(chǎn)品或功能所需的 GPU 數(shù)量。重點(diǎn)關(guān)注關(guān)鍵因素,包括:
每個(gè)用戶每天的查詢數(shù)
日活躍用戶數(shù)
查詢的復(fù)雜性(每個(gè)查詢消耗多少令牌)
3.計(jì)算每個(gè)GPU的貢獻(xiàn)
把它分解到具體細(xì)節(jié)。每個(gè) GPU 對(duì)總體目標(biāo)有何貢獻(xiàn)?了解這一點(diǎn)將使您清楚地了解 GPU 的最佳分配位置。 根據(jù)每個(gè) GPU 的貢獻(xiàn)確定產(chǎn)品的優(yōu)先級(jí) 現(xiàn)在,是時(shí)候做出艱難的決定了。根據(jù)每個(gè) GPU 的貢獻(xiàn)對(duì)您的產(chǎn)品進(jìn)行排名,然后進(jìn)行相應(yīng)的排列。首先關(guān)注每 GPU 貢獻(xiàn)最高的產(chǎn)品,確保將有限的資源投入到能夠產(chǎn)生最大影響的領(lǐng)域。 由于GPU 限制不再是盲點(diǎn),而是決策過程中的可量化因素,您的公司可以更有策略地應(yīng)對(duì) GPU 短缺問題。為了使這個(gè)框架變得生動(dòng)起來,讓我們想象一個(gè)場(chǎng)景,在這個(gè)場(chǎng)景中,作為產(chǎn)品領(lǐng)導(dǎo)者,您正在努力應(yīng)對(duì)在四種不同產(chǎn)品之間確定優(yōu)先級(jí)的挑戰(zhàn):
盡管產(chǎn)品 A 具有最高的收入潛力,但它并沒有為每個(gè) GPU 帶來最高的貢獻(xiàn)。令人驚訝的是,產(chǎn)品 D 的收入潛力最小,但每個(gè) GPU 的回報(bào)卻最高。通過根據(jù)此指標(biāo)確定優(yōu)先級(jí),您可以最大化總潛在收入。 假設(shè)您總共有 1,000 個(gè) GPU 可供使用。一個(gè)簡(jiǎn)單的選擇可能會(huì)讓您選擇產(chǎn)品 A,從而產(chǎn)生 1 億美元的潛在收入。但是,通過應(yīng)用上述優(yōu)先級(jí)策略,您可以獲得 1.55 億美元的收入:
同樣的方法可以應(yīng)用于其他貢獻(xiàn)指標(biāo),例如市場(chǎng)份額增益:
同樣,選擇產(chǎn)品 A 會(huì)導(dǎo)致市場(chǎng)份額增加 5%。然而,應(yīng)用上述優(yōu)先級(jí)策略,您可以獲得 7.75% 的市場(chǎng)份額增益:
04.優(yōu)點(diǎn)和限制
這種替代的優(yōu)先級(jí)框架引入了一種更加細(xì)致和更具戰(zhàn)略性的方法。通過專注于每個(gè) GPU 的貢獻(xiàn),您可以戰(zhàn)略性地調(diào)整資源,使其能夠發(fā)揮最大的作用,無論是在收入、市場(chǎng)份額還是任何其他定義指標(biāo)方面。 但優(yōu)點(diǎn)還不止于此。這種方法還可以增強(qiáng)產(chǎn)品團(tuán)隊(duì)的清晰度和客觀性。根據(jù)我的經(jīng)驗(yàn),包括我早期在一家醫(yī)療保健公司領(lǐng)導(dǎo)數(shù)字化轉(zhuǎn)型以及后來與麥肯錫的各種客戶合作時(shí),這種方法在容量限制是關(guān)鍵因素的情況下改變了游戲規(guī)則。它使我們能夠以更加數(shù)據(jù)驅(qū)動(dòng)和理性的方式確定計(jì)劃的優(yōu)先順序,從而將傳統(tǒng)政治邊緣化,否則決策可能會(huì)落在房間里最響亮的聲音的手中。 然而,不存在一刀切的解決方案,并且值得承認(rèn)這種方法的潛在局限性。例如,這種方法可能并不總是體現(xiàn)某些投資的戰(zhàn)略重要性。因此,雖然可以而且應(yīng)該對(duì)框架做出例外,但應(yīng)該仔細(xì)考慮例外情況,而不是規(guī)范。這樣可以保持流程的完整性,并確保任何偏差都是在考慮到更廣泛的戰(zhàn)略背景的情況下做出的。
05.結(jié)論
產(chǎn)品領(lǐng)導(dǎo)者面臨著前所未有的GPU 短缺局面,因此需要尋找新的資源管理方法。用偉大的軍事家孫子的話來說,“混亂之中也蘊(yùn)藏著機(jī)遇”。 GPU 短缺確實(shí)是一個(gè)挑戰(zhàn),但如果采取正確的方法,它也可能成為差異化和成功的催化劑。所提出的優(yōu)先級(jí)框架側(cè)重于每個(gè) GPU 的貢獻(xiàn),提供了一種確定優(yōu)先級(jí)的戰(zhàn)略方法。通過專注于每個(gè) GPU 的貢獻(xiàn),公司可以最大限度地提高投資回報(bào),將資源調(diào)整到能夠產(chǎn)生最大影響的地方,并專注于對(duì)公司長(zhǎng)期成功最重要的事情。
編輯:黃飛
-
NVIDIA
+關(guān)注
關(guān)注
14文章
5432瀏覽量
108363 -
gpu
+關(guān)注
關(guān)注
28文章
5039瀏覽量
133851 -
人工智能
+關(guān)注
關(guān)注
1811文章
49507瀏覽量
258468 -
AI芯片
+關(guān)注
關(guān)注
17文章
2033瀏覽量
36392 -
ChatGPT
+關(guān)注
關(guān)注
29文章
1595瀏覽量
9830
原文標(biāo)題:GPU短缺和成本問題,如何破?
文章出處:【微信號(hào):算力基建,微信公眾號(hào):算力基建】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄

工控核心板GPU實(shí)測(cè)!工業(yè)級(jí)圖形加速到底有多強(qiáng)?#核心板 #GPU #嵌入式
aicube的n卡gpu索引該如何添加?
SMT加工成本飆升:原材料短缺與價(jià)格上漲的雙重夾擊
可以手動(dòng)構(gòu)建imx-gpu-viv嗎?
無法在GPU上運(yùn)行ONNX模型的Benchmark_app怎么解決?
OpenVINO?檢測(cè)到GPU,但網(wǎng)絡(luò)無法加載到GPU插件,為什么?
GPU按需計(jì)費(fèi)的優(yōu)勢(shì)
《CST Studio Suite 2024 GPU加速計(jì)算指南》
如何構(gòu)建及優(yōu)化GPU云網(wǎng)絡(luò)

【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--了解算力芯片GPU
談?wù)?b class='flag-5'>GPU的使用壽命

【一文看懂】大白話解釋“GPU與GPU算力”

評(píng)論