chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何解決GPU短缺和成本飆升問題?

sakobpqhz ? 來源:算力基建 ? 2023-09-14 11:32 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

9月14-15日,2023全球AI芯片峰會(huì)將在深圳灣萬(wàn)麗酒店舉行。清華大學(xué)教授、中國(guó)半導(dǎo)體行業(yè)協(xié)會(huì)副理事長(zhǎng)魏少軍領(lǐng)銜50+位演講嘉賓,NVIDIA高通英特爾AMD齊聚,近30家中國(guó)AI芯片與算力企業(yè)登臺(tái)交鋒,4家Chiplet創(chuàng)業(yè)創(chuàng)新團(tuán)隊(duì)亮相,6位分析師和投資人帶來報(bào)告分享。峰會(huì)最終議程已公布,歡迎大家報(bào)名,線下參會(huì)交流。

由 GPT-4 等大型語(yǔ)言模型 (LLM) 支持的生成式人工智能科技界引起了巨大震動(dòng)。ChatGPT 的迅速崛起引發(fā)了全球科技行業(yè)對(duì)人工智能的重新評(píng)估和優(yōu)先考慮,實(shí)時(shí)重塑了產(chǎn)品戰(zhàn)略。

LLM 的整合為產(chǎn)品開發(fā)人員提供了一種簡(jiǎn)便的方法,將人工智能驅(qū)動(dòng)的功能融入到他們的產(chǎn)品中。但并非一帆風(fēng)順。產(chǎn)品領(lǐng)導(dǎo)者面臨著一個(gè)巨大的挑戰(zhàn):GPU 短缺和成本飆升。

01.LLMs的興起和GPU短缺

越來越多的人工智能初創(chuàng)公司和服務(wù)導(dǎo)致對(duì) A100 和 H100 等高端 GPU 的高需求,從而壓垮了 Nvidia 及其制造合作伙伴臺(tái)積電,兩者都在努力滿足供應(yīng)。Reddit 等在線論壇上充斥著對(duì) GPU 可用性的不滿,這呼應(yīng)了整個(gè)技術(shù)社區(qū)的情緒。情況變得如此可怕,AWS 和 Azure 都別無選擇,只能實(shí)施配額系統(tǒng)。

這個(gè)瓶頸不僅擠壓了初創(chuàng)企業(yè),也擠壓了初創(chuàng)企業(yè)的發(fā)展。對(duì)于 OpenAI 這樣的科技巨頭來說,這是一個(gè)絆腳石。最近在倫敦舉行的一次非正式會(huì)議上,OpenAI 首席執(zhí)行官 Sam Altman坦誠(chéng)承認(rèn),計(jì)算機(jī)芯片短缺正在阻礙 ChatGPT 的進(jìn)步。據(jù)報(bào)道,Altman 感嘆計(jì)算能力的缺乏導(dǎo)致 API 可用性低于標(biāo)準(zhǔn),并阻礙 OpenAI 為 ChatGPT 推出更大的“上下文窗口”。

推薦一場(chǎng)會(huì)議。2023全球AI芯片峰會(huì)將于9月14-15日在深圳灣萬(wàn)麗酒店舉行,NVIDIA 解決方案與架構(gòu)技術(shù)總監(jiān)張瑞華首次參會(huì),將圍繞《生成式 AI 與大語(yǔ)言模型時(shí)代的 NVIDIA GPU 生態(tài)》這一主題帶來演講。歡迎大家報(bào)名參會(huì)~

02.優(yōu)先考慮AI功能

一方面,產(chǎn)品領(lǐng)導(dǎo)者發(fā)現(xiàn)自己陷入了不懈的創(chuàng)新之中,面臨著利用新一代人工智能的力量提供尖端功能的期望。另一方面,他們還要應(yīng)對(duì) GPU 容量限制的嚴(yán)峻現(xiàn)實(shí)。這是一個(gè)復(fù)雜的雜耍行為,無情的優(yōu)先順序不僅成為戰(zhàn)略決策,而且成為必要。 鑒于 GPU 可用性在可預(yù)見的未來仍將是一個(gè)挑戰(zhàn),產(chǎn)品領(lǐng)導(dǎo)者必須戰(zhàn)略性地考慮 GPU 分配。傳統(tǒng)上,產(chǎn)品領(lǐng)導(dǎo)者依賴于優(yōu)先級(jí)劃分技術(shù),例如客戶價(jià)值/需求與努力矩陣。無論這種方法在計(jì)算資源豐富的世界中多么合乎邏輯,現(xiàn)在都需要進(jìn)行一些重新評(píng)估。 在我們當(dāng)前的范式中,計(jì)算是限制因素,而不是軟件人才,產(chǎn)品領(lǐng)導(dǎo)者必須重新定義如何確定各種產(chǎn)品或功能的優(yōu)先級(jí),將 GPU 的限制帶到戰(zhàn)略決策的最前沿。 對(duì)于科技行業(yè)來說,圍繞容量限制進(jìn)行規(guī)劃似乎不尋常,但在其他行業(yè)卻是一種常見策略。基本概念很簡(jiǎn)單:最有價(jià)值的因素是在受限資源上花費(fèi)的時(shí)間,目標(biāo)是優(yōu)化在該約束上花費(fèi)的每單位時(shí)間的價(jià)值。

03.技術(shù)成功指標(biāo)

作為一名前顧問,我已成功地將這個(gè)框架應(yīng)用于各個(gè)行業(yè)。我相信,在 GPU 限制存在的情況下,科技產(chǎn)品領(lǐng)導(dǎo)者也可以使用類似的方法來確定產(chǎn)品或功能的優(yōu)先級(jí)。應(yīng)用此框架時(shí),最直接的價(jià)值衡量標(biāo)準(zhǔn)是盈利能力。 然而,在科技領(lǐng)域,盈利能力可能并不總是合適的衡量標(biāo)準(zhǔn),特別是在涉足新市場(chǎng)或新產(chǎn)品時(shí)。因此,我調(diào)整了該框架,以與技術(shù)中普遍使用的成功指標(biāo)保持一致,概述了一個(gè)簡(jiǎn)單的四個(gè)步驟過程:

1.貢獻(xiàn) 首先也是最重要的,確定你的北極星指標(biāo)。這是每個(gè)產(chǎn)品或功能的貢獻(xiàn),概括了其價(jià)值的本質(zhì)。一些具體的例子可能包括:

收入和利潤(rùn)增加

市場(chǎng)份額的增長(zhǎng)

日/月活躍用戶數(shù)增長(zhǎng)

2. 所需GPU數(shù)量 衡量每個(gè)產(chǎn)品或功能所需的 GPU 數(shù)量。重點(diǎn)關(guān)注關(guān)鍵因素,包括:

每個(gè)用戶每天的查詢數(shù)

日活躍用戶數(shù)

查詢的復(fù)雜性(每個(gè)查詢消耗多少令牌)

3.計(jì)算每個(gè)GPU的貢獻(xiàn)

把它分解到具體細(xì)節(jié)。每個(gè) GPU 對(duì)總體目標(biāo)有何貢獻(xiàn)?了解這一點(diǎn)將使您清楚地了解 GPU 的最佳分配位置。 根據(jù)每個(gè) GPU 的貢獻(xiàn)確定產(chǎn)品的優(yōu)先級(jí) 現(xiàn)在,是時(shí)候做出艱難的決定了。根據(jù)每個(gè) GPU 的貢獻(xiàn)對(duì)您的產(chǎn)品進(jìn)行排名,然后進(jìn)行相應(yīng)的排列。首先關(guān)注每 GPU 貢獻(xiàn)最高的產(chǎn)品,確保將有限的資源投入到能夠產(chǎn)生最大影響的領(lǐng)域。 由于GPU 限制不再是盲點(diǎn),而是決策過程中的可量化因素,您的公司可以更有策略地應(yīng)對(duì) GPU 短缺問題。為了使這個(gè)框架變得生動(dòng)起來,讓我們想象一個(gè)場(chǎng)景,在這個(gè)場(chǎng)景中,作為產(chǎn)品領(lǐng)導(dǎo)者,您正在努力應(yīng)對(duì)在四種不同產(chǎn)品之間確定優(yōu)先級(jí)的挑戰(zhàn):

b244f470-4f8c-11ee-a25d-92fbcf53809c.png

盡管產(chǎn)品 A 具有最高的收入潛力,但它并沒有為每個(gè) GPU 帶來最高的貢獻(xiàn)。令人驚訝的是,產(chǎn)品 D 的收入潛力最小,但每個(gè) GPU 的回報(bào)卻最高。通過根據(jù)此指標(biāo)確定優(yōu)先級(jí),您可以最大化總潛在收入。 假設(shè)您總共有 1,000 個(gè) GPU 可供使用。一個(gè)簡(jiǎn)單的選擇可能會(huì)讓您選擇產(chǎn)品 A,從而產(chǎn)生 1 億美元的潛在收入。但是,通過應(yīng)用上述優(yōu)先級(jí)策略,您可以獲得 1.55 億美元的收入:

b2775e92-4f8c-11ee-a25d-92fbcf53809c.png

同樣的方法可以應(yīng)用于其他貢獻(xiàn)指標(biāo),例如市場(chǎng)份額增益:

b2a03420-4f8c-11ee-a25d-92fbcf53809c.png

同樣,選擇產(chǎn)品 A 會(huì)導(dǎo)致市場(chǎng)份額增加 5%。然而,應(yīng)用上述優(yōu)先級(jí)策略,您可以獲得 7.75% 的市場(chǎng)份額增益:

b2bff120-4f8c-11ee-a25d-92fbcf53809c.png

04.優(yōu)點(diǎn)和限制

這種替代的優(yōu)先級(jí)框架引入了一種更加細(xì)致和更具戰(zhàn)略性的方法。通過專注于每個(gè) GPU 的貢獻(xiàn),您可以戰(zhàn)略性地調(diào)整資源,使其能夠發(fā)揮最大的作用,無論是在收入、市場(chǎng)份額還是任何其他定義指標(biāo)方面。 但優(yōu)點(diǎn)還不止于此。這種方法還可以增強(qiáng)產(chǎn)品團(tuán)隊(duì)的清晰度和客觀性。根據(jù)我的經(jīng)驗(yàn),包括我早期在一家醫(yī)療保健公司領(lǐng)導(dǎo)數(shù)字化轉(zhuǎn)型以及后來與麥肯錫的各種客戶合作時(shí),這種方法在容量限制是關(guān)鍵因素的情況下改變了游戲規(guī)則。它使我們能夠以更加數(shù)據(jù)驅(qū)動(dòng)和理性的方式確定計(jì)劃的優(yōu)先順序,從而將傳統(tǒng)政治邊緣化,否則決策可能會(huì)落在房間里最響亮的聲音的手中。 然而,不存在一刀切的解決方案,并且值得承認(rèn)這種方法的潛在局限性。例如,這種方法可能并不總是體現(xiàn)某些投資的戰(zhàn)略重要性。因此,雖然可以而且應(yīng)該對(duì)框架做出例外,但應(yīng)該仔細(xì)考慮例外情況,而不是規(guī)范。這樣可以保持流程的完整性,并確保任何偏差都是在考慮到更廣泛的戰(zhàn)略背景的情況下做出的。

05.結(jié)論

產(chǎn)品領(lǐng)導(dǎo)者面臨著前所未有的GPU 短缺局面,因此需要尋找新的資源管理方法。用偉大的軍事家孫子的話來說,“混亂之中也蘊(yùn)藏著機(jī)遇”。 GPU 短缺確實(shí)是一個(gè)挑戰(zhàn),但如果采取正確的方法,它也可能成為差異化和成功的催化劑。所提出的優(yōu)先級(jí)框架側(cè)重于每個(gè) GPU 的貢獻(xiàn),提供了一種確定優(yōu)先級(jí)的戰(zhàn)略方法。通過專注于每個(gè) GPU 的貢獻(xiàn),公司可以最大限度地提高投資回報(bào),將資源調(diào)整到能夠產(chǎn)生最大影響的地方,并專注于對(duì)公司長(zhǎng)期成功最重要的事情。

編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5432

    瀏覽量

    108363
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    5039

    瀏覽量

    133851
  • 人工智能
    +關(guān)注

    關(guān)注

    1811

    文章

    49507

    瀏覽量

    258468
  • AI芯片
    +關(guān)注

    關(guān)注

    17

    文章

    2033

    瀏覽量

    36392
  • ChatGPT
    +關(guān)注

    關(guān)注

    29

    文章

    1595

    瀏覽量

    9830

原文標(biāo)題:GPU短缺和成本問題,如何破?

文章出處:【微信號(hào):算力基建,微信公眾號(hào):算力基建】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    aicube的n卡gpu索引該如何添加?

    請(qǐng)問有人知道aicube怎樣才能讀取n卡的gpu索引呢,我已經(jīng)安裝了cuda和cudnn,在全局的py里添加了torch,能夠調(diào)用gpu,當(dāng)還是只能看到默認(rèn)的gpu0,顯示不了gpu1
    發(fā)表于 07-25 08:18

    中國(guó)為何同時(shí)面臨算力過剩與短缺

    中國(guó)為何同時(shí)面臨算力過剩與短缺 ?
    的頭像 發(fā)表于 04-24 15:02 ?841次閱讀
    中國(guó)為何同時(shí)面臨算力過剩與<b class='flag-5'>短缺</b> ?

    SMT加工成本飆升:原材料短缺與價(jià)格上漲的雙重夾擊

    小批量PCBA快速打樣廠家今天為大家講講SMT加工成本上漲的原因有哪些?SMT加工成本上漲的三大原因。近年來,電子行業(yè)的飛速發(fā)展推動(dòng)了PCBA(Printed Circuit Board
    的頭像 發(fā)表于 04-17 09:17 ?476次閱讀

    可以手動(dòng)構(gòu)建imx-gpu-viv嗎?

    使用 imx-gpu-viv-6.4.3.p4.2.aarch64.bin。 https://www.nxp.com/lgfiles/NMG/MAD/YOCTO//imx-gpu-viv-6.4.3.p4.2-aarch64.bin 我需要
    發(fā)表于 03-28 06:35

    無法在GPU上運(yùn)行ONNX模型的Benchmark_app怎么解決?

    在 CPU 和 GPU 上運(yùn)行OpenVINO? 2023.0 Benchmark_app推斷的 ONNX 模型。 在 CPU 上推理成功,但在 GPU 上失敗。
    發(fā)表于 03-06 08:02

    OpenVINO?檢測(cè)到GPU,但網(wǎng)絡(luò)無法加載到GPU插件,為什么?

    OpenVINO?安裝在舊的 Windows 10 版本 Windows? 10 (RS1) 上。 已安裝 GPU 驅(qū)動(dòng)程序版本 25.20.100.6373,檢測(cè)到 GPU,但網(wǎng)絡(luò)無法加載
    發(fā)表于 03-05 06:01

    GPU按需計(jì)費(fèi)的優(yōu)勢(shì)

    GPU按需計(jì)費(fèi),是指用戶根據(jù)實(shí)際使用的GPU資源和時(shí)間進(jìn)行費(fèi)用結(jié)算,而非傳統(tǒng)的一次性購(gòu)買或固定租賃模式。以下,是對(duì)GPU按需計(jì)費(fèi)優(yōu)勢(shì)的總結(jié),由AI部落小編整理。
    的頭像 發(fā)表于 01-14 10:43 ?531次閱讀

    《CST Studio Suite 2024 GPU加速計(jì)算指南》

    GPU Computing Guide》是由Dassault Systèmes Deutschland GmbH發(fā)布的有關(guān)CST Studio Suite 2024的GPU計(jì)算指南。涵蓋GPU計(jì)算
    發(fā)表于 12-16 14:25

    如何構(gòu)建及優(yōu)化GPU云網(wǎng)絡(luò)

    并從計(jì)算節(jié)點(diǎn)成本優(yōu)化、集群網(wǎng)絡(luò)與拓?fù)涞倪x擇等方面論述如何構(gòu)建及優(yōu)化GPU云網(wǎng)絡(luò)。
    的頭像 發(fā)表于 11-06 16:03 ?1405次閱讀
    如何構(gòu)建及優(yōu)化<b class='flag-5'>GPU</b>云網(wǎng)絡(luò)

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗(yàn)】--了解算力芯片GPU

    本篇閱讀學(xué)習(xí)第七、八章,了解GPU架構(gòu)演進(jìn)及CPGPU存儲(chǔ)體系與線程管理 █從圖形到計(jì)算的GPU架構(gòu)演進(jìn) GPU圖像計(jì)算發(fā)展 ●從三角形開始的幾何階段 在現(xiàn)代圖形渲染中,三角形是最常用的基本圖形元素
    發(fā)表于 11-03 12:55

    談?wù)?b class='flag-5'>GPU的使用壽命

    上文結(jié)合論文談一談,三年壽命的GPU [上]說到,電路腐蝕導(dǎo)致橡樹嶺實(shí)驗(yàn)室的GPU壽命只有3年,更換了11,000塊GPU。
    的頭像 發(fā)表于 11-01 10:27 ?1150次閱讀
    談?wù)?b class='flag-5'>GPU</b>的使用壽命

    【一文看懂】大白話解釋“GPUGPU算力”

    隨著大模型的興起,“GPU算力”這個(gè)詞正頻繁出現(xiàn)在人工智能、游戲、圖形設(shè)計(jì)等工作場(chǎng)景中,什么是GPU,它與CPU的區(qū)別是什么?以及到底什么是GPU算力?本篇文章主要從以下5個(gè)角度,讓您全方位了解
    的頭像 發(fā)表于 10-29 08:05 ?3825次閱讀
    【一文看懂】大白話解釋“<b class='flag-5'>GPU</b>與<b class='flag-5'>GPU</b>算力”

    常見GPU問題及解決方法

    GPU(圖形處理單元)是計(jì)算機(jī)硬件的重要組成部分,負(fù)責(zé)處理圖形和視頻渲染任務(wù)。隨著技術(shù)的發(fā)展,GPU在深度學(xué)習(xí)、游戲、視頻編輯等領(lǐng)域扮演著越來越重要的角色。然而,在使用GPU的過程中,我們可能會(huì)遇到
    的頭像 發(fā)表于 10-27 14:12 ?4736次閱讀

    如何選擇適合的GPU

    在現(xiàn)代計(jì)算領(lǐng)域,GPU(圖形處理單元)的作用已經(jīng)遠(yuǎn)遠(yuǎn)超出了傳統(tǒng)的圖形渲染。從深度學(xué)習(xí)到科學(xué)計(jì)算,再到視頻編輯,GPU都在發(fā)揮著越來越重要的作用。然而,市場(chǎng)上的GPU型號(hào)繁多,性能和價(jià)格也各不相同
    的頭像 發(fā)表于 10-27 11:07 ?1281次閱讀