chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何解決GPU短缺和成本飆升問題?

sakobpqhz ? 來源:算力基建 ? 2023-09-14 11:32 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

9月14-15日,2023全球AI芯片峰會將在深圳灣萬麗酒店舉行。清華大學(xué)教授、中國半導(dǎo)體行業(yè)協(xié)會副理事長魏少軍領(lǐng)銜50+位演講嘉賓,NVIDIA高通英特爾AMD齊聚,近30家中國AI芯片與算力企業(yè)登臺交鋒,4家Chiplet創(chuàng)業(yè)創(chuàng)新團隊亮相,6位分析師和投資人帶來報告分享。峰會最終議程已公布,歡迎大家報名,線下參會交流。

由 GPT-4 等大型語言模型 (LLM) 支持的生成式人工智能科技界引起了巨大震動。ChatGPT 的迅速崛起引發(fā)了全球科技行業(yè)對人工智能的重新評估和優(yōu)先考慮,實時重塑了產(chǎn)品戰(zhàn)略。

LLM 的整合為產(chǎn)品開發(fā)人員提供了一種簡便的方法,將人工智能驅(qū)動的功能融入到他們的產(chǎn)品中。但并非一帆風(fēng)順。產(chǎn)品領(lǐng)導(dǎo)者面臨著一個巨大的挑戰(zhàn):GPU 短缺和成本飆升。

01.LLMs的興起和GPU短缺

越來越多的人工智能初創(chuàng)公司和服務(wù)導(dǎo)致對 A100 和 H100 等高端 GPU 的高需求,從而壓垮了 Nvidia 及其制造合作伙伴臺積電,兩者都在努力滿足供應(yīng)。Reddit 等在線論壇上充斥著對 GPU 可用性的不滿,這呼應(yīng)了整個技術(shù)社區(qū)的情緒。情況變得如此可怕,AWS 和 Azure 都別無選擇,只能實施配額系統(tǒng)。

這個瓶頸不僅擠壓了初創(chuàng)企業(yè),也擠壓了初創(chuàng)企業(yè)的發(fā)展。對于 OpenAI 這樣的科技巨頭來說,這是一個絆腳石。最近在倫敦舉行的一次非正式會議上,OpenAI 首席執(zhí)行官 Sam Altman坦誠承認(rèn),計算機芯片短缺正在阻礙 ChatGPT 的進步。據(jù)報道,Altman 感嘆計算能力的缺乏導(dǎo)致 API 可用性低于標(biāo)準(zhǔn),并阻礙 OpenAI 為 ChatGPT 推出更大的“上下文窗口”。

推薦一場會議。2023全球AI芯片峰會將于9月14-15日在深圳灣萬麗酒店舉行,NVIDIA 解決方案與架構(gòu)技術(shù)總監(jiān)張瑞華首次參會,將圍繞《生成式 AI 與大語言模型時代的 NVIDIA GPU 生態(tài)》這一主題帶來演講。歡迎大家報名參會~

02.優(yōu)先考慮AI功能

一方面,產(chǎn)品領(lǐng)導(dǎo)者發(fā)現(xiàn)自己陷入了不懈的創(chuàng)新之中,面臨著利用新一代人工智能的力量提供尖端功能的期望。另一方面,他們還要應(yīng)對 GPU 容量限制的嚴(yán)峻現(xiàn)實。這是一個復(fù)雜的雜耍行為,無情的優(yōu)先順序不僅成為戰(zhàn)略決策,而且成為必要。 鑒于 GPU 可用性在可預(yù)見的未來仍將是一個挑戰(zhàn),產(chǎn)品領(lǐng)導(dǎo)者必須戰(zhàn)略性地考慮 GPU 分配。傳統(tǒng)上,產(chǎn)品領(lǐng)導(dǎo)者依賴于優(yōu)先級劃分技術(shù),例如客戶價值/需求與努力矩陣。無論這種方法在計算資源豐富的世界中多么合乎邏輯,現(xiàn)在都需要進行一些重新評估。 在我們當(dāng)前的范式中,計算是限制因素,而不是軟件人才,產(chǎn)品領(lǐng)導(dǎo)者必須重新定義如何確定各種產(chǎn)品或功能的優(yōu)先級,將 GPU 的限制帶到戰(zhàn)略決策的最前沿。 對于科技行業(yè)來說,圍繞容量限制進行規(guī)劃似乎不尋常,但在其他行業(yè)卻是一種常見策略?;靖拍詈芎唵危鹤钣袃r值的因素是在受限資源上花費的時間,目標(biāo)是優(yōu)化在該約束上花費的每單位時間的價值。

03.技術(shù)成功指標(biāo)

作為一名前顧問,我已成功地將這個框架應(yīng)用于各個行業(yè)。我相信,在 GPU 限制存在的情況下,科技產(chǎn)品領(lǐng)導(dǎo)者也可以使用類似的方法來確定產(chǎn)品或功能的優(yōu)先級。應(yīng)用此框架時,最直接的價值衡量標(biāo)準(zhǔn)是盈利能力。 然而,在科技領(lǐng)域,盈利能力可能并不總是合適的衡量標(biāo)準(zhǔn),特別是在涉足新市場或新產(chǎn)品時。因此,我調(diào)整了該框架,以與技術(shù)中普遍使用的成功指標(biāo)保持一致,概述了一個簡單的四個步驟過程:

1.貢獻 首先也是最重要的,確定你的北極星指標(biāo)。這是每個產(chǎn)品或功能的貢獻,概括了其價值的本質(zhì)。一些具體的例子可能包括:

收入和利潤增加

市場份額的增長

日/月活躍用戶數(shù)增長

2. 所需GPU數(shù)量 衡量每個產(chǎn)品或功能所需的 GPU 數(shù)量。重點關(guān)注關(guān)鍵因素,包括:

每個用戶每天的查詢數(shù)

日活躍用戶數(shù)

查詢的復(fù)雜性(每個查詢消耗多少令牌)

3.計算每個GPU的貢獻

把它分解到具體細節(jié)。每個 GPU 對總體目標(biāo)有何貢獻?了解這一點將使您清楚地了解 GPU 的最佳分配位置。 根據(jù)每個 GPU 的貢獻確定產(chǎn)品的優(yōu)先級 現(xiàn)在,是時候做出艱難的決定了。根據(jù)每個 GPU 的貢獻對您的產(chǎn)品進行排名,然后進行相應(yīng)的排列。首先關(guān)注每 GPU 貢獻最高的產(chǎn)品,確保將有限的資源投入到能夠產(chǎn)生最大影響的領(lǐng)域。 由于GPU 限制不再是盲點,而是決策過程中的可量化因素,您的公司可以更有策略地應(yīng)對 GPU 短缺問題。為了使這個框架變得生動起來,讓我們想象一個場景,在這個場景中,作為產(chǎn)品領(lǐng)導(dǎo)者,您正在努力應(yīng)對在四種不同產(chǎn)品之間確定優(yōu)先級的挑戰(zhàn):

b244f470-4f8c-11ee-a25d-92fbcf53809c.png

盡管產(chǎn)品 A 具有最高的收入潛力,但它并沒有為每個 GPU 帶來最高的貢獻。令人驚訝的是,產(chǎn)品 D 的收入潛力最小,但每個 GPU 的回報卻最高。通過根據(jù)此指標(biāo)確定優(yōu)先級,您可以最大化總潛在收入。 假設(shè)您總共有 1,000 個 GPU 可供使用。一個簡單的選擇可能會讓您選擇產(chǎn)品 A,從而產(chǎn)生 1 億美元的潛在收入。但是,通過應(yīng)用上述優(yōu)先級策略,您可以獲得 1.55 億美元的收入:

b2775e92-4f8c-11ee-a25d-92fbcf53809c.png

同樣的方法可以應(yīng)用于其他貢獻指標(biāo),例如市場份額增益:

b2a03420-4f8c-11ee-a25d-92fbcf53809c.png

同樣,選擇產(chǎn)品 A 會導(dǎo)致市場份額增加 5%。然而,應(yīng)用上述優(yōu)先級策略,您可以獲得 7.75% 的市場份額增益:

b2bff120-4f8c-11ee-a25d-92fbcf53809c.png

04.優(yōu)點和限制

這種替代的優(yōu)先級框架引入了一種更加細致和更具戰(zhàn)略性的方法。通過專注于每個 GPU 的貢獻,您可以戰(zhàn)略性地調(diào)整資源,使其能夠發(fā)揮最大的作用,無論是在收入、市場份額還是任何其他定義指標(biāo)方面。 但優(yōu)點還不止于此。這種方法還可以增強產(chǎn)品團隊的清晰度和客觀性。根據(jù)我的經(jīng)驗,包括我早期在一家醫(yī)療保健公司領(lǐng)導(dǎo)數(shù)字化轉(zhuǎn)型以及后來與麥肯錫的各種客戶合作時,這種方法在容量限制是關(guān)鍵因素的情況下改變了游戲規(guī)則。它使我們能夠以更加數(shù)據(jù)驅(qū)動和理性的方式確定計劃的優(yōu)先順序,從而將傳統(tǒng)政治邊緣化,否則決策可能會落在房間里最響亮的聲音的手中。 然而,不存在一刀切的解決方案,并且值得承認(rèn)這種方法的潛在局限性。例如,這種方法可能并不總是體現(xiàn)某些投資的戰(zhàn)略重要性。因此,雖然可以而且應(yīng)該對框架做出例外,但應(yīng)該仔細考慮例外情況,而不是規(guī)范。這樣可以保持流程的完整性,并確保任何偏差都是在考慮到更廣泛的戰(zhàn)略背景的情況下做出的。

05.結(jié)論

產(chǎn)品領(lǐng)導(dǎo)者面臨著前所未有的GPU 短缺局面,因此需要尋找新的資源管理方法。用偉大的軍事家孫子的話來說,“混亂之中也蘊藏著機遇”。 GPU 短缺確實是一個挑戰(zhàn),但如果采取正確的方法,它也可能成為差異化和成功的催化劑。所提出的優(yōu)先級框架側(cè)重于每個 GPU 的貢獻,提供了一種確定優(yōu)先級的戰(zhàn)略方法。通過專注于每個 GPU 的貢獻,公司可以最大限度地提高投資回報,將資源調(diào)整到能夠產(chǎn)生最大影響的地方,并專注于對公司長期成功最重要的事情。

編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5309

    瀏覽量

    106412
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4948

    瀏覽量

    131244
  • 人工智能
    +關(guān)注

    關(guān)注

    1806

    文章

    49028

    瀏覽量

    249514
  • AI芯片
    +關(guān)注

    關(guān)注

    17

    文章

    1983

    瀏覽量

    35913
  • ChatGPT
    +關(guān)注

    關(guān)注

    29

    文章

    1590

    瀏覽量

    9101

原文標(biāo)題:GPU短缺和成本問題,如何破?

文章出處:【微信號:算力基建,微信公眾號:算力基建】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    中國為何同時面臨算力過剩與短缺 ?

    中國為何同時面臨算力過剩與短缺 ?
    的頭像 發(fā)表于 04-24 15:02 ?550次閱讀
    中國為何同時面臨算力過剩與<b class='flag-5'>短缺</b> ?

    SMT加工成本飆升:原材料短缺與價格上漲的雙重夾擊

    小批量PCBA快速打樣廠家今天為大家講講SMT加工成本上漲的原因有哪些?SMT加工成本上漲的三大原因。近年來,電子行業(yè)的飛速發(fā)展推動了PCBA(Printed Circuit Board
    的頭像 發(fā)表于 04-17 09:17 ?273次閱讀

    可以手動構(gòu)建imx-gpu-viv嗎?

    使用 imx-gpu-viv-6.4.3.p4.2.aarch64.bin。 https://www.nxp.com/lgfiles/NMG/MAD/YOCTO//imx-gpu-viv-6.4.3.p4.2-aarch64.bin 我需要
    發(fā)表于 03-28 06:35

    無法在GPU上運行ONNX模型的Benchmark_app怎么解決?

    在 CPU 和 GPU 上運行OpenVINO? 2023.0 Benchmark_app推斷的 ONNX 模型。 在 CPU 上推理成功,但在 GPU 上失敗。
    發(fā)表于 03-06 08:02

    OpenVINO?檢測到GPU,但網(wǎng)絡(luò)無法加載到GPU插件,為什么?

    OpenVINO?安裝在舊的 Windows 10 版本 Windows? 10 (RS1) 上。 已安裝 GPU 驅(qū)動程序版本 25.20.100.6373,檢測到 GPU,但網(wǎng)絡(luò)無法加載
    發(fā)表于 03-05 06:01

    《CST Studio Suite 2024 GPU加速計算指南》

    GPU Computing Guide》是由Dassault Systèmes Deutschland GmbH發(fā)布的有關(guān)CST Studio Suite 2024的GPU計算指南。涵蓋GPU計算
    發(fā)表于 12-16 14:25

    如何構(gòu)建及優(yōu)化GPU云網(wǎng)絡(luò)

    并從計算節(jié)點成本優(yōu)化、集群網(wǎng)絡(luò)與拓?fù)涞倪x擇等方面論述如何構(gòu)建及優(yōu)化GPU云網(wǎng)絡(luò)。
    的頭像 發(fā)表于 11-06 16:03 ?1029次閱讀
    如何構(gòu)建及優(yōu)化<b class='flag-5'>GPU</b>云網(wǎng)絡(luò)

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】--了解算力芯片GPU

    本篇閱讀學(xué)習(xí)第七、八章,了解GPU架構(gòu)演進及CPGPU存儲體系與線程管理 █從圖形到計算的GPU架構(gòu)演進 GPU圖像計算發(fā)展 ●從三角形開始的幾何階段 在現(xiàn)代圖形渲染中,三角形是最常用的基本圖形元素
    發(fā)表于 11-03 12:55

    【一文看懂】大白話解釋“GPUGPU算力”

    隨著大模型的興起,“GPU算力”這個詞正頻繁出現(xiàn)在人工智能、游戲、圖形設(shè)計等工作場景中,什么是GPU,它與CPU的區(qū)別是什么?以及到底什么是GPU算力?本篇文章主要從以下5個角度,讓您全方位了解
    的頭像 發(fā)表于 10-29 08:05 ?2598次閱讀
    【一文看懂】大白話解釋“<b class='flag-5'>GPU</b>與<b class='flag-5'>GPU</b>算力”

    常見GPU問題及解決方法

    GPU(圖形處理單元)是計算機硬件的重要組成部分,負(fù)責(zé)處理圖形和視頻渲染任務(wù)。隨著技術(shù)的發(fā)展,GPU在深度學(xué)習(xí)、游戲、視頻編輯等領(lǐng)域扮演著越來越重要的角色。然而,在使用GPU的過程中,我們可能會遇到
    的頭像 發(fā)表于 10-27 14:12 ?3681次閱讀

    如何選擇適合的GPU

    在現(xiàn)代計算領(lǐng)域,GPU(圖形處理單元)的作用已經(jīng)遠遠超出了傳統(tǒng)的圖形渲染。從深度學(xué)習(xí)到科學(xué)計算,再到視頻編輯,GPU都在發(fā)揮著越來越重要的作用。然而,市場上的GPU型號繁多,性能和價格也各不相同
    的頭像 發(fā)表于 10-27 11:07 ?1026次閱讀

    GPU算力租用平臺怎么樣

    GPU算力租用平臺以其成本效益、靈活性與可擴展性、簡化運維以及即時訪問等優(yōu)勢,在深度學(xué)習(xí)、科學(xué)計算、圖形渲染等多個領(lǐng)域發(fā)揮著重要作用。
    的頭像 發(fā)表于 10-17 10:03 ?540次閱讀

    何解決工字電感噪音大的問題

    電子發(fā)燒友網(wǎng)站提供《如何解決工字電感噪音大的問題.docx》資料免費下載
    發(fā)表于 09-04 11:46 ?0次下載

    何解決電感的漏感問題

    電子發(fā)燒友網(wǎng)站提供《如何解決電感的漏感問題.docx》資料免費下載
    發(fā)表于 09-02 14:48 ?0次下載

    暴漲預(yù)警!NVIDIA GPU供應(yīng)大跳水

    gpu
    jf_02331860
    發(fā)布于 :2024年07月26日 09:41:42