chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

ChatGPT為何顯得如此“與眾不同”?

Cadence楷登 ? 來源:Cadence楷登 ? 2023-04-25 10:53 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

隨著 ChatGPT 橫空出世,預(yù)訓(xùn)練大模型對千行百業(yè)的革新與改造潛力已盡顯無遺,甚至有業(yè)界大佬將其問世譽為人工智能iPhone 時刻”,并預(yù)言這“只是更偉大事物的開始”

ChatGPT 為何顯得如此“與眾不同”?

借用技術(shù)接受理論(TAM)提出者哈佛大學(xué)教授 Venky Narayanamurti 的總結(jié):有用性(usefulness)與易用性(ease of use)是一項新興技術(shù)擴散的兩大基本前提。以這一標(biāo)準(zhǔn)衡量,2016 年的“AlphaGo vs 李世石”五番棋大戰(zhàn),堪稱完成了對人工智能“有用性”的全民科普,而 ChatGPT 則標(biāo)志著 AI 技術(shù)擴散的另一必要條件——易用性已潛移默化滲入公眾心智。

基于此,外界有理由樂觀期待,人工智能產(chǎn)業(yè)的確已站在了巨擘預(yù)卜的宏偉藍圖新起點上。

成于算力 困于互連?

在不少“后見之明”的解讀中,GPT 家族往往被與 2017 年谷歌推出的 Transformer 模型相聯(lián)系。

基于自注意力機制的 Transformer,及其后谷歌 BERT 對各類文本任務(wù)的“屠榜”表現(xiàn)和驚人的泛化能力,的確堪稱為 GPT 做好了前置技術(shù)與工程方法的鋪墊。站在巨人的肩膀上,GPT 開發(fā)者 OpenAI 團隊,最終憑借更敏捷的效率和更有力的執(zhí)行,完成了最后的一躍。

進一步深入看,Transformer 較此前 MLPLSTM 等傳統(tǒng)深度學(xué)習(xí)模型,正是對硬件算力實現(xiàn)了更高效的運用。

關(guān)于這一點,2019 年深度學(xué)習(xí)泰斗、DeepMind 首席科學(xué)家 Richard Sutton 在其《苦澀的教訓(xùn)》一文中就曾感言,從 70 年 AI 研究中可以學(xué)到的最大教訓(xùn)是,利用計算的一般方法最終是最有效的,而且有很大的優(yōu)勢,終極原因是摩爾定律,或者更確切地說,是它對每單位計算成本持續(xù)呈指數(shù)下降的概括,大多數(shù) AI 研究都是在可用算力恒定的情況下進行的(在這種情況下,利用人類經(jīng)驗將是提高性能的唯一方法),但是,在比典型研究項目稍長的時間里,算力會大大增加,從長遠來看,唯一重要的是利用計算。

正如 Sutton 所預(yù)見的,近年來,AI 硬件算力取得了突飛猛進的發(fā)展。除了為人所熟知的 GPU 之外,谷歌 TPU(GPT 系列早期通過 TPUv2 進行訓(xùn)練)、微軟 Catapult 等 AI 加速芯片往往省去了傳統(tǒng)通用 CPU 微架構(gòu)中亂序、預(yù)取等高級控制措施,能夠?qū)崿F(xiàn)卷積神經(jīng)網(wǎng)絡(luò)最核心的乘加運算單元設(shè)計最優(yōu)化,充分挖掘 SIMD 架構(gòu)并行計算能力。

算法、算力及其相結(jié)合的工程方法進步,最終為 OpenAI“大力出奇跡”奠定了基礎(chǔ)。

完全可以預(yù)期,在 OpenAI 明星效應(yīng)下,全球科技巨頭未來一兩年必將推出一系列類 GPT 預(yù)訓(xùn)練大模型,也有望帶動對數(shù)據(jù)中心 AI 算力集群的投資進一步加速。

不過值得注意的是,盡管各大芯片廠商爭相推出 AI 加速芯片,算力參數(shù)不斷刷新記錄,但預(yù)訓(xùn)練大模型參數(shù)量動輒上百億、千億乃至萬億,其訓(xùn)練仍遠遠超出一兩張 GPU 等 AI 加速卡所能駕馭的范圍,往往必須通過網(wǎng)絡(luò)將多處理器互連、乃至進一步組成 HPC 算力集群,實現(xiàn)算力資源的池化調(diào)度,如此方能滿足 AI 大模型的分布式、并行化訓(xùn)練。而在評估訓(xùn)練效率時,單批數(shù)據(jù)(batch)的總訓(xùn)練用時也往往受通信時長的顯著影響。

正因如此,隨著 AI 大模型揭示的全新想象空間出現(xiàn),算力集群這一基礎(chǔ)設(shè)施也將迎來投資熱潮,而在其面臨的配電、散熱、通信等一系列工程挑戰(zhàn)中,算力節(jié)點間的數(shù)據(jù)傳輸尤其堪稱制約硬件算力充分釋放的關(guān)鍵“瓶頸”。

破解互連瓶頸的“關(guān)鍵支點”

AI 訓(xùn)練、推理所面對的數(shù)據(jù)量指數(shù)增長,使得無論單服務(wù)器中多 GPU、CPU 間 C2C 通信,還是在多服務(wù)器間組網(wǎng),數(shù)據(jù)傳輸總體都呈現(xiàn)出高帶寬、低延遲的技術(shù)需求。

在算力集群通信網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)趨同的背景下,交換機接口日益成為打通“瓶頸”的重要突破口,并衍生出提升網(wǎng)卡速率、增加網(wǎng)卡數(shù)量、乃至應(yīng)用 RDMA 網(wǎng)絡(luò)直連等多種工程思路。

而在底層接口技術(shù)領(lǐng)域,與傳統(tǒng)并行接口相比,SerDes 串行接口由于其顯著的成本優(yōu)勢,已然成為應(yīng)用主流,在 PCIe 6.0 等新標(biāo)準(zhǔn)中,更是在物理層進一步引入對 PAM4(四階脈沖振幅調(diào)變)編碼的支持,以進一步提高 SerDes 數(shù)據(jù)傳輸速率。

不過 SerDes 的應(yīng)用,也自然存在不少技術(shù)挑戰(zhàn),其中最嚴(yán)峻的,無疑首推信號完整性(SI)問題。

例如在通過背板、連接器、PCB 板的中距離、長距離互連場景中,SerDes 高速鏈路 TX、RX 端往往間隔著管腳、PCB 過孔、信號線乃至連接器、線纜等環(huán)節(jié),存在材料、工藝、布局等復(fù)雜原因引入的噪聲、串?dāng)_和信號衰減,以至于最終抵達接收器的電氣信號可能嚴(yán)重失真,很難恢復(fù)所傳輸信息的時鐘和數(shù)據(jù)位,也局限了速率、距離上的設(shè)計空間。

新一代 56G、112G SerDes 應(yīng)用 PAM4 編碼,在提供更大網(wǎng)絡(luò)吞吐量的同時,也因引入更多電平水平,帶來了信噪比損失、誤碼率(BER)惡化、前向糾錯(FEC)延遲增加等問題,需要進行精細(xì)的權(quán)衡取舍。

從上面的分析不難看出,想要充分發(fā)揮 AI 硬件算力效能,接口技術(shù)是破解互連瓶頸的關(guān)鍵支點,具有極大的杠桿效應(yīng),而其應(yīng)用則必須解決圍繞信號完整性的諸多挑戰(zhàn)。

目前,盡管大量硬件廠商聘請了專職 SI 工程師負(fù)責(zé)調(diào)試,不過其效果取決于千差萬別的個人“手藝”,由于在芯片與系統(tǒng)設(shè)計各層面均需保證信號完整性,驗證過程也往往曠日持久,只有技能十分熟練且模電領(lǐng)域經(jīng)驗極其豐富的設(shè)計團隊才能嘗試此類設(shè)計,且測試驗證周期漫長。

正因如此,在芯片設(shè)計中,外購高速接口 IP 幾乎成為行業(yè)“必選項”,也帶動接口 IP 成為近年來增速最快的 IP 細(xì)分市場,根據(jù)專業(yè)機構(gòu)預(yù)測,接口 IP 甚至有望在 2025 年前后超越 CPU IP,成為第一大半導(dǎo)體 IP 品類。

授人以魚,更要授人以漁

接口 IP 市場機遇,也使之成為各大 IP HOUSE 競爭熱點。Cadence 同樣推出了112G SerDes IP 設(shè)計,面向高性能計算(HPC)數(shù)據(jù)中心 SOC 需求,適用于長距離和中距離傳輸,已經(jīng)經(jīng)過 7nm 制程硅驗證,擁有上佳的 PPA 表現(xiàn),插入損耗 >35dB。

值得一提的是,外購接口 IP 只是從芯片到系統(tǒng)開發(fā)及信號完整性測試的起點,與工作流配套的工具是否完備、可及,也是影響開發(fā)周期的重要因素,可以說接口 IP 供應(yīng)商既要授人以魚,更要授人以漁。

作為 EDAIP 領(lǐng)域巨頭,Cadence 在這方面的實踐尤其具有代表性。在 SerDes 等成熟接口 IP 之外,該公司還提供了有機融合的完善設(shè)計工具和技術(shù),幫助芯片與系統(tǒng)設(shè)計人員應(yīng)對貫穿各層面的信號完整性挑戰(zhàn)。

例如在不同芯片間互連設(shè)計與仿真中,建模是必不可少的手段。目前,IBIS 和 AMI 是對 SerDes 信道進行建模的首選方式,IBIS-AMI 的出現(xiàn),使利用仿真模型快速且精確地模擬大量比特流成為了可能。Cadence 基于Sigrity Advanced IBIS 建模工具,用戶可自動創(chuàng)建模型,借助向?qū)С绦蛏蓪嵱盟惴P汀?/p>

在基于 PCB 板/背板/連接器的中長距離互連場景中,SerDes 高速接口開發(fā)人員為了精準(zhǔn)可靠地分析信號,還需要為總體設(shè)計進行信號完整性(SI)、電源完整性(PI)以及電磁兼容性(EMC)協(xié)同仿真,開發(fā)者往往需要透徹了解數(shù)據(jù)采集分析理論、精準(zhǔn)建立模擬器件特性模型。

針對這一痛點,Cadence 的Clarity 3D Solver為 PCB、IC 封裝和 SoIC 關(guān)鍵互連設(shè)計提供了更好的工具選擇,基于其創(chuàng)建的高精度 S-參數(shù)模型,即使在 112G 數(shù)據(jù)傳輸速度下,也能實現(xiàn)與實驗室測量相匹配的仿真結(jié)果。其有限元分析(FEM)過程實現(xiàn)了高度并行化,可極大縮短求解耗時,并支持近乎線性的硬件算力可擴展性。

此外,在分析鏈路信號完整性時,通常隱含假設(shè)是電路板和連接器功能良好,但在極高頻率下,單獨分析連接器和電路板、然后再將它們“連接"在一起的假設(shè)不再適用。電路板和連接器之間交互過多,同樣需要 Clarity Solver 等全面的 3D 分析工具實現(xiàn)高質(zhì)量設(shè)計,同時準(zhǔn)確預(yù)測成品性能。

結(jié)

黃仁勛喊出人工智能“iPhone 時刻”后,短短幾十天以來,預(yù)訓(xùn)練大模型及其下游應(yīng)用,已經(jīng)呈現(xiàn)出令人目不暇給的爆發(fā)態(tài)勢??梢韵胍?,在各大云計算巨頭的 AI 大模型“軍備競賽”中,算力集群也將迎來一輪新的投資熱潮,通信網(wǎng)絡(luò)與接口技術(shù),也有望進入發(fā)展加速期。此外,特斯拉 Dojo、Cerebras WSE-2 等走“超級單芯片”路線的廠商,也可能引領(lǐng)一條大模型訓(xùn)練的新路。

不過無論何種路徑,對接口 IP 的“剛需”都清晰可見,在這一熱點、難點領(lǐng)域,Cadence 將帶來更多完整的解決方案,推動互連瓶頸的緩解與松動,有力釋放預(yù)訓(xùn)練大模型無限可能,造福千行百業(yè)。

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1807

    文章

    49029

    瀏覽量

    249584
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3521

    瀏覽量

    50433
  • ChatGPT
    +關(guān)注

    關(guān)注

    29

    文章

    1590

    瀏覽量

    9111

原文標(biāo)題:釋放 AI 大模型潛能,硬件算力亟待突破互連瓶頸

文章出處:【微信號:gh_fca7f1c2678a,微信公眾號:Cadence楷登】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    和安信可Ai-M61模組對話?手搓一個ChatGPT 語音助手 #人工智能 #

    ChatGPT
    jf_31745078
    發(fā)布于 :2025年03月12日 15:56:59

    OpenAI嘗試減少對ChatGPT的審查

    ,這一政策的實施將使得ChatGPT能夠回答更多的問題,提供更多的視角。在過去,由于審查機制的存在,ChatGPT對于一些敏感或爭議性話題往往保持沉默,不愿過多涉及。然而,隨著新政策的推行,ChatGPT將逐漸減少對這類話題的回
    的頭像 發(fā)表于 02-17 14:42 ?1954次閱讀

    OpenAI免費開放ChatGPT搜索功能

    近日,OpenAI宣布了一項重大決策:向所有用戶免費開放ChatGPT搜索功能。這一舉措無疑將為用戶帶來更加高效、智能的搜索體驗。 與谷歌等傳統(tǒng)搜索引擎的收錄模式相比,ChatGPT搜索展現(xiàn)出了獨特
    的頭像 發(fā)表于 02-06 14:35 ?506次閱讀

    ChatGPT新增實時搜索與高級語音功能

    在OpenAI的第八天技術(shù)分享直播中,ChatGPT的搜索功能迎來了重大更新。此次更新不僅豐富了ChatGPT的功能體系,更提升了其實用性和競爭力。 新增的實時搜索功能,是此次更新的亮點之一
    的頭像 發(fā)表于 12-17 14:08 ?647次閱讀

    OpenAI推出Windows桌面版ChatGPT應(yīng)用

    近日,OpenAI正式為微軟Windows 10和Windows 11用戶帶來了桌面版ChatGPT應(yīng)用程序,這一創(chuàng)新之舉為用戶提供了更加便捷和高效的交互體驗。 據(jù)OpenAI產(chǎn)品開發(fā)人員Alex
    的頭像 發(fā)表于 11-18 14:04 ?712次閱讀

    蘋果iOS 18.2公測版發(fā)布,Siri與ChatGPT深度融合

    11月7日,蘋果公司正式推出了iOS 18.2的公測版,這款新版本為用戶帶來了諸多備受期待的新功能,其中Siri與ChatGPT的深度融合成為了最為引人注目的亮點。   在iOS 18.2中
    的頭像 發(fā)表于 11-07 15:22 ?1059次閱讀

    OpenAI推出ChatGPT搜索功能

    近日,OpenAI再次邁出了重要的一步,為其廣受好評的ChatGPT平臺添加了一項全新的搜索功能。 據(jù)悉,這項被命名為“ChatGPT搜索”的新功能,將為用戶帶來前所未有的搜索體驗。以往,當(dāng)用戶需要
    的頭像 發(fā)表于 11-04 10:34 ?683次閱讀

    ChatGPT:怎樣打造智能客服體驗的重要工具?

    ChatGPT作為智能對話生成模型,可以幫助打造智能客服體驗的重要工具。以下是一些方法和步驟:1.數(shù)據(jù)收集和準(zhǔn)備:收集和整理與客服相關(guān)的數(shù)據(jù),包括常見問題、回答示例、客戶對話記錄等。這將用于訓(xùn)練
    的頭像 發(fā)表于 11-01 11:12 ?444次閱讀
    <b class='flag-5'>ChatGPT</b>:怎樣打造智能客服體驗的重要工具?

    ChatGPT 在游戲開發(fā)中的創(chuàng)新應(yīng)用

    在游戲開發(fā)領(lǐng)域,人工智能技術(shù)的應(yīng)用正變得越來越廣泛。ChatGPT,作為一種先進的自然語言處理(NLP)模型,為游戲開發(fā)帶來了許多創(chuàng)新的應(yīng)用。 1. 動態(tài)對話系統(tǒng) ChatGPT的強項之一是生成自然
    的頭像 發(fā)表于 10-25 18:05 ?1183次閱讀

    怎樣搭建基于 ChatGPT 的聊天系統(tǒng)

    搭建一個基于ChatGPT的聊天系統(tǒng)是一個涉及多個步驟的過程,包括理解ChatGPT的API、設(shè)計用戶界面、處理數(shù)據(jù)和集成ChatGPT模型。以下是一個簡化的指南,用于創(chuàng)建一個基本的聊天系統(tǒng)。 1.
    的頭像 發(fā)表于 10-25 16:23 ?1029次閱讀

    ChatGPT 適合哪些行業(yè)

    ChatGPT 是一種基于人工智能的自然語言處理技術(shù),它能夠理解和生成人類語言。這種技術(shù)在多個行業(yè)中都有廣泛的應(yīng)用潛力。以下是一些ChatGPT特別適合的行業(yè),以及它在這些行業(yè)中可能的應(yīng)用方式
    的頭像 發(fā)表于 10-25 16:11 ?999次閱讀

    如何使用 ChatGPT 進行內(nèi)容創(chuàng)作

    使用ChatGPT進行內(nèi)容創(chuàng)作是一個高效且富有創(chuàng)意的過程。以下是一些關(guān)鍵步驟和建議,幫助您充分利用ChatGPT進行內(nèi)容創(chuàng)作: 一、準(zhǔn)備階段 注冊與登錄 : 確保您已注冊ChatGPT賬號,并登錄
    的頭像 發(fā)表于 10-25 16:08 ?1019次閱讀

    華納云:ChatGPT 登陸 Windows

    ChatGPT 現(xiàn)已在 Windows 上推出。 今天,OpenAI宣布已開始預(yù)覽其 AI 聊天機器人平臺ChatGPT的專用 Windows 應(yīng)用程序。 OpenAI 表示, ChatGPT
    的頭像 發(fā)表于 10-18 15:50 ?528次閱讀

    空載時為何OPA454如此發(fā)燙,這個發(fā)燙是正?,F(xiàn)象嗎?

    Supply voltage, VS = (V+) – (V–) 120 V,是不是意味著我使用(V-)=-12V,(V+)=95V供電是在其允許范圍內(nèi)的?在空載時為何OPA454如此發(fā)燙,這個發(fā)燙是正?,F(xiàn)象么?
    發(fā)表于 08-02 10:08