來(lái)源:半導(dǎo)體產(chǎn)業(yè)縱橫
數(shù)據(jù)之亂,正在拖慢整個(gè)芯片AI。
將人工智能融入芯片設(shè)計(jì)流程,正推動(dòng)企業(yè)全面重構(gòu)數(shù)據(jù)管理策略,從被動(dòng)存儲(chǔ)轉(zhuǎn)向主動(dòng)、結(jié)構(gòu)化、機(jī)器可讀的系統(tǒng)。隨著訓(xùn)練與推理負(fù)載不斷增長(zhǎng),數(shù)據(jù)遷移、擁堵和能效已成為核心挑戰(zhàn),其重要性甚至超過(guò)了單純的算力。EDA專用且復(fù)雜的數(shù)據(jù)格式,加上公開數(shù)據(jù)有限,使得針對(duì)半導(dǎo)體設(shè)計(jì)的AI模型微調(diào)變得非常困難。無(wú)論是用于RAG還是模型微調(diào),都需要大量解析工作和深厚的領(lǐng)域?qū)I(yè)知識(shí)。AI正迫使半導(dǎo)體企業(yè)從底層重新思考數(shù)據(jù)管理,將其從被動(dòng)存儲(chǔ)轉(zhuǎn)變?yōu)橐婚T主動(dòng)的工程學(xué)科。
工程團(tuán)隊(duì)首先必須將分散的日志和設(shè)計(jì)成果整合到機(jī)器可讀的數(shù)據(jù)湖中,用元數(shù)據(jù)和本體論進(jìn)行豐富,并在工具之間搭建穩(wěn)定的數(shù)據(jù)流管道。為此,他們會(huì)使用智能助手、檢索增強(qiáng)生成(RAG)和微調(diào)模型,而這一切都必須在嚴(yán)格安全與本地部署的約束下完成。隨著數(shù)據(jù)量增長(zhǎng),企業(yè)將需要新增EDA數(shù)據(jù)管理員這類角色,并持續(xù)投入數(shù)據(jù)結(jié)構(gòu)與質(zhì)量建設(shè)。無(wú)論工程團(tuán)隊(duì)使用RAG、訓(xùn)練模型還是微調(diào)數(shù)據(jù),數(shù)據(jù)如果只是躺在那里,就毫無(wú)價(jià)值。歷史數(shù)據(jù)與現(xiàn)有數(shù)據(jù)必須從不同集群、工具和項(xiàng)目中收集,再按項(xiàng)目、流程階段和團(tuán)隊(duì)進(jìn)行清洗與整理。此外,代碼、文本、圖像、時(shí)序數(shù)據(jù)和二進(jìn)制格式都需要解析與分塊。這些需求共同推動(dòng)團(tuán)隊(duì)轉(zhuǎn)向集中式數(shù)據(jù)湖和向量數(shù)據(jù)庫(kù),取代臨時(shí)文件共享,數(shù)據(jù)管理也更強(qiáng)調(diào)機(jī)器可讀性與檢索能力。這也解釋了為什么如今圍繞AI設(shè)計(jì)的數(shù)據(jù)管理活動(dòng)如此活躍,而僅僅一年前,行業(yè)還更關(guān)注可以使用哪些AI工具。
是德科技EDA部門IP與數(shù)據(jù)管理業(yè)務(wù)總經(jīng)理Simon Rance表示,當(dāng)時(shí)大家問(wèn)的問(wèn)題是需要在方法或設(shè)計(jì)流程中做哪些改變,才能融入并利用AI,他們也在思考如何訓(xùn)練AI。隨著企業(yè)開始真正思考并著手落地,這個(gè)領(lǐng)域不斷發(fā)展。企業(yè)面臨數(shù)據(jù)安全挑戰(zhàn)、算力問(wèn)題、AI計(jì)算的能耗問(wèn)題。現(xiàn)在人們?cè)絹?lái)越了解AI幻覺(jué)及其成因,也想知道如何緩解或減少幻覺(jué)。當(dāng)前的重點(diǎn)大量集中在數(shù)據(jù)安全上。相比于創(chuàng)建大語(yǔ)言模型或訓(xùn)練方法,數(shù)據(jù)編排的優(yōu)先級(jí)變得更高。大家都想直接深入應(yīng)用,但如果基礎(chǔ)沒(méi)打好,就會(huì)在各種地方卡住,很多企業(yè)確實(shí)卡住了,某種程度上就像陷入癱瘓。這不是只改一個(gè)點(diǎn)就能解決的問(wèn)題,會(huì)引發(fā)一連串連鎖反應(yīng)。
西門子EDA生成式AI產(chǎn)品總監(jiān)Niranjan Sitapure也持相同觀點(diǎn)。從AI設(shè)計(jì)對(duì)數(shù)據(jù)管理的影響來(lái)看,主要可以分為兩類,一類是訓(xùn)練新AI模型、大模型或微調(diào)現(xiàn)有模型,另一類是檢索增強(qiáng)生成(RAG),不需要訓(xùn)練或微調(diào)模型,也能利用已有數(shù)據(jù)。第三類,對(duì)半導(dǎo)體設(shè)計(jì)尤其重要,是前兩類都共用的數(shù)據(jù)格式問(wèn)題。像ChatGPT、Gemini這類大模型非常擅長(zhǎng)文本、代碼和多模態(tài)處理,因?yàn)樗鼈冊(cè)诨ヂ?lián)網(wǎng)上有大量這類格式的數(shù)據(jù)。但在EDA領(lǐng)域,代碼高度專有,存在專用語(yǔ)言,很多EDA工具還有自己的語(yǔ)法且不對(duì)外公開,即便是最新模型也很難獲取這些信息。部分EDA數(shù)據(jù)的格式甚至不支持機(jī)器讀取,即便有圖像和表格,也都是極其復(fù)雜的電路圖、原理圖,當(dāng)前AI模型很難理解其含義。這直接影響模型微調(diào)和RAG兩類應(yīng)用。
Sitapure指出,在微調(diào)方面,現(xiàn)有模型并沒(méi)有EDA數(shù)據(jù),它們可能很擅長(zhǎng)寫Python代碼、回答光刻原理這類通用問(wèn)題,但并不真正懂如何深入設(shè)計(jì)電路。此外,微調(diào)需要大量數(shù)據(jù),而很多芯片設(shè)計(jì)數(shù)據(jù)并不在EDA廠商手里,而是在客戶和代工廠手中,它們不會(huì)公開。想要微調(diào)當(dāng)前頂尖模型,既要解決EDA文件格式解析問(wèn)題,又要面對(duì)公開數(shù)據(jù)不足的問(wèn)題。而在RAG方面,比如在工具里打開一個(gè)設(shè)計(jì)做DRC,想理解設(shè)計(jì)狀態(tài)或從日志文件排查錯(cuò)誤,這類場(chǎng)景用RAG會(huì)更可行、更直接。
工程團(tuán)隊(duì)主要有兩種應(yīng)對(duì)方式。第一種是為所有數(shù)據(jù)搭建智能助手,配合RAG使用,相當(dāng)于EDA領(lǐng)域的ChatGPT,廠商提供模型、RAG管道和友好界面,用戶直接提問(wèn)即可。另一些用戶則希望擁有自己的微調(diào)AI模型,他們希望搭建訓(xùn)練或微調(diào)管道,在不同設(shè)計(jì)上運(yùn)行仿真,讓本地AI模型理解仿真數(shù)據(jù),預(yù)測(cè)運(yùn)行時(shí)間、內(nèi)存占用,甚至預(yù)估PPA。目前EDA廠商會(huì)向用戶提供這類技術(shù)。用戶將信息集中到自己的機(jī)器可讀數(shù)據(jù)湖中,再整體遷移到EDA廠商的AI服務(wù)基礎(chǔ)設(shè)施里,但數(shù)據(jù)保留在本地、完全物理隔離,既保證安全,又能精準(zhǔn)響應(yīng)用戶需求。換句話說(shuō),AI芯片與系統(tǒng)設(shè)計(jì)迫使數(shù)據(jù)管理從孤立、基于文件的結(jié)果,演進(jìn)為云原生、大數(shù)據(jù)基礎(chǔ)設(shè)施,能夠承載跨物理域模型、減少昂貴的數(shù)據(jù)遷移,最終將設(shè)計(jì)階段與運(yùn)行階段數(shù)據(jù)整合為統(tǒng)一、可擴(kuò)展的系統(tǒng)。
部分企業(yè)已采用大數(shù)據(jù)技術(shù),打造專門面向芯片設(shè)計(jì)的數(shù)據(jù)基礎(chǔ)設(shè)施,例如如今并入新思科技的Seascape數(shù)據(jù)庫(kù)。新思科技產(chǎn)品營(yíng)銷總監(jiān)Marc Swinnen表示,他們重寫了大量工具,讓它們直接運(yùn)行在Seascape之上,通過(guò)MapReduce等大數(shù)據(jù)技術(shù),部分工具可以原生部署在云端。在EDA行業(yè),通常是先做數(shù)據(jù)庫(kù)或工具,再考慮如何上云,而Gear創(chuàng)始人的思路相反,是云優(yōu)先,算法再去適配。當(dāng)多個(gè)工具都在Seascape上時(shí),可以實(shí)現(xiàn)傳統(tǒng)系統(tǒng)無(wú)法做到的深度數(shù)據(jù)融合與聯(lián)合分析。
工程數(shù)據(jù)價(jià)值極高,但過(guò)去長(zhǎng)期處于高風(fēng)險(xiǎn)、弱治理狀態(tài)。ChipAgents首席執(zhí)行官William Wang表示,RTL、規(guī)格書、波形、日志、ECO歷史都極度敏感、碎片化且難以審計(jì)。數(shù)據(jù)質(zhì)量,而非模型質(zhì)量,才是瓶頸。無(wú)論模型多大,錯(cuò)誤上下文都會(huì)導(dǎo)致智能體輸出錯(cuò)誤。這意味著安全與溯源比規(guī)模更重要。用戶不再只關(guān)心大數(shù)據(jù),更關(guān)心數(shù)據(jù)來(lái)源、權(quán)限、被哪些模型使用過(guò)。為解決數(shù)據(jù)質(zhì)量、安全與溯源問(wèn)題,有效的做法是嵌入工作流的數(shù)據(jù)治理,數(shù)據(jù)管理必須融入工程流程,而不是放在獨(dú)立平臺(tái)里。每份成果都需要?dú)w屬、溯源和權(quán)限,溯源與訪問(wèn)控制必須默認(rèn)開啟,現(xiàn)在還可以通過(guò)智能體介導(dǎo)訪問(wèn),由智能體自動(dòng)管控可見(jiàn)范圍與安全使用規(guī)則。
弗勞恩霍夫研究所研究員Martin Neumann-Kipping認(rèn)為,今天談AI,必須拋棄大數(shù)據(jù)就是答案的觀念,大數(shù)據(jù)熱潮已經(jīng)在退去,單純收集盡可能多的數(shù)據(jù)不再是終極目標(biāo)。企業(yè)需要的是有信息含量的數(shù)據(jù),描述清晰、關(guān)聯(lián)充分、上下文準(zhǔn)確。大多數(shù)企業(yè)的問(wèn)題不是數(shù)據(jù)不夠,而是數(shù)據(jù)被鎖在豎井里,每個(gè)豎井本身都有價(jià)值,但真正的潛力在于打通它們,把生產(chǎn)系統(tǒng)看作整體,從而建立關(guān)于系統(tǒng)的真實(shí)知識(shí)庫(kù)。要做出優(yōu)秀的AI方案,僅僅擁有數(shù)據(jù)遠(yuǎn)遠(yuǎn)不夠,必須精確知道數(shù)據(jù)代表什么,需要語(yǔ)義描述、本體論、統(tǒng)一的數(shù)據(jù)語(yǔ)言。企業(yè)現(xiàn)有數(shù)據(jù)管理系統(tǒng)可以是很好的基礎(chǔ),但需要擴(kuò)展語(yǔ)義層,跨源連接信息。AI時(shí)代的數(shù)據(jù)管理不是獨(dú)立話題,而是前提條件。如果不投入精力去描述、結(jié)構(gòu)化、關(guān)聯(lián)數(shù)據(jù),就永遠(yuǎn)只能做狹隘、局部的優(yōu)化。如果把數(shù)據(jù)當(dāng)作系統(tǒng)數(shù)字孿生的一部分,就能優(yōu)化整個(gè)流程,而不只是孤立環(huán)節(jié),這才是AI在工業(yè)界真正的長(zhǎng)期價(jià)值。
幾年前,英偉達(dá)CEO黃仁勛曾說(shuō),未來(lái)工程師會(huì)成為AI智能體的管理者。沿著這個(gè)方向,EDA數(shù)據(jù)管理員的需求正在快速增長(zhǎng),其職責(zé)是確保數(shù)據(jù)結(jié)構(gòu)化、配有正確元數(shù)據(jù)、格式合規(guī)、目錄清晰、權(quán)限合理等。西門子Sitapure表示,這類角色的重要性正在顯著提升,它可能看起來(lái)不那么光鮮,處于設(shè)計(jì)后端,但卻是基礎(chǔ)性角色,必須有人搭建這套體系,并且需要大量投入。從企業(yè)級(jí)AI視角來(lái)看,全行業(yè)都必須加大數(shù)據(jù)管理與結(jié)構(gòu)化投入,否則就是垃圾進(jìn),垃圾出。
企業(yè)規(guī)模越大,數(shù)據(jù)越容易碎片化,并購(gòu)后尤其嚴(yán)重。是德科技Rance表示,不同部門用著不同的數(shù)據(jù)管理系統(tǒng),有些甚至不用系統(tǒng),只用Confluence、SharePoint、文件服務(wù)器,沒(méi)有索引、沒(méi)有目錄、沒(méi)有版本控制。當(dāng)數(shù)據(jù)到處分散時(shí),AI會(huì)出現(xiàn)延遲、重復(fù),進(jìn)而因數(shù)據(jù)質(zhì)量、位置、可達(dá)性、算力等問(wèn)題引發(fā)幻覺(jué)。找數(shù)據(jù)和數(shù)據(jù)質(zhì)量本身才是很多問(wèn)題的根源。過(guò)去企業(yè)沒(méi)有專人來(lái)清理數(shù)據(jù),現(xiàn)在必須有這類角色和數(shù)據(jù)治理團(tuán)隊(duì),明確如何結(jié)構(gòu)化數(shù)據(jù)、存儲(chǔ)位置、唯一可信源、數(shù)據(jù)安全、加密、防泄漏以及算力支撐。
歷史上,很多數(shù)據(jù)管理系統(tǒng)都運(yùn)行在普通服務(wù)器或工作站上,但要真正支撐模型訓(xùn)練、推理和流程編排,數(shù)據(jù)必須放在高性能計(jì)算平臺(tái)上。Rance表示,底層也存在IT和基礎(chǔ)設(shè)施問(wèn)題,現(xiàn)在大家都聚焦于如何創(chuàng)建和管理模型,卻發(fā)現(xiàn)必須先整理數(shù)據(jù)、存儲(chǔ)位置、算力資源和安全問(wèn)題。把基礎(chǔ)打好后,下一個(gè)挑戰(zhàn)就是建立唯一可信源,并在設(shè)計(jì)流程中保留以往從未保留過(guò)的數(shù)據(jù),用于機(jī)器學(xué)習(xí),這會(huì)讓數(shù)據(jù)量暴增,而傳統(tǒng)IT服務(wù)器根本沒(méi)有為這種海量存儲(chǔ)做過(guò)配置。
向全新數(shù)據(jù)管理理念轉(zhuǎn)型,也帶來(lái)了獨(dú)特的組織挑戰(zhàn)。Rance說(shuō),以前合作的主要是工程師、架構(gòu)師、CAD團(tuán)隊(duì)、工程管理層,現(xiàn)在還要加上IT、安全工程師、安全專家,在大型客戶那里甚至需要法務(wù)團(tuán)隊(duì)參與,評(píng)估數(shù)據(jù)風(fēng)險(xiǎn)、分級(jí)規(guī)則,確保受出口管制的內(nèi)容不會(huì)進(jìn)入機(jī)器學(xué)習(xí)。這些工作以前由不同團(tuán)隊(duì)在后臺(tái)分別完成,現(xiàn)在所有角色都要參與整體方案評(píng)估,事情明顯變得更復(fù)雜。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7341瀏覽量
94894 -
芯片設(shè)計(jì)
+關(guān)注
關(guān)注
15文章
1158瀏覽量
56702 -
AI
+關(guān)注
關(guān)注
91文章
40244瀏覽量
301854
發(fā)布評(píng)論請(qǐng)先 登錄
芯片設(shè)計(jì)AI化,數(shù)據(jù)才是真難題
評(píng)論