近日，2025 CCF SYS 知存科技專場論壇《多模態(tài)大模型的存算一體加速》以超預(yù)期的火爆人氣與豐碩交流成果，在北京圓滿收官。由清華大學(xué)劉勇攀、清華大學(xué)胡楊、北京大學(xué)李萌、復(fù)旦大學(xué)陳遲曉四位講者帶來的精彩報告吸引了現(xiàn)場百余位觀眾學(xué)習(xí)交流。從“晶圓級芯片計算架構(gòu)與集成架構(gòu)探究”、到“突破內(nèi)存瓶頸的大模型推理軟硬件優(yōu)化”、再到“2.5D/3D/3.5D存算一體集成芯片”，以及“多模態(tài)智能生成式感知芯片”，講者們帶來的不僅是干貨拉滿的研究成果，也啟發(fā)了行業(yè)技術(shù)升級的新視角。我們摘選了每位講者的部分精彩內(nèi)容制作成海報，希望讓更多人聽見這場學(xué)術(shù)交流盛宴的回響。

01｜晶圓級芯片計算架構(gòu)與集成架構(gòu)探究

報告摘要：隨著大模型任務(wù)部署的普及，對算力的需求日益增長。在當(dāng)前摩爾定律放緩以及嚴(yán)峻的工藝封鎖下，需要探究新的計算節(jié)點算力提升路徑。晶圓級芯片以超大規(guī)模的單片集成方式，成為支撐下一代人工智能算力的新型芯片架構(gòu)。然而，晶圓級芯片雖然帶來了高密度片上互連及海量的計算與存儲資源，但也具有獨特的設(shè)計約束。因此，協(xié)調(diào)片上互連架構(gòu)設(shè)計、計算資源高密度集成與前沿大模型任務(wù)的高效執(zhí)行，仍是亟待突破的關(guān)鍵問題。本報告從晶圓級芯片計算架構(gòu)與集成架構(gòu)兩個角度切入，嘗試提供參考性的解決方案。

02｜突破內(nèi)存瓶頸的大模型推理軟硬件優(yōu)化

報告摘要：以ChatGPT為代表的大模型快速發(fā)展，為自然語言處理、計算機(jī)視覺等領(lǐng)域帶來了重要的技術(shù)革新。然而，依據(jù)scaling law，大模型的參數(shù)量呈現(xiàn)指數(shù)級增長的趨勢，造成了嚴(yán)峻的存儲和帶寬瓶頸。而大模型的自回歸解碼特性與長文本處理需求則進(jìn)一步增加了訪存帶寬需求。在本次報告中，我將介紹課題組在大模型并行解碼、自適應(yīng)調(diào)度、長文本壓縮等方面的一系列研究，通過模型/加速器協(xié)同設(shè)計和優(yōu)化，降低大模型推理的計算和訪存開銷，提升大模型推理效率。

03｜ 2.5D/3D/3.5D存算一體集成芯片

報告摘要：隨著像AI 大模型的快速擴(kuò)展，傳統(tǒng)計算架構(gòu)面臨了巨大的挑戰(zhàn)。為了克服“內(nèi)存墻”問題，內(nèi)存驅(qū)動的架構(gòu)，如計算內(nèi)存（CIM）/近內(nèi)存計算（PNM）架構(gòu)應(yīng)運(yùn)而生，它們通過將計算與內(nèi)存集成，減少了延遲和能耗。本報告將探討通過先進(jìn)集成技術(shù)實現(xiàn)的2.5D/3D/3.5D異構(gòu)集成在CIM/PNM系統(tǒng)中的可擴(kuò)展性。在2.5D集成中，我們討論了一種層級流水并行映射方法，通過最小化芯片間通信來提高效率。在3D集成中，堆疊接口可提供更高的帶寬、減少互連延遲，并為AI工作負(fù)載提供可擴(kuò)展的性能。我們開發(fā)了一種基于有源硅中介層的3D存算集成芯片，以實現(xiàn)靈活的3D通信。本報告還將討論存算芯片向3.5D拓展的優(yōu)勢。這些2.5D/3D/3.5D方案為在后摩爾時代智能芯片持續(xù)推進(jìn)規(guī)?；▌t提供了可行的路徑，并對AI基礎(chǔ)設(shè)施、邊緣計算和高性能系統(tǒng)具有重要的意義。

04｜多模態(tài)智能生成式感知芯片

報告摘要：具身智能、自動駕駛等新興應(yīng)用推動了對邊緣端高效多模態(tài)處理的需求。然而，現(xiàn)有邊緣端多模態(tài)處理面臨兩個關(guān)鍵挑戰(zhàn)。一方面，多模態(tài)處理相比單模態(tài)處理帶來了更加顯著的數(shù)據(jù)搬運(yùn)開銷。傳統(tǒng)存算分離的馮·諾伊曼架構(gòu)在這種情況下會面臨顯著的計算延時和功耗開銷。為此，本團(tuán)隊提出了基于存算一體的多模態(tài)智能處理架構(gòu)。通過存內(nèi)計算設(shè)計有效提高了邊緣端多模態(tài)處理的能效和計算速度。另一方面，我們觀察到現(xiàn)有工作逐漸從數(shù)據(jù)處理轉(zhuǎn)向數(shù)據(jù)生成。傳統(tǒng)多模態(tài)處理受限于傳感器的物理局限，常常面臨感知維度不足或物體遮擋帶來的細(xì)節(jié)缺失等挑戰(zhàn)。為此，本團(tuán)隊提出可以將智能生成與多模態(tài)數(shù)據(jù)處理相結(jié)合，形成“虛實結(jié)合”的多模態(tài)智能處理，從而實現(xiàn)對傳統(tǒng)多模態(tài)處理的增強(qiáng)和突破。本報告將回顧本團(tuán)隊在存內(nèi)計算和多模態(tài)融合處理方面所作的加速芯片工作，進(jìn)而介紹本團(tuán)隊最新的生成式感知工作。最后，本報告會對多模態(tài)智能處理的未來發(fā)展趨勢做出展望。

再次感謝四位學(xué)者為參會同學(xué)們帶來的多維度的思考與啟發(fā)！知存科技期待能夠組織更多交流活動，續(xù)寫更多精彩對話。