近日，2025 CCF SYS 知存科技專場論壇《多模態(tài)大模型的存算一體加速》以超預(yù)期的火爆人氣與豐碩交流成果，在北京圓滿收官。由清華大學(xué)劉勇攀、清華大學(xué)胡楊、北京大學(xué)李萌、復(fù)旦大學(xué)陳遲曉四位講者帶來的精彩報告吸引了現(xiàn)場百余位觀眾學(xué)習(xí)交流。從“晶圓級芯片計算架構(gòu)與集成架構(gòu)探究”、到“突破內(nèi)存瓶頸的大模型推理軟硬件優(yōu)化”、再到“2.5D/3D/3.5D存算一體集成芯片”，以及“多模態(tài)智能生成式感知芯片”，講者們帶來的不僅是干貨拉滿的研究成果，也啟發(fā)了行業(yè)技術(shù)升級的新視角。我們摘選了每位講者的部分精彩內(nèi)容制作成海報，希望讓更多人聽見這場學(xué)術(shù)交流盛宴的回響。

01｜晶圓級芯片計算架構(gòu)與集成架構(gòu)探究

報告摘要：隨著大模型任務(wù)部署的普及，對算力的需求日益增長。在當(dāng)前摩爾定律放緩以及嚴峻的工藝封鎖下，需要探究新的計算節(jié)點算力提升路徑。晶圓級芯片以超大規(guī)模的單片集成方式，成為支撐下一代人工智能算力的新型芯片架構(gòu)。然而，晶圓級芯片雖然帶來了高密度片上互連及海量的計算與存儲資源，但也具有獨特的設(shè)計約束。因此，協(xié)調(diào)片上互連架構(gòu)設(shè)計、計算資源高密度集成與前沿大模型任務(wù)的高效執(zhí)行，仍是亟待突破的關(guān)鍵問題。本報告從晶圓級芯片計算架構(gòu)與集成架構(gòu)兩個角度切入，嘗試提供參考性的解決方案。

02｜突破內(nèi)存瓶頸的大模型推理軟硬件優(yōu)化

報告摘要：以ChatGPT為代表的大模型快速發(fā)展，為自然語言處理、計算機視覺等領(lǐng)域帶來了重要的技術(shù)革新。然而，依據(jù)scaling law，大模型的參數(shù)量呈現(xiàn)指數(shù)級增長的趨勢，造成了嚴峻的存儲和帶寬瓶頸。而大模型的自回歸解碼特性與長文本處理需求則進一步增加了訪存帶寬需求。在本次報告中，我將介紹課題組在大模型并行解碼、自適應(yīng)調(diào)度、長文本壓縮等方面的一系列研究，通過模型/加速器協(xié)同設(shè)計和優(yōu)化，降低大模型推理的計算和訪存開銷，提升大模型推理效率。

03｜ 2.5D/3D/3.5D存算一體集成芯片

報告摘要：隨著像AI 大模型的快速擴展，傳統(tǒng)計算架構(gòu)面臨了巨大的挑戰(zhàn)。為了克服“內(nèi)存墻”問題，內(nèi)存驅(qū)動的架構(gòu)，如計算內(nèi)存（CIM）/近內(nèi)存計算（PNM）架構(gòu)應(yīng)運而生，它們通過將計算與內(nèi)存集成，減少了延遲和能耗。本報告將探討通過先進集成技術(shù)實現(xiàn)的2.5D/3D/3.5D異構(gòu)集成在CIM/PNM系統(tǒng)中的可擴展性。在2.5D集成中，我們討論了一種層級流水并行映射方法，通過最小化芯片間通信來提高效率。在3D集成中，堆疊接口可提供更高的帶寬、減少互連延遲，并為AI工作負載提供可擴展的性能。我們開發(fā)了一種基于有源硅中介層的3D存算集成芯片，以實現(xiàn)靈活的3D通信。本報告還將討論存算芯片向3.5D拓展的優(yōu)勢。這些2.5D/3D/3.5D方案為在后摩爾時代智能芯片持續(xù)推進規(guī)?；▌t提供了可行的路徑，并對AI基礎(chǔ)設(shè)施、邊緣計算和高性能系統(tǒng)具有重要的意義。

04｜多模態(tài)智能生成式感知芯片

報告摘要：具身智能、自動駕駛等新興應(yīng)用推動了對邊緣端高效多模態(tài)處理的需求。然而，現(xiàn)有邊緣端多模態(tài)處理面臨兩個關(guān)鍵挑戰(zhàn)。一方面，多模態(tài)處理相比單模態(tài)處理帶來了更加顯著的數(shù)據(jù)搬運開銷。傳統(tǒng)存算分離的馮·諾伊曼架構(gòu)在這種情況下會面臨顯著的計算延時和功耗開銷。為此，本團隊提出了基于存算一體的多模態(tài)智能處理架構(gòu)。通過存內(nèi)計算設(shè)計有效提高了邊緣端多模態(tài)處理的能效和計算速度。另一方面，我們觀察到現(xiàn)有工作逐漸從數(shù)據(jù)處理轉(zhuǎn)向數(shù)據(jù)生成。傳統(tǒng)多模態(tài)處理受限于傳感器的物理局限，常常面臨感知維度不足或物體遮擋帶來的細節(jié)缺失等挑戰(zhàn)。為此，本團隊提出可以將智能生成與多模態(tài)數(shù)據(jù)處理相結(jié)合，形成“虛實結(jié)合”的多模態(tài)智能處理，從而實現(xiàn)對傳統(tǒng)多模態(tài)處理的增強和突破。本報告將回顧本團隊在存內(nèi)計算和多模態(tài)融合處理方面所作的加速芯片工作，進而介紹本團隊最新的生成式感知工作。最后，本報告會對多模態(tài)智能處理的未來發(fā)展趨勢做出展望。

再次感謝四位學(xué)者為參會同學(xué)們帶來的多維度的思考與啟發(fā)！知存科技期待能夠組織更多交流活動，續(xù)寫更多精彩對話。