6月13日，2023開放原子全球開源峰會開源大模型分論壇圓滿舉行。本場論壇匯聚了中國大模型領(lǐng)域的專家，包括工業(yè)界和學(xué)術(shù)界的主流玩家，共同探討大模型的最新技術(shù)和應(yīng)用，為業(yè)內(nèi)人士提供時(shí)新的技術(shù)資訊、深入的技術(shù)解析和實(shí)用的應(yīng)用指南。開放原子開源基金會TOC、上海市人工智能行業(yè)協(xié)會、哈工大(深圳)計(jì)算機(jī)學(xué)院、清華大學(xué)、百度、阿里、華為、騰訊、深圳數(shù)據(jù)交易所、第四范式等單位嘉賓分享前沿觀點(diǎn)。

開放原子開源基金會理事長孫文龍

孫文龍?jiān)谥罗o中表示，隨著開源成為構(gòu)建技術(shù)生態(tài)圈最有效的路徑之一，以開源開放的形式推動(dòng)大模型發(fā)展，有利于匯聚全球智慧，建設(shè)一個(gè)有生命力，能夠持續(xù)迭代更新的技術(shù)生態(tài)，通過開源大模型體系各企業(yè)都可以共享數(shù)據(jù)，共擔(dān)算力，共建算法。當(dāng)前，基金會也正在籌建大模型工作委員會，旨在依托基金會開源公益平臺，組織社會各界力量聚焦上下游伙伴，以開源開放合作方式，提供數(shù)據(jù)算力和算法的公益服務(wù)，加速大模型的行業(yè)應(yīng)用落地，推動(dòng)大模型開源生態(tài)的發(fā)展。

開放原子開源基金會TOC主席譚中意

譚中意從宏觀視角介紹了開源大模型的重要性。他認(rèn)為大模型濃縮了全世界的知識，將徹底改變知識的產(chǎn)生、傳播和發(fā)展。大模型需要通過開源協(xié)作的方式持續(xù)推動(dòng)生態(tài)健康、持續(xù)進(jìn)化。目標(biāo)是打造下一代數(shù)字經(jīng)濟(jì)核心基礎(chǔ)設(shè)施，其關(guān)鍵是合規(guī)地使用開源數(shù)據(jù)集和開源訓(xùn)練程序，并通過國產(chǎn)算力訓(xùn)練生成開源通用大模型。建議從開源數(shù)據(jù)集、開源的數(shù)據(jù)集合規(guī)清洗程序，以及提供模型和數(shù)據(jù)存儲和分發(fā)功能的平臺做起。目前基金會TOC已經(jīng)成立開源大模型SIG（Special Interest Group，類似工作組），基金會也開始籌建大模型工委會，歡迎各界同仁參與。

上海市人工智能行業(yè)協(xié)會副秘書長徐琦

徐琦闡釋了大模型的機(jī)遇和挑戰(zhàn)。他認(rèn)為大模型的分布式訓(xùn)練考驗(yàn)的是算法、數(shù)據(jù)、框架、資源調(diào)度等全棧和全流程的綜合能力，呼吁國內(nèi)大模型要做中國特色的開源，百花齊放、百舸爭流。

清華大學(xué)計(jì)算機(jī)系助理教授東昱曉

東昱曉介紹了從千億模型GLM-130B到ChatGLM的開源嘗試，并展示了對模型的訓(xùn)練情況以及在技術(shù)迭代上所做的努力。

百度飛槳框架產(chǎn)品負(fù)責(zé)人張軍

張軍介紹了產(chǎn)業(yè)級深度學(xué)習(xí)開源開放平臺飛槳的大模型訓(xùn)練能力，并介紹了百度對深度學(xué)習(xí)分布式訓(xùn)練技術(shù)突破的開創(chuàng)性貢獻(xiàn)。

阿里達(dá)摩院基礎(chǔ)大模型高級算法專家林俊旸

林俊旸介紹了阿里大模型通義千問的模型能力，其中包括自然語言和多模態(tài)的理解和生成能力，并介紹了相關(guān)開源工作。此外，他還談到了通義千問和魔搭社區(qū)的結(jié)合，未來基礎(chǔ)大語言模型和外部各類開源模型的結(jié)合將會打造出更加通用的AI系統(tǒng)。

華為MindSpore資深架構(gòu)師金小賢

金小賢分享了MindSpore近幾年在AI超大模型相關(guān)的實(shí)踐。他從當(dāng)前大模型的發(fā)展和面臨的挑戰(zhàn)入手，重點(diǎn)介紹了MindSpore的技術(shù)實(shí)踐和在大模型中的實(shí)踐。

騰訊數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)師李寶嘉

李寶嘉介紹了騰訊自研的星脈高性能算力網(wǎng)絡(luò)利用自研交換機(jī)構(gòu)建了超大規(guī)模網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了90%的網(wǎng)絡(luò)負(fù)載以及2K規(guī)模集群下16%的有效算力提升。并分享了全棧運(yùn)營系統(tǒng)如何有效減少網(wǎng)絡(luò)原因所導(dǎo)致的業(yè)務(wù)訓(xùn)練中斷問題，以保證GPU集群的高可靠性和高可用性。

深圳數(shù)據(jù)交易所副總經(jīng)理王騰

王騰認(rèn)為我國數(shù)據(jù)要素市場處于培育期，發(fā)展迅速，但數(shù)據(jù)孤島現(xiàn)象仍然存在。開源生態(tài)鼓勵(lì)數(shù)據(jù)共享和開放性，鼓勵(lì)用戶和開發(fā)者之間的合作與創(chuàng)新。在大模型領(lǐng)域，深圳數(shù)據(jù)交易所愿意成為開源大模型訓(xùn)練數(shù)據(jù)集供給的交通樞紐，同時(shí)借助深圳數(shù)據(jù)交易所數(shù)據(jù)交易合規(guī)師DEXCO社群解決開源大模型訓(xùn)練數(shù)據(jù)集合規(guī)處理問題。此外，他還介紹了開放群島開源社區(qū)的發(fā)展情況及開放群島隱私計(jì)算FATE框架，旨在保護(hù)數(shù)據(jù)隱私。

第四范式資深系統(tǒng)架構(gòu)師盧冕

來自第四范式的資深系統(tǒng)架構(gòu)師盧冕介紹大模型訓(xùn)練和服務(wù)背后的底層國產(chǎn)算力要求，還包括如GPU虛擬化方案、異構(gòu)計(jì)算技術(shù)等等。

本場論壇充分探討大語言模型的最新技術(shù)和應(yīng)用，帶領(lǐng)觀眾們領(lǐng)略國內(nèi)各大名企大模型的實(shí)踐情況并解析大模型下的國產(chǎn)算力調(diào)度，打造了一場干貨滿滿的“技術(shù)盛宴”，為開源大模型的未來指出了更為明晰的方向。