NEWS

9月22日，華為全聯(lián)接大會2023期間，華為計(jì)算產(chǎn)品線總裁張熙偉發(fā)表《算力為基，共筑AI新生態(tài)》主題演講，他表示：華為將深耕算力底座，聚焦鯤鵬、昇騰基礎(chǔ)軟硬件創(chuàng)新，攜手伙伴與開發(fā)者，打造開放、易用平臺，使能百模千態(tài)，共贏數(shù)智未來。

華為計(jì)算產(chǎn)品線總裁張熙偉

以下是演講全文

尊敬的伙伴、開發(fā)者朋友們，大家上午好！

很高興與大家再次相聚在華為全聯(lián)接大會2023，分享計(jì)算產(chǎn)業(yè)的生態(tài)進(jìn)展與規(guī)劃，暢想AI時(shí)代。

人工智能正進(jìn)入百模千態(tài)的大模型時(shí)代，對AI的生態(tài)發(fā)展提出了新的挑戰(zhàn)。

一方面，大模型快速演進(jìn)，融合算子、加速庫更加豐富，需要更加開放的技術(shù)體系，讓開發(fā)者更靈活的實(shí)現(xiàn)大模型創(chuàng)新。

另一方面，隨著參數(shù)、數(shù)據(jù)快速增長，大模型的開發(fā)、調(diào)試、優(yōu)化更復(fù)雜，業(yè)界需要更易用的全流程使能平臺，加速大模型的開發(fā)與部署。

另外，大模型訓(xùn)練投入大，軟硬件工程能力要求高，行業(yè)有更強(qiáng)的商業(yè)變現(xiàn)訴求。需要全產(chǎn)業(yè)鏈伙伴合理分工，高效協(xié)同，才能實(shí)現(xiàn)商業(yè)共贏。

過去四年，昇騰圍繞軟硬件協(xié)同、AI框架與工具鏈，持續(xù)夯實(shí)基礎(chǔ)，發(fā)展技術(shù)與商業(yè)生態(tài)，支撐了全國20多個城市人工智能計(jì)算中心的建設(shè)，同時(shí)我們深入行業(yè)應(yīng)用場景，服務(wù)金融、運(yùn)營商、互聯(lián)網(wǎng)等行業(yè)的智能化升級。

這一切都離不開每一位伙伴和開發(fā)者的共同努力，再次感謝大家一路同行，對昇騰的信賴與支持。

面向大模型時(shí)代，我們將持續(xù)聚焦伙伴與開發(fā)者的需求，全面升級昇騰基礎(chǔ)軟硬件，以開放、易用的平臺使能百模千態(tài)；以高效協(xié)同的生態(tài)賦能千行萬業(yè)。

01全面開放，靈活選擇使能大模型創(chuàng)新

平臺的開放和兼容一直是伙伴和開發(fā)者最為關(guān)心的問題。昇騰面向算子、框架、加速庫和大模型全面開放，廣泛支持、兼容業(yè)界生態(tài)，為大模型創(chuàng)新提供更多靈活選擇。

首先，昇騰提供豐富的融合算子，如主流的FlashAttention、FFN等，可在昇騰上實(shí)現(xiàn)性能倍級提升；

其次，昇騰已全面支持PyTorch、飛槳、昇思等業(yè)界框架，同時(shí)PyTorch社區(qū)也在持續(xù)增強(qiáng)對昇騰的支持，今年10月社區(qū)將發(fā)布2.1版本，原生支持昇騰，歡迎大家下載使用。

在加速庫與開發(fā)套件上，除了兼容業(yè)界主流的DeepSpeed、Megatron外，昇騰自主構(gòu)建了大模型加速庫AscendSpeed，提供豐富的大模型訓(xùn)練并行能力。同時(shí)，HuggingFace社區(qū)最新的Transformers、Accelerate等代碼倉也已原生支持昇騰，開發(fā)者直接下載，安裝即用。

模型層面上，目前已有50+主流的基礎(chǔ)大模型基于昇騰訓(xùn)練迭代，昨天也有9家伙伴發(fā)布了大模型訓(xùn)推一體機(jī)，為行業(yè)提供更加豐富的選擇。

02深度開放，使能開發(fā)者構(gòu)筑差異化競爭力

算子和加速庫是決定大模型訓(xùn)練與推理性能的關(guān)鍵，為支撐開發(fā)者孵化出更高性能的自定義算子、加速庫，我們新增開放底層運(yùn)行時(shí)，開發(fā)者可直接使用NPU上的核資源、控制流、任務(wù)調(diào)度等接口，原生構(gòu)建差異化競爭力，各類接口將于年底前陸續(xù)開放。

在編程上，今年5月發(fā)布的Ascend C編程語言，簡化開發(fā)邏輯，匹配開發(fā)習(xí)慣。這半年來持續(xù)升級迭代，支持混合編程與編譯，增加歸一化、三角函數(shù)等API，300余行大算子的開發(fā)周期從最初的2人月降到現(xiàn)在的2人周，大幅提升大模型創(chuàng)新效率。

03ModelZoo2.0正式發(fā)布上線

為了更好的發(fā)育大模型生態(tài)，昇騰社區(qū)全新升級了原有的ModelZoo，在已提供數(shù)百個預(yù)訓(xùn)練模型的基礎(chǔ)上，年底前將持續(xù)上線40多個昇騰親和的預(yù)訓(xùn)練大模型，同時(shí)支持各類大模型在線的功能體驗(yàn) 與性能對比，開放全流程的大模型開發(fā)工具與套件，支撐開發(fā)者快速實(shí)現(xiàn)大模型的二次開發(fā)。今天，ModelZoo 2.0正式上線昇騰社區(qū)。

歡迎訪問昇騰社區(qū)ModelZoo 2.0，也歡迎各位伙伴和開發(fā)者使用并反饋建議，共建大模型生態(tài)開源開放的新陣地。

04大模型超級流水線，全流程使能大模型創(chuàng)新落地

大模型創(chuàng)新涉及多個階段，是個復(fù)雜的系統(tǒng)工程，除了以昇騰的大算力來加速訓(xùn)練外，我們還提供了大模型超級流水線，以友好的大模型開發(fā)環(huán)境和統(tǒng)一的全流程工具鏈，加速大模型的開發(fā)、遷移與部署。

在腳本開發(fā)階段，我們將經(jīng)驗(yàn)沉淀成為大模型開發(fā)套件，覆蓋業(yè)界主流的LLaMA、BLOOM、GLM等20多個開源大模型，并支持在PyTorch和昇思框架上使用。

針對開發(fā)套件已支持的大模型，通過調(diào)用高階API，十幾行代碼即可構(gòu)建出完整的大模型腳本。通過多種并行算法，幾行代碼即可實(shí)現(xiàn)復(fù)雜的多維混合并行。同時(shí)提供了豐富的低參微調(diào)模板，支持一鍵啟動微調(diào)，并生成模型評估報(bào)告。

為了幫助大家將已有的大模型敏捷的遷移至?xí)N騰上，我們提供了一站式工具鏈MindStudio。

首先，千億大模型全量腳本的遷移，多數(shù)僅需兩行代碼，針對定制算子也只需輕量的代碼修改；如遷移出現(xiàn)精度偏差，MindStudio還支持精度數(shù)據(jù)自動導(dǎo)出與溢出分析，周級實(shí)現(xiàn)精度優(yōu)化。

其次，性能調(diào)優(yōu)一直是最挑戰(zhàn)的環(huán)節(jié)，隨著BatchSize的增大，算力、內(nèi)存和并行數(shù)據(jù)量隨之增加，如何提升系統(tǒng)資源利用率尤為重要。為此，MindStudio提供集群性能數(shù)據(jù)分析與調(diào)優(yōu)能力，如算子瓶頸分析、內(nèi)存占用統(tǒng)計(jì)、慢卡通信定位和分布式策略優(yōu)化等功能，大幅降低訓(xùn)練集群的調(diào)優(yōu)難度。

推理部署是大模型落地的“最后一公里”，快速部署與高效執(zhí)行是核心。

• 一方面，昇騰CANN的能力可開放給客戶自有的推理引擎，幫助客戶完成推理部署。

• 另一方面，我們也提供昇騰推理引擎，將模型壓縮、推理加速和推理執(zhí)行等能力，以統(tǒng)一API接口提供出來，方便伙伴開發(fā)推理應(yīng)用。同時(shí)昇騰推理引擎支持多種推理執(zhí)行方式，比如PyTorch、昇思的帶框架推理、ONNX離線推理以及Triton的推理服務(wù)化。

05鼓勵昇騰原生創(chuàng)新，加速伙伴商業(yè)共贏

為共筑繁榮的大模型生態(tài)，實(shí)現(xiàn)伙伴商業(yè)共贏。昇騰圍繞科研創(chuàng)新使能計(jì)劃和大模型促進(jìn)計(jì)劃，鼓勵開發(fā)者基于昇騰原生創(chuàng)新，打造更具競爭力的場景化解決方案。

技術(shù)創(chuàng)新上，我們將每年投入千萬資金扶持科研院所，推出系列大模型課程賦能高校教學(xué)，圍繞開發(fā)者成長路徑，激發(fā)價(jià)值創(chuàng)新。

商業(yè)方面，我們將投入一億資金支持大模型的技術(shù)聯(lián)創(chuàng)，大模型伙伴可享受NRE和MDF兩項(xiàng)權(quán)益，獲得三大專屬的市場支持。

技術(shù)賦能商業(yè)成功，商業(yè)牽引技術(shù)進(jìn)步，雙輪驅(qū)動，共同打造更加協(xié)同的人工智能新生態(tài)。

06以AI賦能openEuler更智能，以openEuler使能AI更高效

人工智能的飛速發(fā)展對操作系統(tǒng)也帶來了深刻影響。

▌一方面，大模型讓歐拉更智能。

面向終端用戶，Windows 12結(jié)合AI為大家?guī)砹藷o限期待，面向數(shù)字基礎(chǔ)設(shè)施，歐拉作為首個廣泛支持AI的開源操作系統(tǒng)，正在顛覆傳統(tǒng)的命令行交互方式。我們使用ChatGLM基礎(chǔ)模型，基于大量歐拉操作系統(tǒng)的代碼和數(shù)據(jù)，訓(xùn)練出了EulerCopilot，初步實(shí)現(xiàn)代碼輔助生成、問題智能分析、系統(tǒng)輔助運(yùn)維等功能。以前需要多領(lǐng)域?qū)＜覅f(xié)同解決的問題，未來都可以交給EulerCopilot。

▌另一方面，歐拉使能AI更高效。

歐拉通過異構(gòu)資源統(tǒng)一管理與調(diào)度，實(shí)現(xiàn)CPU和XPU的深度融合，以更全局、更均衡和更精細(xì)化的視角統(tǒng)籌內(nèi)存和算力，充分挖掘空閑資源，提升有效利用率，進(jìn)而提升AI訓(xùn)練和推理性能。這些功能都會持續(xù)貢獻(xiàn)社區(qū)，并合入23.09與24.03LTS版本發(fā)布。

未來歐拉將攜手伙伴、社區(qū)開發(fā)者，面向快速發(fā)展的行業(yè)需求，集成更多AI能力，高效統(tǒng)籌異構(gòu)算力，致力于將歐拉打造成為全球領(lǐng)先的開源操作系統(tǒng)。

智能化的加速發(fā)展需要堅(jiān)實(shí)的數(shù)字化底座，數(shù)字化的深度決定智能化的高度，過去幾年鯤鵬積極構(gòu)建開放的軟硬件平臺，深耕行業(yè)數(shù)字化。

07鯤鵬全棧升級，使能伙伴更卓越，加速千行萬業(yè)智能化

為了更好的賦能伙伴，服務(wù)客戶，我們持續(xù)升級鯤鵬軟硬件平臺。

昨天，我們發(fā)布了天池架構(gòu)，支持伙伴面向千行萬業(yè)，快速推出差異化機(jī)型。

基礎(chǔ)軟件方面，openEuler全場景協(xié)同能力持續(xù)增強(qiáng)，進(jìn)一步提供負(fù)載動態(tài)感知等關(guān)鍵能力，做到開箱即優(yōu)。

同時(shí)，我們還升級了鯤鵬BoostKit和DevKit 2大套件，八大主流場景性能持續(xù)提升，通過四大場景化SDK助力鯤鵬高效原生開發(fā)。

人才是產(chǎn)業(yè)發(fā)展的根基，高校是人才培養(yǎng)的搖籃。3年前，華為聯(lián)合教育部啟動了智能基座項(xiàng)目，通過與72所高校的共同努力，積累了大量的鯤鵬、昇騰教學(xué)經(jīng)驗(yàn)與資源。在高校人才峰會上，智能基座項(xiàng)目將升級走向2.0，持續(xù)深化產(chǎn)教融合與科教融合。

高校學(xué)生是產(chǎn)業(yè)的未來，而開發(fā)者則代表了產(chǎn)業(yè)當(dāng)下，我們將依托 “鯤鵬、昇騰”兩大社區(qū)，圍繞 “眾智和開發(fā)者成長”兩大計(jì)劃，通過 “創(chuàng)新大賽與創(chuàng)享日”兩大活動，持續(xù)培育開發(fā)者，讓開發(fā)者成為計(jì)算產(chǎn)業(yè)發(fā)展的中堅(jiān)力量。

大模型帶來新生態(tài)，大時(shí)代迎來新機(jī)遇。讓我們攜手奮進(jìn)，眾智合力，以算力為基，構(gòu)筑開放、易用、協(xié)同的新生態(tài)，共創(chuàng)美好的數(shù)智新未來！