2024年7月13日-14日，由中國人工智能學(xué)會主辦的2024中國元宇宙大會在杭州隆重舉行。大會期間舉行6場專題論壇，分別聚焦AIGC與數(shù)字人、人機交互與混合現(xiàn)實、AR/VR與光場顯示、具身智能與元宇宙、藝術(shù)元宇宙、文旅元宇宙等關(guān)鍵領(lǐng)域和垂直場景。

摩爾線程作為中國全功能GPU創(chuàng)新引領(lǐng)者和元計算概念提出及實踐者，受邀參加本次盛會。摩爾線程聯(lián)合創(chuàng)始人、首席技術(shù)官張鈺勃聯(lián)合主持了人機交互與混合現(xiàn)實專題論壇。摩爾學(xué)院院長李豐參與了大會發(fā)布的《中國人工智能系列白皮書—元宇宙技術(shù)（2024版）》撰寫。摩爾線程高級專家楊豐博士發(fā)表了《虛實結(jié)合 加速未來：以全功能GPU綜合算力加速元宇宙產(chǎn)業(yè)發(fā)展》的主題演講。

楊豐博士在演講中首先介紹了摩爾線程全功能GPU的多元計算能力。

接著從具身假設(shè)開始，楊豐博士介紹了具身智能感知、規(guī)劃、行動一體化的思想。他表示，具身智能的發(fā)展使得AI學(xué)習(xí)從僅依靠靜態(tài)的數(shù)據(jù)集逐漸轉(zhuǎn)換到還需要動態(tài)的模擬器。這種面向AI學(xué)習(xí)所設(shè)計的模擬器，主要目的是為了支撐Sim2Real，即“AI Agent需要被部署到實際的設(shè)備上，從而與物理世界產(chǎn)生交互”。這種面向AI學(xué)習(xí)的需求，給模擬器的設(shè)計帶來了新的挑戰(zhàn)。

以靈巧手為例，當(dāng)前機械臂逐漸開始采用視觸覺傳感器GelSight。這種傳感器利用相機拍攝接觸面的凝膠，從而通過圖片感知接觸物體的幾何形狀、紋理、切向摩擦等信息。在模擬器中模擬這樣一種視觸覺傳感器，需要通過渲染管線渲染160x120大小的圖片。但是，由于在每根手指上都存在多個傳感器，因此每一幀需要大量調(diào)取Draw指令進行渲染，使得渲染成為了主要的性能瓶頸。因此，近年來很多工作都在使用現(xiàn)代圖形API實現(xiàn)批量渲染的引擎，將渲染合并在一起進行一次性處理，大幅提高渲染效率。

基于感知獲得的信息，接下來要讓機械手完成任務(wù)，最直接的方式就是行為克隆。通過XR設(shè)備，人類可以錄制對應(yīng)的操作數(shù)據(jù)，甚至可以進入到虛擬訓(xùn)練環(huán)境中與Agent互動。摩爾線程端到端全國產(chǎn)XR解決方案MTVerse XR支持多種XR設(shè)備運行在摩爾線程全功能GPU上，利用全功能GPU的視頻編解碼能力，可提供低延時體驗，降低因為延時帶來的操作失誤。

事實上，行為克隆技術(shù)很早就進入到了機器人研究當(dāng)中，但這種方式總歸需要人錄制數(shù)據(jù)。在錄制數(shù)據(jù)中，往往還需要一些專家知識，例如：避免動作的多模態(tài)等，數(shù)據(jù)的獲取往往比較困難。強化學(xué)習(xí)可以降低對數(shù)據(jù)的依賴，但是這種方式采樣效率低。GPU物理引擎結(jié)合GPU上的強化學(xué)習(xí)，可以大幅提高任務(wù)的吞吐量。摩爾線程很早就基于全功能GPU自研了全自主物理引擎AlphaCore，產(chǎn)品已經(jīng)在多個場景大量應(yīng)用。

在模擬器中學(xué)習(xí)，最大的好處就是提高學(xué)習(xí)的泛化能力。對于抓取這樣的任務(wù)，現(xiàn)實空間中針對不同大小、形狀、材質(zhì)的物體進行訓(xùn)練成本很高。通過AIGC生成大量3D物體，結(jié)合物理引擎，可以為Agent泛化學(xué)習(xí)提供很好的支持?；诟叨菴UDA兼容的摩爾線程MUSA架構(gòu)，摩爾線程GPU廣泛支持國內(nèi)外主流AIGC大模型，最新的AI模型可以很容易遷移到摩爾線程全功能GPU上，進行訓(xùn)練和推理。

從具身智能的發(fā)展來看，模擬器和AI這兩項技術(shù)逐漸融合，越來越需要全功能GPU的各項技術(shù)結(jié)合在一起才能完成AI Agent的訓(xùn)練任務(wù)。

楊豐博士最后表示，混合現(xiàn)實技術(shù)為人機交互帶來了革命性的創(chuàng)新，引領(lǐng)我們步入一個虛實交融的新時代，也對多元算力提出了更高的要求。摩爾線程全功能GPU將成為未來計算的中堅力量，為邁向AGI時代提供加速動力。

元宇宙作為融合人工智能、虛擬現(xiàn)實等多項前沿技術(shù)的全新領(lǐng)域，蘊含了感知、計算、重構(gòu)、協(xié)同、交互等關(guān)鍵核心技術(shù)，是未來技術(shù)發(fā)展和社會生活變革的重要路徑，將催生出新型虛實融合應(yīng)用和社會形態(tài)，引領(lǐng)數(shù)字經(jīng)濟等多個萬億級未來產(chǎn)業(yè)發(fā)展。具備多元算力的全功能GPU將成為元宇宙產(chǎn)業(yè)的核心算力支撐平臺，摩爾線程將發(fā)揮全功能GPU的產(chǎn)品技術(shù)優(yōu)勢，致力于為元宇宙產(chǎn)業(yè)提供中國算力解決方案。

▼ 關(guān)于摩爾線程

摩爾線程成立于2020年10月，以全功能GPU為核心，致力于向全球提供加速計算的基礎(chǔ)設(shè)施和一站式解決方案，為各行各業(yè)的數(shù)智化轉(zhuǎn)型提供強大的AI計算支持。

我們的目標(biāo)是成為具備國際競爭力的GPU領(lǐng)軍企業(yè)，為融合人工智能和數(shù)字孿生的數(shù)智世界打造先進的加速計算平臺。我們的愿景是為美好世界加速。