本文由TechSugar編譯自Semiconductor Engineering

具備通用人工智能的人形機器人距離真正進(jìn)入我們的日常生活還有數(shù)年時間，但特定應(yīng)用領(lǐng)域的機器人早已問世。從亞馬遜物流中心的機器人車隊，到手術(shù)室的外科手術(shù)機器人、搜救機器狗、自主無人機和最后一公里配送機器人，再到常見的掃地機器人，物理人工智能系統(tǒng)正變得越來越智能，也越來越貼近人類生活。

先進(jìn)的3D傳感器、人工智能攝像頭、語音接口和軟件定義激光雷達(dá)通過機器學(xué)習(xí)算法發(fā)揮關(guān)鍵作用，為物理人工智能賦予眼睛、耳朵和嘴巴。下一步則是將大語言模型（LLM）作為“大腦”，解讀傳感器收集的信息，并根據(jù)其初始訓(xùn)練數(shù)據(jù)和持續(xù)的學(xué)習(xí)經(jīng)驗反饋循環(huán)，指導(dǎo)機器人后續(xù)操作。最終目標(biāo)是讓更多機器人融入人類的日常生活，但這些系統(tǒng)可能出現(xiàn)故障的原因尚不明確。

“現(xiàn)在判斷人機交互將如何發(fā)展還為時過早，”西門子EDA公司IC驗證與EDA人工智能產(chǎn)品負(fù)責(zé)人Sathishkumar Balasubramanian表示，“我們目前看到的大多是原型產(chǎn)品，尚未出現(xiàn)真正大規(guī)模應(yīng)用的案例，但值得關(guān)注的是，人們在相關(guān)技術(shù)研發(fā)和交互設(shè)計上始終保持高度謹(jǐn)慎，這都源于我們需要理解自動化機器人對其交互對象（無論是人類、水瓶還是其他物品）的認(rèn)知視角。

在物理人工智能領(lǐng)域，首要任務(wù)是掌握如何解讀物理環(huán)境并理解其各種屬性，機器人需要全面感知周圍一切，這也是當(dāng)前研發(fā)投入的核心方向。其次，傳感器領(lǐng)域正取得顯著進(jìn)展，物理人工智能系統(tǒng)的感知能力依賴于這些傳感器和生物傳感器的技術(shù)突破。我認(rèn)為該領(lǐng)域目前仍處于非常早期的階段，除非未來5到10年內(nèi)出現(xiàn)重大技術(shù)變革，否則市場演進(jìn)速度將會相當(dāng)緩慢?！?/span>

人工智能行業(yè)目前正處于陡峭學(xué)習(xí)曲線的起點。“無論是邊緣人工智能還是物理人工智能，我們都處于增長初期，”新思科技移動、汽車和消費知IP產(chǎn)品管理執(zhí)行總監(jiān)Hezi Saar表示，“云人工智能可能不會衰退，但一旦具備利用物理人工智能為消費者提供服務(wù)的能力，其增長速度就不會再像以前那樣快了。它需要觸手可及——無論是在我們手中、交通工具里還是機器人身上，同時還需具備經(jīng)濟(jì)性和低功耗特性，真正服務(wù)于人類需求。我們看到需求正在增長，而且越來越多的SoC)正在實現(xiàn)這些功能，但行業(yè)尚未進(jìn)入穩(wěn)定階段?！?/span>

物理人工智能設(shè)備正在快速發(fā)展，人工智能模型也在同步演進(jìn)。“人工智能正從工具轉(zhuǎn)變?yōu)榛锇?，人們的期望也在不斷提高，并逐漸影響其選擇，”Arm客戶業(yè)務(wù)線高級副總裁兼總經(jīng)理Chris Bergey表示，“這種轉(zhuǎn)變是由大語言模型和智能體人工智能的重大進(jìn)步所驅(qū)動的。這些模型不再是靜態(tài)的，而是能夠推理、規(guī)劃并代表用戶采取行動的動態(tài)系統(tǒng)。其結(jié)果是，人機交互不再像下達(dá)指令，而更像是協(xié)作過程。人工智能已從昔日的‘新奇技巧’，演變?yōu)橛绊懝ぷ髋c生活方式的核心力量。”

人與機器人，或者任何類型的自動化系統(tǒng)或自主系統(tǒng)之間的動態(tài)關(guān)系，使得物理人工智能領(lǐng)域比其他領(lǐng)域更具挑戰(zhàn)性。“在機器人領(lǐng)域，可能仍然需要人參與某個環(huán)節(jié)，也可能完全不需要人為操作，”Imagination Technologies工程和技術(shù)負(fù)責(zé)人、系統(tǒng)與功能安全工程專家Andrew Johnson表示，“環(huán)應(yīng)用場景可能是危險環(huán)境，比如高溫、高輻射等，此時機器人便能發(fā)揮作用。但是，人為因素仍不容忽視。有時，人與機器的交互方式會因為機器學(xué)習(xí)而不斷演變，其目的就是為了讓人類的生活更便捷?！?/span>

正如人工智能模型會不斷變得更加智能一樣，安全工程師也需要不斷提升自身技能?！拔覀冃枰紤]能力管理，并關(guān)注人員、流程和開發(fā)框架，而不僅僅是工具和技術(shù)，” Johnson表示，“如果能做到這一點，無論是在設(shè)計開發(fā)和驗證工具中運用人工智能/機器學(xué)習(xí)，還是在產(chǎn)品中采用相關(guān)技術(shù)實現(xiàn)自動化或自主決策，我們都將看到更高的效率和效果?！?/span>

就安全而言，最關(guān)鍵的是機器人能夠正確識別人類，并不會對其造成傷害。Synaptics公司技術(shù)與創(chuàng)新副總裁David Garrett表示：“機器人周圍的隔離區(qū)非常重要?！彼?022年的一起事故為例：“當(dāng)時一個機器人手正在下棋，孩子在機器人落子前來得及收回手，機器人移動時直接折斷了他的手指?！被ヂ?lián)網(wǎng)上充斥著其他涉及機器人在實驗室、工廠甚至節(jié)日場合發(fā)生的事件。

將大語言模型作為其認(rèn)知框架一部分的物理人工智能系統(tǒng)，為安全性和可靠性增帶來了額外的挑戰(zhàn)?！安粌H硬件或其他處理器需要進(jìn)行嚴(yán)格的測試，AI本身也需要進(jìn)行嚴(yán)格的測試，”是德科技首席安全分析師Rajesh Velegalati表示，“我們認(rèn)為，目前針對各個領(lǐng)域部署的AI，尤其是用于機器人或無人機的AI，安全審查還不夠充分?！?/span>

物理人工智能軟硬件驗證

雖然行業(yè)焦點大多集中在軟件功能上，但如果沒有底層半導(dǎo)體硬件，這一切都無法實現(xiàn)。物理人工智能芯片可能在各種環(huán)境溫度和條件下使用，有時會處于高負(fù)載運行狀態(tài)，有時則處于休眠模式。這增加了芯片設(shè)計以及驗證的難度。

驗證工程師應(yīng)該充分利用所有工具——仿真、仿真加速、形式驗證，甚至數(shù)字孿生?！拔锢砣斯ぶ悄芟到y(tǒng)非常復(fù)雜，因此需要借助形式驗證等技術(shù)，確保仲裁器等組件在最底層也能正常工作，”Cadence驗證軟件產(chǎn)品管理高級總監(jiān)Matthew Graham表示，“此外，還需利用軟硬件協(xié)同驗證?！?/span>

過去，工程師可以根據(jù)需要選擇使用哪些驗證技術(shù)?！八麄兛赡軙f，‘我們不需要進(jìn)行形式化驗證，也不需要過多關(guān)注功耗，因為我們的產(chǎn)品并不涉及這些領(lǐng)域，’”Graham表示，“但實際上，每個微芯片都需要從功耗的角度進(jìn)行考量。它可能不是低功耗設(shè)備，但廠商肯定希望優(yōu)化功耗，尤其是在人工智能時代。每個設(shè)備都需要確保其底層某些基本功能的運行正確性?！?/span>

大語言模型的訓(xùn)練方式對安全性有著顯著影響?！叭缃竦倪壿嬆Ｐ褪紫纫梅浅｝嫶蟮臄?shù)據(jù)集進(jìn)行訓(xùn)練，然后通過人機交互進(jìn)行改進(jìn)和強化，”Rambus公司安全I(xiàn)P高級技術(shù)總監(jiān)Scott Best表示，“這些系統(tǒng)隨后可以利用專門的數(shù)據(jù)進(jìn)行進(jìn)一步訓(xùn)練，成為適用于‘思維鏈’智能體應(yīng)用的推理模型，能夠以閉環(huán)方式根據(jù)測量結(jié)果生成自身的刺激。”

因此，工程師需要為物理人工智能系統(tǒng)和大語言提供保障?！叭丝赡軙咤e路，也可能以錯誤的方式使用它們，所以他們需要確保并防止這種情況發(fā)生，”新思科技公司的Saar指出。

用以訓(xùn)練LLM和物理AI的仿真技術(shù)

許多物理AI系統(tǒng)，如人形機器人或機器狗，被創(chuàng)造出來是為了作為視障人士和老年人的輔助工具，或協(xié)助急救人員。

“當(dāng)然，就像任何技術(shù)一樣，機器人也可能被濫用，”亞利桑那州立大學(xué)計算機與增強智能學(xué)院助理教授、系統(tǒng)學(xué)習(xí)評估與自然化實驗室主任Ransalu Senanayake表示。

LENS Lab的機器人系統(tǒng)最初與大語言模型相連，隨后逐步整合計算機視覺（CV）模型和視覺語言模型（VLM），如今已升級為基于視覺-語言-動作模型運行。

“所有這些大語言模型——我稱之為大型文檔模型——都容易產(chǎn)生幻覺現(xiàn)象，” Senanayake表示，“關(guān)鍵在于實現(xiàn)‘可控幻覺’，即我們能夠以新的方式了解它們的思維方式，能夠?qū)ζ溥M(jìn)行評估，若存在問題便及時舍棄，若具備價值則進(jìn)一步推進(jìn)應(yīng)用?！?/span>

這些大語言模型基于標(biāo)準(zhǔn)模型進(jìn)行訓(xùn)練，然后根據(jù)具體場景進(jìn)行調(diào)整。

同樣，英偉達(dá)也利用仿真技術(shù)來訓(xùn)練其Groot N1開源、可定制的跨實體機器人基礎(chǔ)模型?！芭c可以利用互聯(lián)網(wǎng)上所有人類知識進(jìn)行訓(xùn)練的LLM模型不同，目前尚無此類數(shù)據(jù)可用于訓(xùn)練物理AI模型。獲取真實世界的數(shù)據(jù)成本高昂且可能存在危險，而預(yù)訓(xùn)練對于訓(xùn)練像Groot這樣的模型來說作用有限，”英偉達(dá)Omniverse和仿真技術(shù)副總裁Rev Lebaredian表示，“我們需要一種可擴展且經(jīng)濟(jì)高效的方式來生成龐大、多樣化且物理上精確的數(shù)據(jù)?！?/span>

為此，最新版本的Groot N1.6將采用該公司自主研發(fā)的Cosmos Reason世界基礎(chǔ)模型（WFM）作為其大腦，使人形機器人能夠分解復(fù)雜指令，并利用先驗知識和常識執(zhí)行任務(wù)。同時，新版本的Cosmos Transfer和Cosmos Predict WFM將賦予人形機器人更大的軀干和手臂活動自由度，從而實現(xiàn)更靈活的移動和操控?！斑@些模型能夠生成數(shù)百個富含傳感器的虛擬環(huán)境用于機器人訓(xùn)練，從而減少對現(xiàn)實世界數(shù)據(jù)采集的依賴，”Lebaredian表示。

在機器人正式投入使用前，仿真在確保其功能安全方面發(fā)揮著關(guān)鍵作用?！耙虼?，構(gòu)建盡可能貼近真實世界的物理精確模擬器至關(guān)重要，這樣我們就能在機器人真正投入物理世界、擁有實體之前，在多樣化環(huán)境中對單個機器人及機器人車隊進(jìn)行數(shù)百萬小時的模擬運行測試，”Lebaredian指出。

仿真技術(shù)對于訓(xùn)練基于物理或受物理信息影響的人工智能尤其有用，例如，這些人工智能需要能夠在工廠車間內(nèi)導(dǎo)航?！拔锢韺W(xué)非常適合創(chuàng)建合成數(shù)據(jù)，因為物理本質(zhì)是恒定的，”Ansys（現(xiàn)為新思科技子公司）產(chǎn)品營銷總監(jiān)Marc Swinnen表示，“這與人員地址、收入或其他非物理數(shù)據(jù)不同，后者需要真實數(shù)據(jù)來訓(xùn)練人工智能。我們可以模擬各種物理過程，這正是基于物理的人工智能的優(yōu)勢所在。我們可以在不使用任何客戶或第三方數(shù)據(jù)的情況下，訓(xùn)練人工智能模型并提供給客戶。硅材料中的熱傳導(dǎo)規(guī)律始終如一，與客戶身份無關(guān)，這讓整個訓(xùn)練過程更高效便捷?！?/span>

結(jié)語

自動化技術(shù)和各類機器人已在某些行業(yè)站穩(wěn)腳跟，但這僅僅是物理人工智能系統(tǒng)融入日常生活的開端。其終極形態(tài)將是：人形機器人與仿生動物機器人擁有親和的外觀，能夠在絕大多數(shù)地形上靈活移動，并搭載高度定制化的人工智能模型。

隨著物理人工智能復(fù)雜性的不斷增加，安全框架構(gòu)建至關(guān)重要。“我們面臨的是海量數(shù)據(jù)、來自多源的復(fù)雜輸入數(shù)據(jù)集、復(fù)雜模型與復(fù)雜算法，而相關(guān)工具本身也具有內(nèi)在復(fù)雜性，”Johnson表示，“除此之外，通用軟件棧同樣復(fù)雜，需要計算密集型硬件來應(yīng)對這種復(fù)雜性的實時處理需求。”

整個行業(yè)的相關(guān)活動正持續(xù)升溫。變革即將到來，未來幾年，機器人將大規(guī)模應(yīng)用普及，從新奇事物走向日常生活?，F(xiàn)在的挑戰(zhàn)是如何確保新技術(shù)的整合盡可能平穩(wěn)順暢。