chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自動(dòng)駕駛上常提的VLA與世界模型有什么區(qū)別?

智駕最前沿 ? 來(lái)源:智駕最前沿 ? 2025-10-18 10:15 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

VLA:把“看”和“說(shuō)”連到“做”上

[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛中常提的VLA,全稱是Vision-Language-Action,直譯就是“視覺(jué)-語(yǔ)言-動(dòng)作”。VLA的目標(biāo)是把相機(jī)或傳感器看到的畫(huà)面、能理解和處理自然語(yǔ)言的大模型能力,和最終控制車(chē)輛的動(dòng)作輸出連到一起。這樣一套模型既能把路面情況轉(zhuǎn)成語(yǔ)義信息(比如識(shí)別行人、車(chē)道、交通標(biāo)志),又能在內(nèi)部用類語(yǔ)言的方式做推理(比如判斷行人的意圖是否會(huì)橫穿),最后直接輸出控制量或軌跡建議,從而完成從感知到?jīng)Q策到動(dòng)作的閉環(huán)。

VLA常把視覺(jué)特征先經(jīng)過(guò)編碼器變成一組向量,然后把這些向量與語(yǔ)言模型連接,語(yǔ)言模型負(fù)責(zé)做高層推理或上下文理解,最后再用一個(gè)動(dòng)作生成模塊把推理結(jié)果映射到可執(zhí)行的控制指令。因?yàn)橛小罢Z(yǔ)言”這條中間線索,VLA在解釋模型為什么這樣決策、把決策用人能看懂的方式表達(dá)方面有天然優(yōu)勢(shì),這對(duì)事故回溯、人工審查和人機(jī)交互都很有幫助。

世界模型:在“腦海”里模擬未來(lái)

世界模型的核心是讓系統(tǒng)學(xué)會(huì)預(yù)測(cè)環(huán)境會(huì)如何變化。給定當(dāng)前的觀測(cè)和一系列動(dòng)作,世界模型嘗試預(yù)測(cè)接下來(lái)一段時(shí)間內(nèi)的感知輸出或場(chǎng)景演化,例周?chē)?chē)輛會(huì)怎么走、行人會(huì)如何移動(dòng),或者道路上的占用情況會(huì)如何變化等。它更像是一個(gè)可以在內(nèi)部反復(fù)“試驗(yàn)”的模擬器。

世界模型可以是像素級(jí)的,也可以是抽象的潛在空間表示。像素級(jí)的會(huì)直接生成未來(lái)幾幀圖像,抽象的潛在表示則在更緊湊的編碼下預(yù)測(cè)物體的狀態(tài)和動(dòng)力學(xué)。自動(dòng)駕駛中常把世界模型用來(lái)做兩件事,一是在線短時(shí)預(yù)測(cè),輔助規(guī)劃器評(píng)估當(dāng)前動(dòng)作的后果;二是離線大規(guī)模仿真,用來(lái)生成難例、做策略評(píng)估和安全驗(yàn)證。世界模型的強(qiáng)項(xiàng)在于對(duì)因果關(guān)系和動(dòng)力學(xué)的建模,它能回答“如果我這么做,環(huán)境會(huì)怎樣”,這對(duì)安全評(píng)估非常關(guān)鍵。

兩者的核心差別與各自擅長(zhǎng)的事

把VLA和世界模型放在一起對(duì)比,其實(shí)有非常大的差別。VLA更強(qiáng)調(diào)把復(fù)雜語(yǔ)義和推理能力直接引入決策鏈,善于解釋性和把人類語(yǔ)義知識(shí)(比如規(guī)則、常識(shí))融入行為判斷;世界模型更強(qiáng)調(diào)動(dòng)力學(xué)與未來(lái)狀態(tài)的預(yù)測(cè),擅長(zhǎng)評(píng)估動(dòng)作后果和生成訓(xùn)練用的極端場(chǎng)景。

因?yàn)檎Z(yǔ)言式推理要靠語(yǔ)料和場(chǎng)景標(biāo)簽來(lái)訓(xùn)練,因此VLA需要大量多模態(tài)、標(biāo)注或與人類語(yǔ)義對(duì)齊的數(shù)據(jù);世界模型更依賴連續(xù)的時(shí)序數(shù)據(jù)與準(zhǔn)確的動(dòng)力學(xué)反饋,或是高保真仿真器來(lái)補(bǔ)足現(xiàn)實(shí)數(shù)據(jù)不足。

對(duì)于自動(dòng)駕駛行業(yè)來(lái)說(shuō),VLA能讓系統(tǒng)“說(shuō)出理由”,有利于合規(guī)和用戶信任;世界模型能把長(zhǎng)期風(fēng)險(xiǎn)提前顯現(xiàn),有利于安全驗(yàn)證和策略穩(wěn)健性。兩者在算力和實(shí)時(shí)性上的要求也不同,端到端的VLA若要部署在車(chē)端,需要在多模態(tài)推理與延時(shí)之間做平衡;高保真世界模型若用于在線預(yù)測(cè),也要保證預(yù)測(cè)速度和穩(wěn)定性,否則實(shí)時(shí)控制就受影響。

如何將這兩者用好?

自動(dòng)駕駛行業(yè)常見(jiàn)做法是把世界模型放在云端或仿真平臺(tái),用來(lái)大規(guī)模生成極端和稀有場(chǎng)景,做訓(xùn)練數(shù)據(jù)擴(kuò)充和策略評(píng)估;把VLA或其它決策模型放到車(chē)端,負(fù)責(zé)實(shí)時(shí)感知-推理-動(dòng)作映射,并把可解釋的中間表示(例如“為什么剎車(chē)”)記錄下來(lái),用于審計(jì)。還有一種做法是在車(chē)端保留一個(gè)輕量的世界模型,用于短時(shí)軌跡預(yù)測(cè)和冗余校驗(yàn),作為主決策器的安全網(wǎng)。

在選擇技術(shù)路線時(shí),務(wù)必要考慮幾個(gè)現(xiàn)實(shí)問(wèn)題,即目標(biāo)場(chǎng)景是什么(城市復(fù)雜路況還是高速長(zhǎng)途)、能否承擔(dān)大量真實(shí)路測(cè)、對(duì)可解釋性和監(jiān)管合規(guī)的要求有多高。面向消費(fèi)者的駕駛輔助系統(tǒng)可能更重視用戶體驗(yàn)和自然交互,VLA能提高語(yǔ)義層面的表現(xiàn);面向商用車(chē)隊(duì)或?qū)Π踩弦?guī)嚴(yán)格的場(chǎng)景,則更需要強(qiáng)大的世界模型做仿真與驗(yàn)證。無(wú)論哪條路,一定要建立嚴(yán)格的sim-to-real校準(zhǔn)流程、冗余策略以及持續(xù)的在線/離線評(píng)估體系,避免把過(guò)擬合的語(yǔ)言推理或低保真仿真直接當(dāng)成“能上路”的決策依據(jù)。

對(duì)于自動(dòng)駕駛企業(yè)來(lái)說(shuō),可以用世界模型生成的極端場(chǎng)景來(lái)補(bǔ)齊訓(xùn)練集,但要用真實(shí)數(shù)據(jù)來(lái)校準(zhǔn);在車(chē)端實(shí)現(xiàn)可解釋性輸出和異常檢測(cè)機(jī)制,以便監(jiān)管和事后分析;在設(shè)計(jì)系統(tǒng)邊界時(shí)明確何時(shí)由人工接管、何時(shí)由系統(tǒng)限制能力,避免模型在不確定情況下做出過(guò)激動(dòng)作?;旌鲜褂脙烧卟⑼ㄟ^(guò)嚴(yán)格驗(yàn)證可以讓自動(dòng)駕駛系統(tǒng)既能“想清楚后果”,又能“把理由講清楚”,是比較穩(wěn)妥的路線。

最后的話

VLA和世界模型不是誰(shuí)替代誰(shuí),而是兩種互補(bǔ)的工具。VLA把語(yǔ)言式的推理能力帶進(jìn)決策里,提升對(duì)復(fù)雜語(yǔ)義場(chǎng)景的處理和可解釋性;世界模型讓系統(tǒng)能在“腦子里”模擬未來(lái),提升對(duì)風(fēng)險(xiǎn)和后果的評(píng)估能力。對(duì)于自動(dòng)駕駛行業(yè)來(lái)說(shuō),更實(shí)際的做法是把兩者的優(yōu)點(diǎn)結(jié)合起來(lái),用世界模型來(lái)補(bǔ)數(shù)據(jù)、做驗(yàn)證,用VLA提升語(yǔ)義理解與交互,同時(shí)確保有清晰的安全邊界和多層冗余。這樣既能提高功能性,也能把安全性和可審計(jì)性放在首位。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3616

    瀏覽量

    51508
  • 自動(dòng)駕駛
    +關(guān)注

    關(guān)注

    791

    文章

    14555

    瀏覽量

    174366
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    自動(dòng)駕駛中常的ODD是個(gè)啥?

    [首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛中,經(jīng)常會(huì)聽(tīng)到一個(gè)概念,那就是ODD。所謂ODD,全稱為Operational Design Domain,中文譯為“運(yùn)行設(shè)計(jì)域”或者“作業(yè)域”。直觀一點(diǎn)
    的頭像 發(fā)表于 09-22 09:04 ?410次閱讀
    <b class='flag-5'>自動(dòng)駕駛</b>中常<b class='flag-5'>提</b>的ODD是個(gè)啥?

    低速和高速自動(dòng)駕駛的應(yīng)用場(chǎng)景和技術(shù)方向何不同?

    和任務(wù)完成度也非常高,這是否代表著自動(dòng)駕駛技術(shù)已然達(dá)到了非常高的水平?其實(shí)與我們的乘用車(chē)自動(dòng)駕駛而言,快遞、外賣(mài)小車(chē)的自動(dòng)駕駛完全不屬于
    的頭像 發(fā)表于 08-03 09:35 ?576次閱讀

    車(chē)規(guī)級(jí)和消費(fèi)級(jí)什么區(qū)別?為什么自動(dòng)駕駛需要車(chē)規(guī)級(jí)?

    區(qū)別主要體現(xiàn)在可靠性、環(huán)境適應(yīng)、質(zhì)量管理與安全保障等多個(gè)方面。對(duì)于汽車(chē),尤其是自動(dòng)駕駛系統(tǒng)而言,任何一次失效都可能帶來(lái)嚴(yán)重后果,因此必須選用符合車(chē)規(guī)級(jí)標(biāo)準(zhǔn)的硬件與軟件。那什么是車(chē)規(guī)級(jí)?什么是消費(fèi)級(jí)?為什么自動(dòng)駕駛需要車(chē)規(guī)級(jí)?
    的頭像 發(fā)表于 07-15 08:55 ?828次閱讀
    車(chē)規(guī)級(jí)和消費(fèi)級(jí)<b class='flag-5'>有</b><b class='flag-5'>什么區(qū)別</b>?為什么<b class='flag-5'>自動(dòng)駕駛</b>需要車(chē)規(guī)級(jí)?

    為什么自動(dòng)駕駛端到端大模型黑盒特性?

    [首發(fā)于智駕最前沿微信公眾號(hào)]隨著自動(dòng)駕駛技術(shù)落地,端到端(End-to-End)大模型也成為行業(yè)研究與應(yīng)用的熱門(mén)方向。相較于傳統(tǒng)自動(dòng)駕駛系統(tǒng)中的模塊化結(jié)構(gòu),端到端模型嘗試直接從感知輸
    的頭像 發(fā)表于 07-04 16:50 ?462次閱讀
    為什么<b class='flag-5'>自動(dòng)駕駛</b>端到端大<b class='flag-5'>模型</b><b class='flag-5'>有</b>黑盒特性?

    卡車(chē)、礦車(chē)的自動(dòng)駕駛和乘用車(chē)的自動(dòng)駕駛在技術(shù)要求上有何不同?

    自動(dòng)駕駛技術(shù)也得到了充足的應(yīng)用,但因應(yīng)用場(chǎng)景不同,技術(shù)的側(cè)重方向也有所區(qū)別。今天就來(lái)和大家聊一聊這個(gè)話題。 應(yīng)用場(chǎng)景:開(kāi)放道路vs封閉場(chǎng)地 首先要理解的是,自動(dòng)駕駛所面對(duì)的環(huán)境決定了它的技術(shù)基礎(chǔ)。乘用車(chē)
    的頭像 發(fā)表于 06-28 11:38 ?549次閱讀
    卡車(chē)、礦車(chē)的<b class='flag-5'>自動(dòng)駕駛</b>和乘用車(chē)的<b class='flag-5'>自動(dòng)駕駛</b>在技術(shù)要求上有何不同?

    自動(dòng)駕駛中常世界模型是個(gè)啥?

    [首發(fā)于智駕最前沿微信公眾號(hào)]隨著自動(dòng)駕駛技術(shù)的不斷成熟,車(chē)輛需要在復(fù)雜多變的道路環(huán)境中安全地行駛,這就要求系統(tǒng)不僅能“看見(jiàn)”周?chē)?b class='flag-5'>世界,還要能“理解”和“推測(cè)”未來(lái)的變化。世界模型
    的頭像 發(fā)表于 06-24 08:53 ?447次閱讀
    <b class='flag-5'>自動(dòng)駕駛</b>中常<b class='flag-5'>提</b>的<b class='flag-5'>世界</b><b class='flag-5'>模型</b>是個(gè)啥?

    VLA,是完全自動(dòng)駕駛的必經(jīng)之路?

    芯片,以及英偉達(dá)Thor的上車(chē),越來(lái)越多的智駕方案選擇VLA的路徑。 ? 那么本文就梳理一下當(dāng)前智駕領(lǐng)域集中主流的大模型技術(shù)路線,以及各家廠商實(shí)現(xiàn)方式的區(qū)別和發(fā)展。 ? VLA 和VL
    的頭像 發(fā)表于 06-18 00:06 ?8315次閱讀

    自動(dòng)駕駛安全基石:ODD

    和限制下可以正常工作,是自動(dòng)駕駛安全的核心概念之一。 ? 對(duì)于人類司機(jī)來(lái)說(shuō),在不同的道路上駕駛的能力也有所區(qū)別,比如新手司機(jī)在一些窄路、山路,或者交通狀況復(fù)雜的道路上可能會(huì)無(wú)所適從,人也會(huì)判斷哪些路自己沒(méi)有
    的頭像 發(fā)表于 05-19 03:52 ?5579次閱讀

    自動(dòng)駕駛行業(yè)的高階智駕是個(gè)啥?

    [首發(fā)于智駕最前沿微信公眾號(hào)]近年來(lái),隨著人工智能、大數(shù)據(jù)、傳感器技術(shù)及高性能計(jì)算平臺(tái)的迅速發(fā)展,自動(dòng)駕駛行業(yè)不斷突破。從最初的駕駛輔助系統(tǒng)到最近火熱的端到端,再到如今的高階智駕,智駕行業(yè)關(guān)鍵詞
    的頭像 發(fā)表于 04-18 12:24 ?674次閱讀
    <b class='flag-5'>自動(dòng)駕駛</b>行業(yè)<b class='flag-5'>常</b><b class='flag-5'>提</b>的高階智駕是個(gè)啥?

    自動(dòng)駕駛模型中常的Token是個(gè)啥?對(duì)自動(dòng)駕駛何影響?

    、多模態(tài)傳感器數(shù)據(jù)的實(shí)時(shí)處理與決策。在這一過(guò)程中,大模型以其強(qiáng)大的特征提取、信息融合和預(yù)測(cè)能力為自動(dòng)駕駛系統(tǒng)提供了有力支持。而在大模型的中,一個(gè)“Token”的概念,有些人看到后或許
    的頭像 發(fā)表于 03-28 09:16 ?712次閱讀

    理想汽車(chē)推出全新自動(dòng)駕駛架構(gòu)

    2025年3月18日,理想汽車(chē)自動(dòng)駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在NVIDIA GTC 2025發(fā)表主題演講《VLA:邁向自動(dòng)駕駛物理智能體的關(guān)鍵一步》,分享了理想汽車(chē)對(duì)于下一代自動(dòng)駕駛技術(shù)M
    的頭像 發(fā)表于 03-19 14:12 ?758次閱讀

    為什么聊自動(dòng)駕駛的越來(lái)越多,聊無(wú)人駕駛的越來(lái)越少?

    自動(dòng)駕駛什么區(qū)別?為什么現(xiàn)在一直都在聊自動(dòng)駕駛,卻鮮少有企業(yè)無(wú)人駕駛?今天智駕最前沿就圍繞
    的頭像 發(fā)表于 02-23 10:52 ?841次閱讀
    為什么聊<b class='flag-5'>自動(dòng)駕駛</b>的越來(lái)越多,聊無(wú)人<b class='flag-5'>駕駛</b>的越來(lái)越少?

    華為、理想、特斯拉、商湯的世界模型是做什么用的

    最近世界模型(World Model)很火,甚至有人說(shuō)世界模型是終極自動(dòng)駕駛解決方案,實(shí)際上它只是端到端大
    的頭像 發(fā)表于 01-14 09:27 ?1600次閱讀
    華為、理想、特斯拉、商湯的<b class='flag-5'>世界</b><b class='flag-5'>模型</b>是做什么用的

    自動(dòng)駕駛中常的魯棒性是個(gè)啥?

    隨著自動(dòng)駕駛技術(shù)的快速發(fā)展,魯棒性(Robustness)成為評(píng)價(jià)自動(dòng)駕駛系統(tǒng)的重要指標(biāo)之一。很多小伙伴也會(huì)在自動(dòng)駕駛相關(guān)的介紹中,對(duì)某些功能用魯棒性進(jìn)行描述。一個(gè)魯棒的系統(tǒng)能夠在復(fù)雜多變的環(huán)境中保
    的頭像 發(fā)表于 01-02 16:32 ?8030次閱讀
    <b class='flag-5'>自動(dòng)駕駛</b>中常<b class='flag-5'>提</b>的魯棒性是個(gè)啥?

    自動(dòng)駕駛中常的SLAM到底是個(gè)啥?

    隨著自動(dòng)駕駛技術(shù)的迅速發(fā)展,車(chē)輛在不同環(huán)境中的定位與導(dǎo)航需求愈加迫切,自動(dòng)駕駛的核心任務(wù)是讓車(chē)輛在未知或動(dòng)態(tài)變化的環(huán)境中安全、智能地行駛,這需要系統(tǒng)能夠準(zhǔn)確地回答:1)我在哪里?2)我該去哪里
    的頭像 發(fā)表于 11-21 15:17 ?2146次閱讀
    <b class='flag-5'>自動(dòng)駕駛</b>中常<b class='flag-5'>提</b>的SLAM到底是個(gè)啥?