在米蘭舉行的歐洲計(jì)算機(jī)視覺國際會(huì)議 (ECCV) 上，NVIDIA Research 展示了多項(xiàng)突破性的創(chuàng)新成果，共發(fā)表了 14 篇論文。

本次 NVIDIA Research 所展示的領(lǐng)域從具身智能基礎(chǔ)模型到檢索增強(qiáng)生成和神經(jīng)輻射場。其中大部分展示的成果都在汽車研究領(lǐng)域，包括：

RealGen：RealGen 是一種新穎的基于檢索、在上下文中學(xué)習(xí)的新型交通場景生成框架，此可控交通場景檢索增強(qiáng)生成的靈感來自大語言模型中檢索增強(qiáng)生成的成功經(jīng)驗(yàn)，它可以通過組合多個(gè)檢索示例的行為合成新的場景。

NeRFect Match：探索用于視覺定位的 NeRF 特征，研究視覺定位，即確定查詢圖像相對于 3D 環(huán)境的攝像機(jī)姿態(tài)。在 3D 環(huán)境中定位智能體是自動(dòng)駕駛等應(yīng)用的一項(xiàng)基礎(chǔ)能力。

Dolphins：擬人駕駛多模態(tài)語言模型介紹了一種新型視覺語言模型 Dolphins，該模型專為深入學(xué)習(xí)類似人類的駕駛能力而構(gòu)建。Dolphins 善于處理由視頻或圖像數(shù)據(jù)、文本指令和歷史控制信號(hào)組成的多模態(tài)輸入，以此生成與所提供的指令相對應(yīng)的輸出。

此外，NVIDIA 首席研究科學(xué)家 Tsung-Yi Lin 榮獲了 Koenderink 獎(jiǎng)。該獎(jiǎng)項(xiàng)旨在表彰為計(jì)算機(jī)視覺領(lǐng)域作出重要貢獻(xiàn)并且能夠經(jīng)受住時(shí)間考驗(yàn)的研究。Koenderink 獎(jiǎng)每兩年頒發(fā)一次，頒發(fā)給 10 年前在 ECCV 上發(fā)表過有影響力論文的研究者。今年的 Koenderink 獎(jiǎng)?lì)C發(fā)給了 2014 年發(fā)表“Microsoft COCO:上下文中的常見對象”一文的研究者，Lin 是該論文的共同作者。

NVIDIA 研究人員共同組織了多場 ECCV 研討會(huì)并發(fā)表了演講。其中，具身智能合作智能研討會(huì)受到了關(guān)注，該研討會(huì)主要探討了多代理自主系統(tǒng)中的合作智能。以視覺為中心的智能駕駛研討會(huì)則探討了適用于智能駕駛的視覺感知和視覺語言模型以及駕駛場景神經(jīng)渲染。

NVIDIA 高級研究經(jīng)理 Laura Leal-Taixé 擔(dān)任本次會(huì)議主席。NVIDIA 學(xué)習(xí)與感知研究副總裁 Jan Kautz、智能駕駛汽車應(yīng)用研究總監(jiān) Jose Alvarez、AI 研究副總裁 Sanja Fidler 和智能駕駛汽車研究總監(jiān) Marco Pavone 擔(dān)任組委會(huì)成員。