計算機(jī)視覺是一個復(fù)雜且具有挑戰(zhàn)性的領(lǐng)域，深度學(xué)習(xí)的進(jìn)一步發(fā)展為該領(lǐng)域提供了許多豐富的解決方案。計算機(jī)視覺和深度學(xué)習(xí)常應(yīng)用于自動駕駛、人臉和圖像識別等領(lǐng)域的技術(shù)研發(fā)和升級，為各行業(yè)帶來了以數(shù)據(jù)為支撐的未來新思考。

復(fù)旦大學(xué)大數(shù)據(jù)學(xué)院 Zhang Vision Group 成立于 2020 年，研究方向為計算機(jī)視覺和深度學(xué)習(xí)，其目標(biāo)是通過神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型理解物體、場景和運(yùn)動的最通用表示，賦能下一代人工智能（AI）。目前，該課題組正致力于開展計算機(jī)視覺驅(qū)動的自動駕駛研究，其采用了 NVIDIA 認(rèn)證的服務(wù)器，搭配最新的 NVIDIA RTX 6000 Ada 架構(gòu) GPU，為實驗提供了兼具可靠性、可擴(kuò)展性、高性能的運(yùn)行平臺，提升了計算機(jī)視覺模型的訓(xùn)練速度和模型性能。

數(shù)據(jù)和模型體量加大

GPU 顯存與計算性能壓力

自動駕駛開發(fā)涵蓋多個方面，不僅包含車輛自身相關(guān)的行駛功能，還需要“訓(xùn)練”自動駕駛汽車如同人類駕駛員一般“觀察”道路環(huán)境、“識別”突發(fā)狀況并及時做出相應(yīng)操作以保證行駛的安全性。在此過程中，開發(fā)人員逐漸引入計算機(jī)視覺和深度學(xué)習(xí)，以提升車輛定位、道路識別、障礙物檢測和障礙物跟蹤等方面的準(zhǔn)確性。

Zhang Vision Group 在研究計算機(jī)視覺驅(qū)動的自動駕駛過程中發(fā)現(xiàn)，隨著研究范圍的拓寬和研究內(nèi)容的深入，需要處理的相關(guān)數(shù)據(jù)集越來越大、模型的復(fù)雜度越來越高，對現(xiàn)有 GPU 顯存和計算性能提出了更高的要求。

NVIDIA 強(qiáng)大的 GPU 性能

助力提升模型處理速度

計算機(jī)視覺和深度學(xué)習(xí)的應(yīng)用過程中，需要處理大量復(fù)雜的數(shù)據(jù)并通過數(shù)據(jù)來訓(xùn)練相關(guān)的自動駕駛模型，對硬件需求如 GPU 和高性能計算機(jī)等帶來了性能壓力。當(dāng)前，Zhang Vision Group 課題組采用了 8 卡 NVIDIA RTX 6000 Ada 架構(gòu) GPU 來進(jìn)行模型訓(xùn)練和推理，借助 NVIDIA RTX 6000 強(qiáng)大的計算性能，加速了實驗?zāi)Ｐ陀?xùn)練的速度，減少模型訓(xùn)練的時間，整體性能可提升約 30%。

基于 NVIDIA Ada Lovelace GPU 架構(gòu)的 NVIDIA RTX 6000，為新工作站帶來了驚人的功率效率和性能。其搭載了 142 個第三代 RT Core、568 個第四代 Tensor Core 和 18176 個最新一代 CUDA 核以及 48GB 高性能顯存，在光線追蹤、AI、圖形和計算性能上比上一代產(chǎn)品提高了 2 倍，為該課題組的模型計算和數(shù)據(jù)處理提供了有力的 GPU 支持。

Zhang Vision Group 課題組基于 NVIDIA 產(chǎn)品輔助，深入計算機(jī)視覺行業(yè)應(yīng)用研究

自動駕駛需要系統(tǒng)能夠感知環(huán)境，識別道路、車輛、行人等物體，使用基于神經(jīng)渲染技術(shù)的仿真系統(tǒng)能提升整個自動駕駛的智力水平。Zhang Vision Group 課題組基于 NVIDIA RTX 6000 強(qiáng)大性能的支持，提出了 S-NeRF（Stree-view Neural Radiance Fields）方法。該方法能夠同時考慮大規(guī)模背景場景和前景移動車輛，以便自動駕駛汽車能夠從街景中學(xué)習(xí)更好的神經(jīng)表示方式。

該課題組在大規(guī)模駕駛數(shù)據(jù)集（例如 nuScenes 和 Waymo）上進(jìn)行的全面實驗表明，基于目前的方法，結(jié)合由 NVIDIA Ada Lovelace 架構(gòu)提供支持的 NVIDIA RTX 6000 的強(qiáng)大性能，可以通過減少街景合成中約 7%～40% 的均方誤差和移動車輛渲染的峰值信噪比（PSNR），帶來約 45% 的增益效果。

點擊“閱讀原文”，了解更多 NVIDIA RTX 6000 有關(guān)信息。

掃描海報二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！