在交通運(yùn)輸領(lǐng)域，自動(dòng)化(Automation)是最熱門的研究課題之一。預(yù)計(jì)10年之內(nèi)，完全自動(dòng)駕駛的汽車就可以生產(chǎn)出來。 ---2015《Nature》

圖片來自SpringerLink

文章節(jié)選

10年之內(nèi)真的可以造出完全自動(dòng)駕駛的汽車嗎？坦白來說，就目前的研究進(jìn)展和面臨的挑戰(zhàn)，這一目標(biāo)的實(shí)現(xiàn)尚需更多時(shí)日。

自動(dòng)駕駛的發(fā)展歷史

發(fā)展自動(dòng)系統(tǒng)的目的在于幫助人們處理一些日常事務(wù)。而自動(dòng)駕駛系統(tǒng)，與人們?nèi)粘３鲂惺志o密，因此成為當(dāng)前最關(guān)注的技術(shù)之一。它能把人的雙手從方向盤上解放出來，騰出更多時(shí)間完成其他工作。此外，自動(dòng)駕駛車輛配置的傳感器還能迅速識(shí)別周圍環(huán)境，保證安全駕駛，減少交通事故。

圖片來自網(wǎng)絡(luò)

當(dāng)前，有兩股動(dòng)力在推進(jìn)自動(dòng)駕駛研究：一是由各個(gè)政府、研究機(jī)構(gòu)、生產(chǎn)商發(fā)起的研究計(jì)劃和挑戰(zhàn)任務(wù)；另一個(gè)則是諸多公開測(cè)試(benchmarks)。

1）研究項(xiàng)目及挑戰(zhàn)賽事

自1986年，歐洲發(fā)起"智能交通運(yùn)輸系統(tǒng)項(xiàng)目"，簡(jiǎn)稱PROMETHEUS，19個(gè)國(guó)家的13余家汽車生產(chǎn)商和研究機(jī)構(gòu)參與其中。來自卡耐基梅隆大學(xué)的Charles Thorpe等人在美國(guó)發(fā)起了第一個(gè)自動(dòng)駕駛項(xiàng)目，1995年，該研究項(xiàng)目取得很大進(jìn)展，汽車從賓夕法尼亞州的匹茲堡自動(dòng)駕駛至加利福尼亞州的圣地亞哥。同年，在諸多研究的支持下，美國(guó)政府組建國(guó)家自動(dòng)高速公路系統(tǒng)聯(lián)盟(NAHSC)。一系列項(xiàng)目推動(dòng)了對(duì)高速公路場(chǎng)景(highway scenarios)長(zhǎng)期系統(tǒng)的研究。然而，這些研究始終未涉及城市場(chǎng)景。

圖片來自網(wǎng)絡(luò)

實(shí)際上，城市場(chǎng)景與人們的日常生活密切相關(guān)。由美國(guó)國(guó)防高級(jí)研究計(jì)劃局(DARPA)組織的“DARPA超級(jí)挑戰(zhàn)賽”大大加快了自動(dòng)駕駛車輛研究的發(fā)展進(jìn)程。2004年和2005年分別舉辦第一屆和第二屆。2007年11月3日，第三屆DARPA挑戰(zhàn)賽---“城市挑戰(zhàn)”在加利福尼亞維克多維爾的喬治空軍基地拉開帷幕，目的是在莫哈韋沙漠中測(cè)試自動(dòng)駕駛車輛的性能，比賽規(guī)定車輛在遵守交通規(guī)則的同時(shí)，也要能夠與其他車輛及障礙物進(jìn)行溝通協(xié)調(diào)，充分融入整個(gè)交通場(chǎng)景中。6小時(shí)內(nèi)，4個(gè)參賽組完成了路線行駛。

圖片來自網(wǎng)絡(luò)

2009年，中國(guó)國(guó)家自然科學(xué)基金委發(fā)起了“中國(guó)智能車未來挑戰(zhàn)賽”(iVFC)。截止到2017年11月，已經(jīng)成功舉辦9屆。谷歌也在2009年啟動(dòng)了自動(dòng)駕駛研究項(xiàng)目，至2018年3月已累計(jì)完成超過500萬英里的自動(dòng)駕駛測(cè)試。2016年，項(xiàng)目部門發(fā)展成一個(gè)獨(dú)立研究自動(dòng)駕駛技術(shù)的公司W(wǎng)aymo。2016年10月，特斯拉發(fā)布Autopilot 2.0，配置了多個(gè)攝像機(jī)、12個(gè)超聲傳感器和1個(gè)前向雷達(dá)，所有搭載Autopilot 2.0的車輛都具有自動(dòng)駕駛能力。

圖片來自網(wǎng)絡(luò)

實(shí)際上，越來越多的汽車生產(chǎn)商，如奧迪、寶馬、奔馳等，也開始著手研究自己的自動(dòng)駕駛汽車。

2）測(cè)試(Benchmarks)

2012年，Andreas Geiger等人提出KITTI視覺測(cè)試數(shù)據(jù)集(KITTI vision benchmark)，其中包含6個(gè)不同的城市場(chǎng)景，以及156個(gè)時(shí)長(zhǎng)2-8分鐘的視頻片段。這些數(shù)據(jù)由配置了一個(gè)彩色和黑白攝像機(jī)、威力登3D激光掃描儀(Velodyne 3D laser scanner)和高精度GPS/IMU慣性導(dǎo)航系統(tǒng)(inertial navigation systems)的汽車采集而來。

同時(shí)，劍橋大學(xué)發(fā)布CamVid數(shù)據(jù)集，包含4個(gè)城市場(chǎng)景的視頻序列(video sequences)，提供了語義分割評(píng)價(jià)測(cè)試(evaluation benchmark)。另一個(gè)頗受歡迎的測(cè)試是2016年公開的Cityscapes數(shù)據(jù)集，其中收集了50個(gè)城市中的場(chǎng)景，包含5000張精標(biāo)圖像(fine-annotated images)和20000張粗標(biāo)圖像(coarse-annotated images)。Cityscapes已成為完成語義分割任務(wù)時(shí)，最具挑戰(zhàn)的數(shù)據(jù)集。

圖片來自文章

標(biāo)注(annotation)是一件耗時(shí)且費(fèi)力的工作?；诖耍?a target="_blank">Adrien Gaidon等人借助計(jì)算機(jī)圖像技術(shù)，構(gòu)建了一個(gè)大規(guī)模的類似KITTI數(shù)據(jù)集的虛擬數(shù)據(jù)集。虛擬數(shù)據(jù)集的優(yōu)點(diǎn)在于可以生成任何想要的任務(wù)，即使該項(xiàng)任務(wù)非常罕見。然而，對(duì)于復(fù)雜多樣的場(chǎng)景而言，這些測(cè)試的生命周期都很短暫。

為解決這個(gè)問題，Will Maddern等人通過一年內(nèi)重復(fù)穿行牛津大學(xué)中央的一條路線，行駛了1000多公里，采集了多于20TB的圖像、LIDAR和GPS數(shù)據(jù)。這個(gè)數(shù)據(jù)集反映了更多城市場(chǎng)景、照明和天氣的變化，但不足之處在于沒有提供充分標(biāo)注。除了配置各種傳感器系統(tǒng)外，一些研究者還專注于全景校準(zhǔn)(full view calibration)，通過給測(cè)試車輛安裝多個(gè)攝像機(jī)，他們從不同視角收集數(shù)據(jù)，如：LISA-Trajectory、PKU-POSS數(shù)據(jù)集。

自動(dòng)駕駛技術(shù)發(fā)展面臨的困難

當(dāng)前，自動(dòng)駕駛技術(shù)的發(fā)展主要面臨以下困難：

1) 當(dāng)前對(duì)于環(huán)境感知，如對(duì)交通場(chǎng)景中參與者的檢測(cè)、追蹤和分割，在真實(shí)環(huán)境中仍然會(huì)出現(xiàn)無法避免的錯(cuò)誤。

2) 駕駛環(huán)境非常復(fù)雜，無法預(yù)測(cè)，且實(shí)時(shí)變化，充滿不確定性。

3) 關(guān)于深度交通場(chǎng)景理解(deep traffic scene understanding)的研究遠(yuǎn)遠(yuǎn)不夠，如理解場(chǎng)景的幾何/拓?fù)浣Y(jié)構(gòu)，參與者(行人、車輛等)的時(shí)空變化等，這類研究的終極目標(biāo)是在語義上推理出場(chǎng)景演化(scene evolvement)，從而為行動(dòng)計(jì)劃和自動(dòng)駕駛控制提供參考，但該研究開展起來非常困難，因?yàn)檫@些因素是隱性存在于自動(dòng)駕駛環(huán)境中的，無法直接通過觀察得到。

4) 自動(dòng)駕駛車輛的應(yīng)用遭遇社會(huì)阻力和道德追問。

本文結(jié)構(gòu)

本文集中討論自動(dòng)駕駛車輛對(duì)交通場(chǎng)景的深度理解，旨在從事件推理的角度(event reasoning view)，探索交通場(chǎng)景的演變。因?yàn)橥ㄟ^可追蹤的推理策略，事件能反映場(chǎng)景的動(dòng)態(tài)演化過程。為了更加清晰且有邏輯地展現(xiàn)本研究，文章從表現(xiàn)(representation)、檢測(cè)(detection)和預(yù)測(cè)(prediction)三個(gè)階段來推理事件。

圖片來自文章

在表現(xiàn)階段(representation stage)，作者詳細(xì)探討了自動(dòng)駕駛的顯著性(saliency)、上下文布局(contextual layout)、拓?fù)湟?guī)則(topology rules)，旨在為下面兩階段獲取高質(zhì)量研究線索(clues)。在檢測(cè)階段(detection stage)，作者從不同參與者(participants)的角度回顧了事件檢測(cè)(event detection)，如行人角度和車輛角度。在預(yù)測(cè)階段(prediction stage)，文章集中于探討研發(fā)自動(dòng)駕駛車輛的意圖，并將其分為長(zhǎng)期意圖預(yù)測(cè)(long-term intention prediction)和短期意圖預(yù)測(cè)(short-term prediction)。

圖片來自網(wǎng)絡(luò)

除了這些階段，近年也出現(xiàn)了一些針對(duì)自動(dòng)駕駛場(chǎng)景理解的端對(duì)端方法(end-to-end approaches)，如FCN(fully convolutional networks)和FCN-LSTM。文章第5部分集中討論了這類方法。此外，文章還討論了一些開放性問題和挑戰(zhàn)，并盡力給出一些可行的解決辦法。

全文結(jié)構(gòu)如下：

第一部分是引言，第二部分討論了場(chǎng)景表現(xiàn)(representation of scene)，為接下來的事件推理鋪路；第三部分回顧了行人及車輛事件檢測(cè)；第四部分概述了意圖預(yù)測(cè)；第五部分介紹了基于深度學(xué)習(xí)技術(shù)，直接推理(direct reasoning)的端對(duì)端框架(end-to-end frameworks)；第六部分集中于事件推理(event reasoning)的評(píng)價(jià)指標(biāo)(evaluation metrics)和相關(guān)數(shù)據(jù)集；第七部分是本文結(jié)論。

全文信息

A Survey of Scene Understanding by Event Reasoning in Autonomous Driving

Jian-RuXue, Jian-WuFang, PuZhang

摘要：

Realizing autonomy is a hot research topic for automatic vehicles in recent years. For a long time, most of the efforts to this goal concentrate on understanding the scenes surrounding the ego-vehicle (autonomous vehicle itself). By completing lowlevel vision tasks, such as detection, tracking and segmentation of the surrounding traffic participants, e.g., pedestrian, cyclists and vehicles, the scenes can be interpreted. However, for an autonomous vehicle, low-level vision tasks are largely insufficient to give help to comprehensive scene understanding. What are and how about the past, the on-going and the future of the scene participants? This deep question actually steers the vehicles towards truly full automation, just like human beings. Based on this thoughtfulness, this paper attempts to investigate the interpretation of traffic scene in autonomous driving from an event reasoning view. To reach this goal, we study the most relevant literatures and the state-of-the-arts on scene representation, event detection and intention prediction in autonomous driving. In addition, we also discuss the open challenges and problems in this field and endeavor to provide possible solutions.