盡管有非技術(shù)媒體鑒于特斯拉(Tesla)Model S電動(dòng)車(chē)最近發(fā)生的致命事故而預(yù)言自動(dòng)駕駛車(chē)輛的消亡,筆者還是想在這篇文章中介紹傳感器電子組件以及更好、更精進(jìn)的軟件算法,而它們終究可望在接下來(lái)的十年內(nèi)實(shí)現(xiàn)安全的全自動(dòng)駕駛車(chē)輛。
Tesla已經(jīng)一再表明Model S并非自動(dòng)駕駛車(chē)輛,Tesla電動(dòng)車(chē)駕駛?cè)诵枰宄卣J(rèn)知:「這種系統(tǒng)只是新技術(shù),并且仍處于公開(kāi)測(cè)試階段。」
而B(niǎo)MW、Mobileye和英特爾(Intel)三家公司在7月份宣布合作開(kāi)發(fā)自動(dòng)駕駛車(chē)輛平臺(tái)時(shí),也強(qiáng)調(diào)「安全第一」的原則,因?yàn)轳{駛?cè)说陌踩钪匾?/p>
美國(guó)全國(guó)公共廣播電臺(tái)(NPR)記者Sonari Glinton在最近的一場(chǎng)廣播節(jié)目討論中也表示,Tesla Model S是具備自動(dòng)駕駛「功能」,而這些功能只是提供輔助、并非要替代駕駛?cè)恕?/p>
Google的全自動(dòng)駕駛測(cè)試車(chē)輛則是仰賴(lài)成本更高、更復(fù)雜,采用光達(dá)(LiDAR)技術(shù)的遠(yuǎn)程感測(cè)(remote sensing)系統(tǒng)。
Tesla執(zhí)行長(zhǎng)Elon Musk曾表示:「全自動(dòng)駕駛車(chē)輛顯然需要360度攝影機(jī),可能還需要額外的前向(forward) 攝影機(jī)、運(yùn)算硬件,以及電動(dòng)馬達(dá)和轉(zhuǎn)向齒條(steering rack) …也就是說(shuō),我認(rèn)為并不需要LiDAR,只要利用被動(dòng)光學(xué)組件和一個(gè)前向雷達(dá)就能實(shí)現(xiàn)自動(dòng)駕駛?!顾铝橄M(fèi)性市場(chǎng)推出價(jià)格相對(duì)能被大眾負(fù)擔(dān),且強(qiáng)調(diào)安全性的車(chē)輛。
Tesla的Autopilot自動(dòng)駕駛系統(tǒng)仰賴(lài):「攝影機(jī)、雷達(dá)、超音波傳感器和數(shù)據(jù)的結(jié)合,以自動(dòng)控制汽車(chē)在高速公路上的行駛、變換車(chē)道以及根據(jù)交通流量調(diào)整速度;」該系統(tǒng)采用以色列芯片設(shè)計(jì)業(yè)者M(jìn)obileye提供的自動(dòng)剎車(chē)技術(shù)。
Tesla電動(dòng)車(chē)采用的Mobileye Emergency自動(dòng)剎車(chē)功能,是「專(zhuān)門(mén)為避免后方追撞所設(shè)計(jì)」,因此無(wú)法避開(kāi)今年7月1日在美國(guó)發(fā)生之Model S致命事故中的側(cè)面碰撞;如前面提及,這種技術(shù)還在繼續(xù)進(jìn)行開(kāi)發(fā)。例如有相關(guān)文獻(xiàn)描述了以視覺(jué)技術(shù)為基礎(chǔ)的自動(dòng)駕駛動(dòng)態(tài)控制設(shè)計(jì),并將重點(diǎn)放在緊急避障功能中的協(xié)調(diào)轉(zhuǎn)向(coordinated steering)和剎車(chē)控制;另有相關(guān)文獻(xiàn)介紹了一種創(chuàng)新方法,可以用來(lái)避免致命的意外事故。
Google已經(jīng)在美國(guó)數(shù)個(gè)州進(jìn)行自動(dòng)駕駛車(chē)輛測(cè)試;Tesla則宣布在今后三年內(nèi)推出完全自動(dòng)駕駛車(chē)輛;共乘服務(wù)業(yè)者Uber則在美國(guó)匹茲堡(Pittsburgh)開(kāi)設(shè)了一個(gè)測(cè)試場(chǎng)地,準(zhǔn)備發(fā)展一個(gè)自動(dòng)駕駛出租車(chē)隊(duì)。
日本車(chē)廠豐田(Toyota)曾透露,其公路自動(dòng)駕駛汽車(chē)安裝了12個(gè)用以擷取數(shù)據(jù)的傳感器,包括1個(gè)安裝于后照鏡背面的攝影機(jī)模塊,5個(gè)使用無(wú)線(xiàn)電波擷取其他車(chē)輛速度的雷達(dá)傳感器,以及6個(gè)用于檢測(cè)汽車(chē)周?chē)矬w位置的雷射傳感器。
還有美國(guó)加州已經(jīng)頒布了在公共道路上測(cè)試、操控自動(dòng)駕駛車(chē)輛的法律框架。
雖然我們尚未準(zhǔn)備好迎接全自動(dòng)駕駛車(chē)輛,但應(yīng)該是在不遠(yuǎn)的未來(lái)——在那之前,我們的手還是得握好方向盤(pán),眼睛也要隨時(shí)盯著路況。
傳感器是自動(dòng)駕駛的眼睛和耳朵
若自動(dòng)駕駛車(chē)輛擁有「耳朵」,能在警車(chē)、救護(hù)車(chē)或消防車(chē)駛近,能透過(guò)車(chē)載攝影機(jī)或LiDAR看到前先聽(tīng)到警笛聲并確定其方向…怎么樣?或者在駕駛?cè)恕iDAR或攝影機(jī)的視力所及之前,就先聽(tīng)到重型機(jī)車(chē)接近的聲音呢?
以下讓我們來(lái)看看自動(dòng)駕駛車(chē)輛使用的各種傳感器技術(shù)──是以設(shè)計(jì)工程師對(duì)電子傳感器的專(zhuān)業(yè)見(jiàn)解,探索這些傳感器如何與內(nèi)建先進(jìn)處理器與軟件算法的車(chē)輛「大腦」相連。
扮演自動(dòng)駕駛車(chē)輛眼睛的技術(shù)
LiDAR 這是一種使用旋轉(zhuǎn)激光束的系統(tǒng),獲得BMW及Google、日產(chǎn)(Nissan)和蘋(píng)果(Apple)研發(fā)的實(shí)驗(yàn)用自動(dòng)駕駛車(chē)輛采用,但若要在大眾車(chē)款中應(yīng)用這類(lèi)系統(tǒng),必須等待其成本大幅下降。
圖 1 LiDAR基本原理:圖為一對(duì)單發(fā)射器 /檢測(cè)器搭配可活動(dòng)旋轉(zhuǎn)鏡的 LiDAR設(shè)計(jì);這種架構(gòu)可以實(shí)現(xiàn)至少一個(gè)平面上的掃描;其中的鏡子不僅可以反射二極管發(fā)出的光,還能將返回光線(xiàn)反射到檢測(cè)器。透過(guò)在這種應(yīng)用中配置旋轉(zhuǎn)鏡,可以實(shí)現(xiàn) 90~180度的典型方位視角,同時(shí)簡(jiǎn)化系統(tǒng)設(shè)計(jì)和可制造性,因?yàn)橹挥戌R子是活動(dòng)零件。 (圖片來(lái)源: Velodyne)
美國(guó)業(yè)者Velodyne能提供一種高分辨率LiDAR(HDL)傳感器,以因應(yīng)自動(dòng)駕駛車(chē)輛導(dǎo)航的嚴(yán)格要求;其HDL組件可以提供360度的方位視角和26.5度的高度視角,以及15Hz的畫(huà)面更新率(frame refresh rate),還有以每秒100萬(wàn)點(diǎn)速度填入的點(diǎn)云(point cloud)。
光脈沖以前一直被用來(lái)測(cè)量距離,這種基礎(chǔ)技術(shù)用雷射二極管發(fā)射光脈沖;光線(xiàn)會(huì)一直傳播,直到遇到一個(gè)目標(biāo),此時(shí)一部分光能會(huì)被反射回發(fā)射器,在靠近發(fā)射器的地方安裝的光子檢測(cè)器會(huì)檢測(cè)到這個(gè)反射回來(lái)的訊號(hào),而發(fā)射脈沖和接收脈沖的時(shí)差確定了目標(biāo)的距離,若啟動(dòng)這個(gè)脈沖距離測(cè)量系統(tǒng),則可以收集到大量的采樣點(diǎn)(也就是「點(diǎn)云」)。
如果沒(méi)有出現(xiàn)任何目標(biāo)物,那么發(fā)射出去的光永遠(yuǎn)不會(huì)返回任何反射訊號(hào);如果光線(xiàn)是指向地面,路面就會(huì)提供返回訊號(hào)。如果目標(biāo)位于點(diǎn)云中,就可以在數(shù)據(jù)中看到一個(gè)缺口(notch),根據(jù)這個(gè)缺口即可確定目標(biāo)物的距離和寬度。透過(guò)點(diǎn)云中收集的點(diǎn),便可形成周邊環(huán)境的3D影像;點(diǎn)云越密集,影像就越豐富。
圖2 傳統(tǒng)的單發(fā)射器/檢測(cè)器配對(duì)之雷射傳感器應(yīng)用。(圖片來(lái)源:Velodyne)
3D LiDAR 方案實(shí)現(xiàn)3D LiDAR的一種方法是在鏡子旋轉(zhuǎn)時(shí)上下移動(dòng)發(fā)射器/檢測(cè)器──有時(shí)稱(chēng)為「眨眼(winking)」或「點(diǎn)頭(nodding)」──這將產(chǎn)生高度(elevation)數(shù)據(jù)點(diǎn),但也會(huì)減少方位數(shù)據(jù)點(diǎn)的數(shù)量,從而降低點(diǎn)云密度,造成系統(tǒng)分辨率降低。
另外一種方法是「快閃(flash)LiDAR」,該類(lèi)系統(tǒng)運(yùn)作時(shí)會(huì)同時(shí)照亮一大片區(qū)域,然后在一個(gè)專(zhuān)屬2D焦平面數(shù)組(FPA)上擷取所產(chǎn)生的像素距離(pixel-distance)信息;這種類(lèi)型的傳感器很復(fù)雜、生產(chǎn)不易,因此沒(méi)有獲得廣泛商用,然而有一天可望替代機(jī)械致動(dòng)傳感器,因?yàn)樗鼈兪枪虘B(tài)組件,不需要活動(dòng)零件。
業(yè)界還有許多不同配置的3D點(diǎn)云系統(tǒng),但這些系統(tǒng)目前還無(wú)法滿(mǎn)足自動(dòng)駕駛車(chē)輛的安全性需求;舉例來(lái)說(shuō),有許多系統(tǒng)能夠拍到很棒的照片,但拍一張就得好幾分鐘,這種系統(tǒng)就不適合行動(dòng)感測(cè)應(yīng)用。當(dāng)然也有具備優(yōu)異更新率的快閃系統(tǒng),但視場(chǎng)不足且距離性能也不夠;還有可提供實(shí)用訊的單束系統(tǒng),但當(dāng)目標(biāo)物體太小或落在裝置視場(chǎng)以外,這種系統(tǒng)就無(wú)法發(fā)揮作用。
為了使LiDAR傳感器適應(yīng)最多的使用情境,有必要看清收集點(diǎn)四周的每個(gè)角落,即全360度。另外,處理后的數(shù)據(jù)需要實(shí)時(shí)遞送給用戶(hù),因此在數(shù)據(jù)收集和渲染影像之間的延遲必須最小化;例如在自動(dòng)駕駛導(dǎo)航領(lǐng)域,零點(diǎn)幾秒的人類(lèi)反應(yīng)時(shí)間一般是可以接受的,因此保證導(dǎo)航計(jì)算機(jī)的更新率至少每秒十次是很實(shí)際的要求。垂直視場(chǎng)需要擴(kuò)展到地平線(xiàn)之外,以防汽車(chē)開(kāi)進(jìn)路面凹陷處;也應(yīng)該盡可能朝看清汽車(chē)前方的路面延伸,以適應(yīng)道路凹陷或陡坡。
各種平價(jià)LiDAR傳感器產(chǎn)品
Velodyne曾推出一款型號(hào)為VLP-32A的車(chē)用LiDAR傳感器,這款命名為ULTRA Puck的產(chǎn)品(圖3)號(hào)稱(chēng)是首款經(jīng)濟(jì)型、可滿(mǎn)足美國(guó)汽車(chē)工程師學(xué)會(huì)(SAE)定義之汽車(chē)自動(dòng)化1~5級(jí)要求的LiDAR傳感器。福特(Ford)是第一家訂購(gòu)ULTRA Puck的汽車(chē)制造商,準(zhǔn)備將其應(yīng)用于該公司最近宣布擴(kuò)編的自動(dòng)駕駛車(chē)隊(duì),預(yù)計(jì)今年稍晚上路。
圖3 Velodyne的ULTRA Puck傳感器可實(shí)現(xiàn)長(zhǎng)達(dá)200公尺的覆蓋距離,支持32個(gè)LiDAR信道,其提升的分辨率可以更容易識(shí)別物體;這32個(gè)通道部署在28度的垂直視場(chǎng)上,并以獨(dú)特的模式配置,能提高地平在線(xiàn)的感測(cè)分辨率。(圖片來(lái)源:Velodyne)
加拿大業(yè)者LeddarTech的LiDAR解決方案Leddar(圖4)也讓人印象深刻;該公司有獨(dú)立的先進(jìn)駕駛輔助系統(tǒng)(ADAS)和在被動(dòng)和主動(dòng)安全系統(tǒng)中使用的經(jīng)濟(jì)型LiDAR,并能為先進(jìn)的傳感器融合之整合提供原始數(shù)據(jù)量測(cè)。其傳感器冗余(Sensor Redundancy)突破了其他傳感器的局限性,可避免系統(tǒng)故障和檢測(cè)誤差,并改善各種環(huán)境條件下的檢測(cè)。其應(yīng)用于自動(dòng)駕駛的360度點(diǎn)云功能,則可滿(mǎn)足更高分辨率和更高性能需求,未來(lái)還將提供支持360度和高分辨率檢測(cè)的版本。
圖 4 加拿大業(yè)者LeddarTech的LiDAR解決方案Leddar。
適合所有等級(jí)自動(dòng)駕駛車(chē)輛且能繪制車(chē)輛周遭360度環(huán)境地圖的經(jīng)濟(jì)型LiDAR,對(duì)司機(jī)、乘客、行人,和其他車(chē)輛乘客的安全來(lái)說(shuō)都至關(guān)重要。Leddar芯片組的原始數(shù)據(jù)輸出功能使其非常適合先進(jìn)的傳感器融合解決方案──這類(lèi)方案將各種傳感器傳送過(guò)來(lái)的數(shù)據(jù)整合,來(lái)提供汽車(chē)四周的整體感知圖。其特色包括:
˙能整合到ADAS和自動(dòng)駕駛功能,固態(tài)LiDAR將代替或補(bǔ)充其中的攝影機(jī)和/或雷達(dá)。 ˙高密度3D點(diǎn)云LiDAR,可實(shí)現(xiàn)更高等級(jí)的自動(dòng)駕駛。 ˙支援快閃/光束操控LiDAR(即MEMS微型反射鏡)。 ˙覆蓋距離達(dá)250公尺,視場(chǎng)達(dá)140 °,每秒多達(dá)48萬(wàn)個(gè)點(diǎn)(水平和垂直分辨率可小至0.25°)。
最后還有一家荷蘭業(yè)者Innoluce(編按:英飛凌科技-Infineon已于10月宣布收購(gòu)該公司)推出的車(chē)用LiDAR,號(hào)稱(chēng)能覆蓋250公尺的目標(biāo)范圍,分辨率達(dá)0.1°,價(jià)格為100美元。
視覺(jué)影像傳感器
雖然2D LiDAR很多時(shí)候是與視覺(jué)傳感器整合,不過(guò)我們?cè)谶@里只討論視覺(jué)傳感器本身。首先是Mobileye的方案,Mobileye Shield+是Tesla采用的一種非常先進(jìn)的防碰撞系統(tǒng),支持Vision Zero交通事故零傷亡愿景(這是一個(gè)獲得許多國(guó)家支持的交通安全目標(biāo),即實(shí)現(xiàn)無(wú)致命或嚴(yán)重傷亡的公路系統(tǒng),是1997年10月由瑞典發(fā)起);不過(guò)該系統(tǒng)僅能在即將與行人發(fā)生碰撞時(shí)提醒駕駛,不能檢測(cè)無(wú)生命的物體。
Mobileye的防碰撞系統(tǒng)具有以下功能:
˙行人和與騎士碰撞警告(Mobileye PCW)。 ˙正向碰撞警告(Mobileye PCW)。 ˙前方車(chē)距監(jiān)測(cè)警告(Mobileye HMW)。 ˙車(chē)道偏離警告(MobileyeLDW)。 ˙道路限速指示(SLI)。
此外該公司的Mobileye 5系統(tǒng)支持藍(lán)牙,可以透過(guò)智能型手機(jī)應(yīng)用程序提供駕駛?cè)藢?shí)時(shí)音/視訊警告。
美國(guó)喬治亞理工學(xué)院(Georgia Institute of Technology)提出了一種創(chuàng)新的3D系統(tǒng)封裝架構(gòu),不僅考慮了電氣、機(jī)械和散熱設(shè)計(jì),還考慮了新的數(shù)字、射頻、傳感器、雷達(dá)毫米波和電源技術(shù);他們計(jì)劃開(kāi)發(fā)高度創(chuàng)新、以大面板為基礎(chǔ)的超薄玻璃封裝,以及在電氣、熱、機(jī)械設(shè)計(jì)、材料、制程、繞線(xiàn)微影、精細(xì)間距、高吞吐組裝,及用于訊號(hào)、電源傳輸和導(dǎo)熱的高傳導(dǎo)性銅通孔(through Coppervias)等方面的創(chuàng)新。
透過(guò)開(kāi)發(fā)防碰撞傳感器來(lái)強(qiáng)化自動(dòng)駕駛車(chē)輛技術(shù),還需實(shí)現(xiàn)更多進(jìn)步,才能實(shí)現(xiàn)與城市基礎(chǔ)設(shè)施連結(jié)的新時(shí)代,如圖5所示。
圖5 與周?chē)A(chǔ)設(shè)施的無(wú)線(xiàn)連結(jié),是提升自動(dòng)駕駛車(chē)輛安全性所需的關(guān)鍵因素之一。
汽車(chē)傳感器和通訊技術(shù)領(lǐng)域的最新發(fā)展,提高了駕駛對(duì)車(chē)輛周邊環(huán)境的能見(jiàn)度和意識(shí),并實(shí)現(xiàn)了其他許多令人驚嘆的功能,比如停車(chē)輔助、自適應(yīng)巡航控制、車(chē)道維持輔助、交通標(biāo)志識(shí)別和行人偵測(cè)等,如圖6所示。
圖6 新一代傳感器技術(shù)進(jìn)一步強(qiáng)化了ADAS功能。
IC整合/封裝
汽車(chē)電子系統(tǒng)需要執(zhí)行包括無(wú)線(xiàn)通信在內(nèi)的許多功能,需要應(yīng)用于與自動(dòng)駕駛安全相關(guān)數(shù)據(jù)處理的無(wú)線(xiàn)感測(cè)、立體攝影機(jī)、毫米波電子組件、高頻電子組件或光子組件,還有用于電動(dòng)車(chē)的高功率、高溫電子組件。
將以上所有組件透過(guò)晶體管整合為單芯片,或是以堆棧式封裝/系統(tǒng)級(jí)封裝(SiP)的多芯片形式整合在一起,是超越摩爾定律(More than Moore‘s Law)的技術(shù);而為了完整系統(tǒng)整合的「系統(tǒng)摩爾定律(System Moore’s Law,SM)」概念則催生了「汽車(chē)系統(tǒng)級(jí)封裝(Automotive System-on Package,A-SOP)」,具備旁大且極具成長(zhǎng)潛力的市場(chǎng)(圖7)。
圖7 喬治亞理工學(xué)院提出了成立汽車(chē)電子產(chǎn)業(yè)聯(lián)盟的構(gòu)想。
看見(jiàn)周遭人類(lèi)與接近某個(gè)現(xiàn)場(chǎng)
高度自動(dòng)化和自動(dòng)駕駛車(chē)輛的開(kāi)發(fā)人員必須考察復(fù)雜的人類(lèi)行為,讓自動(dòng)駕駛汽車(chē)能觀察、理解、模型化、推斷和預(yù)測(cè)車(chē)廂內(nèi)的乘客以及車(chē)輛周遭行人、汽車(chē)行駛區(qū)域內(nèi)的人類(lèi)行為(圖8)。
圖8 高度自動(dòng)化和自動(dòng)駕駛汽車(chē)必須要能理解車(chē)輛周遭人類(lèi)行為。
而因?yàn)槌上裱芯恳呀?jīng)取得了顯著的進(jìn)步,這將有助于控制空間接近(space approach);這些類(lèi)型的研究和實(shí)驗(yàn)將有助于阻止自動(dòng)駕駛車(chē)輛發(fā)生交通事故并危及人身安全,因?yàn)檫@些傳感器系統(tǒng)正隨著算法的成熟不斷演進(jìn)(圖9)。
圖9 這是采用了深度神經(jīng)網(wǎng)絡(luò)(DNN)的影像到控制策略流水線(xiàn)(調(diào)節(jié)語(yǔ)義感知)案例——先是語(yǔ)義場(chǎng)景元素(semantic scene element)的預(yù)測(cè),然后是控制策略算法。
關(guān)于以整體性方法了解一個(gè)狀況的來(lái)龍去脈,以及處理許多異常和意料之外場(chǎng)景和目標(biāo)物的相關(guān)技術(shù),還有許多需要學(xué)習(xí)的;包括對(duì)觀察到的物體(包括人和汽車(chē))之細(xì)微短/長(zhǎng)期活動(dòng)信息加以擴(kuò)展分析,以及在被完全不可預(yù)知的人或車(chē)輛包圍的條件下預(yù)測(cè)活動(dòng)事件并做出決策的預(yù)測(cè)等。
聲音檢測(cè)和分析
目前的麥克風(fēng)產(chǎn)品發(fā)展以及聲音質(zhì)量技術(shù)已經(jīng)有重大進(jìn)步,因此筆者認(rèn)為自動(dòng)駕駛車(chē)輛的另一個(gè)傳感器數(shù)據(jù)源一定是聲音;這種新增的聽(tīng)覺(jué)輸入與所有視覺(jué)傳感器,將共同為處理器和算法添加另一層信息輸入,這有助于提高關(guān)鍵的決策判斷能力,從而確保道路上自動(dòng)駕駛車(chē)輛的安全。
人類(lèi)對(duì)汽車(chē)?yán)?,以及救護(hù)車(chē)、消防車(chē)和警車(chē)的警笛聲都會(huì)有所反應(yīng),筆者相信我們也需要為自動(dòng)駕駛車(chē)輛增加聽(tīng)覺(jué),以完善對(duì)駕駛?cè)说?a href="http://www.brongaenegriffin.com/analog/" target="_blank">模擬。
麥克風(fēng)技術(shù)已有不少提升,包括聲音質(zhì)量,以及具備能夠耐受惡劣車(chē)用環(huán)境的高強(qiáng)韌度MEMS設(shè)計(jì),還有降低噪聲、低功耗運(yùn)作以及動(dòng)態(tài)范圍等性能的改善。
小結(jié)
我們可以說(shuō),要決定是否讓不需要人類(lèi)干預(yù)之全自動(dòng)駕駛車(chē)輛上路,現(xiàn)在還不是時(shí)候;還有許多工作要做。而傳感器科學(xué)與工程技術(shù)還有成熟的算法正在快速發(fā)展,以預(yù)測(cè)人類(lèi)和汽車(chē)的隨機(jī)行為并迅速做出反應(yīng),目標(biāo)是避免車(chē)輛和財(cái)物的損失,當(dāng)然還有最重要的──保障人們的生命安全。
評(píng)論