[首發(fā)于智駕最前沿微信公眾號]對于自動駕駛汽車來說，“看”世界的方式不只有一種，一般情況下，會有多個傳感器用來感知交通環(huán)境，常見的傳感器有激光雷達(dá)（LiDAR）、攝像頭、毫米波雷達(dá)、慣性測量單元（IMU）等等。這些傳感器各自以不同方式、不同頻率不斷采集外界的數(shù)據(jù)。為了確保感知的準(zhǔn)確性，會在感知數(shù)據(jù)處理時，非常注意時間同步。

為什么要講“時間同步”這個事兒

之所以時間同步非常重要，是因為不同傳感器的每一幀數(shù)據(jù)都有時間標(biāo)簽（時間戳），時間戳不對齊的話，把它們的數(shù)據(jù)放在一起看世界就會出錯。

舉個很直觀的例子。攝像頭拍照是瞬間行為，某一刻拍攝的圖片中，整張圖片的數(shù)據(jù)就是那個瞬間的場景。但激光雷達(dá)是通過旋轉(zhuǎn)發(fā)射激光脈沖來掃一圈生成點云數(shù)據(jù)的，一圈可能要幾十毫秒甚至上百毫秒。如果我們把一個攝像頭的圖像和一個激光雷達(dá)的點云直接拼在一起，沒有處理時間差的話，很容易出現(xiàn)“畫面描述跟點云不一致”的情況，特別是在車輛高速運動或者場景里有動態(tài)物體（比如行人、自行車）的時候，這種不一致會更加明顯。

對于自動駕駛感知模塊來說，這種時間偏差就像一張“局部滯后”的世界圖，很容易導(dǎo)致誤判和決策錯誤。時間同步，就是要把這些不同來源的數(shù)據(jù)對齊，讓它們看待同一個時間點的世界。

在自動駕駛汽車上，使用較多的傳感器就是攝像頭和激光雷達(dá)，想要聊他們的時間同步，得先理解激光雷達(dá)和攝像頭在數(shù)據(jù)采集上的差異。

攝像頭拍照是“瞬間完成”的事情，一旦快門打開關(guān)閉，那一幀圖像的所有像素都近似在同一時間被捕獲（當(dāng)然，這個時間同時還依賴攝像頭的快門方式，比如滾動快門和全局快門會有細(xì)節(jié)差別，但本質(zhì)是“一次曝光完就是一幀”）。

激光雷達(dá)則是靠發(fā)射激光脈沖、接收反射信號并計算時間差來獲得距離信息。為了覆蓋一個完整的360°視角，它需要不斷旋轉(zhuǎn)或機(jī)械掃描。在一圈掃描里，一些點是在開始時采集的，有些是在結(jié)束時采集的，這就導(dǎo)致一個完整的點云本身內(nèi)部就存在時間差。

當(dāng)你想把某一幀圖像和某一幀點云對齊時，如果攝像頭拿的是這個時刻的圖像，而激光雷達(dá)的點云包含了前面幾十毫秒和后面幾十毫秒的數(shù)據(jù)，即便簡單按照“最接近的時間戳”去匹配，也會有明顯誤差。時間不同步會給后續(xù)的融合算法帶來麻煩，像是目標(biāo)檢測和定位，就需要對應(yīng)的圖像特征和點云特征對齊才能算得準(zhǔn)確的位置和類別。時間同步，就是要把這種時間上的偏差降到可接受的范圍。

硬件層面的時間同步

在自動駕駛系統(tǒng)里，最靠譜的時間同步方式之一就是從硬件層面入手，旨在讓不同傳感器共享一個共同的時間基準(zhǔn)。簡單理解就是讓所有傳感器在同一個時鐘上計時。

1）統(tǒng)一時鐘源

時間同步最基礎(chǔ)的辦法是給所有傳感器一個共同的時間來源。這可以是GPS提供的時間信號，也可以是車輛主控計算單元上的高精度時鐘。很多自動駕駛系統(tǒng)會利用GPS的1PPS（每秒脈沖）信號結(jié)合IEEE 1588的PTP（Precision Time Protocol，精密時間協(xié)議）來做同步。

GPS的1PPS信號每秒會發(fā)出一個脈沖，能提供一個非常準(zhǔn)確的時間基準(zhǔn)，傳感器可以把這個信號作為參考時刻，然后自己的內(nèi)部時鐘按照這個節(jié)奏來計時。PTP則是在網(wǎng)絡(luò)層面提供精確的時間同步協(xié)議，讓車載以太網(wǎng)設(shè)備之間能精確對齊時間。這樣激光雷達(dá)、攝像頭、IMU等都可以把它們的時間戳掛在同一個時間線上。

硬件層面的統(tǒng)一時鐘讓時間差幾乎不可能積累成大誤差，而且所有模塊都能按統(tǒng)一時間看世界，但網(wǎng)絡(luò)延遲、硬件時鐘漂移等問題不可避免。

2）硬件觸發(fā)信號

還有一種比較直接的做法是利用硬件觸發(fā)。也就是讓一個傳感器發(fā)出觸發(fā)信號去控制另一個傳感器采集。比如說激光雷達(dá)在旋轉(zhuǎn)到某一角度時觸發(fā)一次輸出信號，讓攝像頭正好在那個瞬間拍一張照片。這樣就能保證那一幀點云某些角度對應(yīng)的時刻正好是那個圖像拍攝的時刻。

這種做法可以讓兩個傳感器在同一個外部事件下同時采集數(shù)據(jù)。優(yōu)點是時間一致性強(qiáng)，不需要復(fù)雜的時間協(xié)議。缺點是只針對特定的事件觸發(fā)，不一定適合所有場景，而且布線比較麻煩，需要額外的觸發(fā)線連接各個傳感器。

3）時鐘同步協(xié)議

前面提到的PTP是一種工業(yè)上常用的協(xié)議，它的原理是讓各個網(wǎng)絡(luò)節(jié)點不斷互相交換時間信息，自動修正各自時鐘的偏差。很多高端攝像頭、激光雷達(dá)以及車載計算平臺都支持這種協(xié)議，可以讓多個設(shè)備在以太網(wǎng)上“看一樣的時間”。

這種方式相對靈活一些，不需要額外的硬件信號線，通過網(wǎng)絡(luò)就可以同步多個設(shè)備的時間。但是它也依賴網(wǎng)絡(luò)質(zhì)量，對延遲敏感。PTP的精度一般能達(dá)到微秒級甚至更好，已經(jīng)能滿足大部分自動駕駛應(yīng)用的需求。

軟件層面的時間處理

即便硬件同步做得再好，實際運行過程中仍然會有微小偏差、抖動或者不能完全精確對齊。這時就需要在軟件層面做一些補(bǔ)償，讓數(shù)據(jù)在時間上“貼得更緊”。

1）時間戳插值和對齊

當(dāng)你有兩種傳感器的時間戳數(shù)據(jù)時，可以通過模型預(yù)測或者線性插值得到某一時刻的估計數(shù)據(jù)。如某一時刻圖像和前后兩次激光雷達(dá)數(shù)據(jù)的時間戳都已知，可以根據(jù)時間線性插值得到這個時刻激光雷達(dá)的估計點云。這種方法是根據(jù)已知的時間關(guān)系填補(bǔ)時間空檔，讓數(shù)據(jù)在時間線上更一致。

這一技術(shù)的核心是做時間差分析，然后用數(shù)學(xué)方法彌補(bǔ)偏差。雖然不能完全消除硬件時間偏差，但在很多實際場景里已經(jīng)足夠用。因為自動駕駛系統(tǒng)的算法模塊一般會有一定的容忍度，只要誤差在可控范圍內(nèi)，就不會影響整體感知和決策結(jié)果。

2）軟件同步模塊

在實際軟件棧中，比如ROS（機(jī)器人操作系統(tǒng)）或是某些車載平臺，會提供同步模塊。這些模塊會把不同傳感器的消息訂閱進(jìn)來，然后按照一定的時間窗口進(jìn)行匹配。如ROS里有message_filters包，可以設(shè)置一個時間容忍區(qū)間，把攝像頭和激光雷達(dá)的數(shù)據(jù)按照時間戳進(jìn)行對齊匹配。這樣，只有符合時間要求的數(shù)據(jù)對才會被送去處理。雖然這種方法不完美，但在缺乏硬件同步的情況下，依舊是比較實用的辦法。很多開源項目也采用這種方式去實現(xiàn)不同傳感器的粗同步。

3）在線時間偏差補(bǔ)償

還有更高級的做法就做在線時鐘偏差估計，通過卡爾曼濾波或其他濾波算法來估計實時的時間漂移，然后動態(tài)調(diào)整時間戳。這種方式需要在軟件層面不斷監(jiān)測傳感器時鐘的漂移情況，實時計算補(bǔ)償值。這種算法的好處在于能自適應(yīng)不同的時間漂移情況，缺點是對計算資源的需求更高一些，而且實現(xiàn)起來也有一定復(fù)雜度。

時間同步要面對的現(xiàn)實挑戰(zhàn)

時間同步聽起來只是將傳感器之間的時間統(tǒng)一，可通過硬件和軟件的方式來時間，但在實際落地時，依然有很多問題需要解決。

不同傳感器本身的采集機(jī)制不一樣。激光雷達(dá)的點云數(shù)據(jù)是掃描得到的，有內(nèi)部時間分布；攝像頭的曝光是一瞬間的；其他像IMU這種傳感器則是以非常高的頻率輸出數(shù)據(jù)。這就要求時間同步系統(tǒng)要處理的不僅僅是兩個不同數(shù)據(jù)幀的時間戳，還要理解它們內(nèi)部數(shù)據(jù)生成的時間結(jié)構(gòu)。此外，還有些傳感器可能根本提供不了精確的時間戳，或者時間戳只能由主機(jī)采集，這樣就更難統(tǒng)一時間。

即便有統(tǒng)一時鐘源，如果網(wǎng)絡(luò)延遲不穩(wěn)定，各個設(shè)備接收到時間信號的延遲也是不一樣的，這會導(dǎo)致時間同步協(xié)議在微觀時間尺度上的偏差。網(wǎng)絡(luò)抖動、車載計算平臺系統(tǒng)負(fù)載變化等因素都會影響時間同步的精度。協(xié)議要處理這些不確定性，需要在底層實現(xiàn)大量時間補(bǔ)償機(jī)制。

有些自動駕駛系統(tǒng)的不同傳感器還有不同幀率，那如何對齊這些不同頻率的數(shù)據(jù)也是一大技術(shù)問題。通常需要設(shè)計復(fù)雜的匹配策略，保證時間線上的數(shù)據(jù)不丟失，也不會產(chǎn)生誤匹配。

最后的話

時間同步在自動駕駛里確實是一個看似簡單但實際很關(guān)鍵的問題。它要求硬件和軟件協(xié)作，從源頭上統(tǒng)一傳感器時間基準(zhǔn)，通過時間戳、觸發(fā)信號、協(xié)議機(jī)制來讓不同傳感器的數(shù)據(jù)都能在同一個時間線上對齊。然后再通過軟件算法進(jìn)行進(jìn)一步的補(bǔ)償和對齊，讓后續(xù)的融合算法（比如目標(biāo)檢測、定位、追蹤）能有更高質(zhì)量的數(shù)據(jù)輸入。

只要做到時間同步，激光雷達(dá)和攝像頭的數(shù)據(jù)就能被更準(zhǔn)確地融合，自動駕駛系統(tǒng)能更真實、更一致地“理解”周圍世界，也就能更安全、更可靠地做出駕駛決策。