導讀

精準搜集車輛傳感器的實時數據是ADAS系統(tǒng)穩(wěn)定運行的關鍵所在。友思特 proFRAME 系統(tǒng)可以同步采集輸入數據流并輸出處理，成為車載全景環(huán)視相機從圖像采集至分析結果輸出存儲的高效閉環(huán)方案。

proFRAME 車載圖像采集與回放系統(tǒng)

ADAS系統(tǒng)如交通標志識別、車道輔助、停車輔助和自動駕駛（AD）等功能，需要高效、精準地收集車輛傳感器的實時數據，特別是來自嵌入式攝像頭的視頻數據，這些功能的驗證需要同步捕獲各個攝像頭的視頻流，添加相應的時間戳并存儲，然后在硬件在環(huán)測試（HIL）中將這些駕駛場景回放到驗證 ADAS/AD ECU中。

針對上述內容，proFRAME提供了完美的解決方案。

全景環(huán)視的多相機數據流包含相應的高精度時間戳，proFRAME 提供了 bypass 功能（Tap模式），使得數據流可以同步采集輸入和輸出處理，通過 ATX4 高性能車載服務器/BRICK2 數采平臺，對數據進行存儲、圖像處理、分析，實現(xiàn)車載全景環(huán)視相機圖像采集至分析結果輸出存儲的完整閉環(huán)。

方案特點

同步捕獲各個相機的視頻流并添加響應時間戳進行存儲；

同步錄制多達8個4K視頻流（包括邊帶通信I2C），并可通過外部觸發(fā)線與其他記錄設備或傳感器同步；

proFRAME系統(tǒng)在HIL中能夠基于錄制過程中的時間戳精準同步地回放駕駛場景；

兼容市面上常見的串行器播放視頻流，回放根據單圖像幀時間戳信息或外部觸發(fā)進行；

支持ROS或ADTF的HIL系統(tǒng)，提供API實現(xiàn)proFRAME與HIL系統(tǒng)的快速集成。

靈活切換的工作模式及其應用

友思特 proFRAME 板卡有三種工作模式，通過加載不同的固件來切換，從而滿足不同場景下的應用需求。

Capture模式（采集）

板卡處于Capture模式時，可以同時獲取最多8個相機的視頻流。

對于每一個相機視頻流的獲取鏈路如下：

前端的GMSL/FPD-Link相機的CMOS圖像傳感器捕獲光信號并轉換為電信號，生成原始圖像數據。

原始圖像數據在相機內部經過處理（如去噪、增益、色彩校正等）后通過相機的串行芯片進行串行化，轉為CSI-2標準的數據格式，通過同軸線纜（Coax）傳輸到板卡。

在板卡上，接收到的數據通過相機適配器的解串芯片進行解碼，將串行數據流恢復成并行的CSI-2圖像數據格式，傳送至板卡的FPGA模塊進行處理。

除了圖像數據，相機的控制信號指令（如I2C和GPIO）也通過同軸線纜傳輸。I2C用于設備間的通信，包括配置相機的工作參數（如曝光、增益調整等），GPIO用于控制相機的行為（如相機的啟停、觸發(fā)拍攝等）。板卡也支持通過同軸線纜給相機供電（PoC）。

板卡通過PCIe（x8 Gen3）接口跟主機通信，基于proFRAME配套的API、Lib和驅動，實現(xiàn)了后續(xù)客戶端應用的集成，包括ROS或ADTF應用。

Replay模式（回放）

板卡處于Replay模式時，可以同時回放最多4個視頻流。

對于每一個視頻流的回放鏈路如下：

主機客戶端應用輸出的視頻流通過PCIe接口傳輸到板卡，通過板卡的FPGA模塊進行預處理，轉為CSI-2圖像數據格式。

并行的CSI-2圖像數據在相機適配器的串行芯片進行串行化，通過切換不同的相機適配器，以GMSL或FPD-Link串行接口標準輸出。

圖像數據通過同軸線纜傳輸到前端的ECU設備進行解串，恢復成并行圖像數據，用于可視化或其他調試處理目的。也可以使用另一塊proFRAME板卡來重新采集捕獲回放的視頻流。

TAP模式（旁通、邊采集邊回放/記錄）

板卡處于TAP模式時，可以同時分別采集和輸出最多各4個視頻流。

對于每一個視頻流，采集的數據攜帶ns級別的高精度時間戳，采集到的數據同時分出兩路，一路通過PCIe傳到主機，一路通過另外的通道輸出，實現(xiàn)視頻流的實時采集和回放。具體的數據傳輸鏈路如下：

前端的GMSL/FPD-Link相機的CMOS圖像傳感器捕獲光信號并轉換為電信號，生成原始圖像數據。

原始圖像數據在相機內部經過處理（如去噪、增益、色彩校正等）后通過相機的串行芯片進行串行化，轉為CSI-2標準的數據格式，通過同軸線纜（Coax）傳輸到板卡。

在板卡上，接收到的數據通過相機適配器的解串芯片進行解碼，將串行數據流恢復成并行的CSI-2圖像數據格式，傳送至板卡的FPGA模塊進行處理。

除了圖像數據，相機的控制信號指令（如I2C和GPIO）也通過同軸線纜傳輸。I2C用于設備間的通信，包括配置相機的工作參數（如曝光、增益調整等），GPIO用于控制相機的行為（如相機的啟停、觸發(fā)拍攝等）。板卡也支持通過同軸線纜給相機供電（PoC）。

圖像數據經由板卡的FPGA模塊，同步分出兩路數據，一路數據經由PCIe（x8 Gen3）接口傳輸到主機的客戶端應用；一路數據重新經過相機適配器的串行化芯片進行串行輸出，通過同軸線纜傳輸到前端的ECU設備進行解串，恢復成并行圖像數據，用于可視化或其他調試處理目的。

友思特 proFRAME 系統(tǒng)方案

proFRAME Base Board 3.0 CompactPCI

第三代 proFRAME 基板以CompactPCI?串行（CPCI-S.0）形式首次亮相，其數據速率是其前代產品的四倍，可支持最先進的汽車攝像頭。該基板基于 AMD Zynq? UltraScale+ ? ZU4CG MPSoC 構建，可為其每個新型相機適配器接口提供高達 40 Gbit/s 的數據傳輸速率。

proFRAME Base Board 3.0 PCIe

具備CompactPCI?串行版本的所有高級功能，但作為常規(guī)PC系統(tǒng)的PCI Express?板均能實現(xiàn)。與新的camAD3相機適配器系列完全兼容。

了解更多？歡迎訪問官網，探索豐富案例：https://viewsitec.com/proframe-grabber/

關注友思特機器視覺與光電公眾號、加入行業(yè)交流群或直接聯(lián)系我們，輕松收獲更多技術干貨

審核編輯 黃宇