作者：Paul Zorati，賽靈思公司汽車電子部駕駛員輔助高級(jí)系統(tǒng)架構(gòu)師

　　過去五年來，汽車產(chǎn)業(yè)在駕駛員輔助 （DA） 系統(tǒng)方面取得了顯著進(jìn)步，在切實(shí)豐富駕駛體驗(yàn)的同時(shí)，為駕駛員提供了寶貴的周邊路況信息。本文著眼于如何運(yùn)用 FPGA 迅速將最新駕駛員輔助創(chuàng)新技術(shù)推向市場(chǎng)。

　　駕駛員輔助技術(shù)介紹

　　自上個(gè)世紀(jì) 90 年代早期以來，高級(jí) DA 系統(tǒng)開發(fā)人員一直在為實(shí)現(xiàn)更安全、更舒適的駕駛體驗(yàn)而努力。過去二十年里，超聲停車輔助、自適應(yīng)巡航控制、車道偏離警告系統(tǒng)等 DA 功能已在高端汽車中得到部署和采用。

　　近來，汽車制造商新增了后視攝像頭、盲點(diǎn)檢測(cè)和環(huán)視系統(tǒng)等選項(xiàng)。除超聲停車輔助功能外，DA 系統(tǒng)的應(yīng)用量仍然有限。但據(jù)市場(chǎng)調(diào)研公司 Strategy Analytics 預(yù)測(cè) DA 系統(tǒng)的應(yīng)用將在未來十年出現(xiàn)顯著增長。

　　除了政府立法因素和消費(fèi)者對(duì)安全功能的強(qiáng)烈關(guān)注，遠(yuǎn)程傳感器和用于提取和解讀關(guān)鍵信息的相關(guān)處理算法的創(chuàng)新，也在促進(jìn) DA 系統(tǒng)應(yīng)用的增長。隨著時(shí)間的推移，這些 DA 系統(tǒng)將變得更加復(fù)雜，并且從高端車輛進(jìn)入主流車輛，而 FPGA 處理功能將扮演主要角色。

　　駕駛員輔助傳感技術(shù)發(fā)展趨勢(shì)

　　傳感器研發(fā)人員借毗鄰市場(chǎng)（如手機(jī)攝像頭）的他山之玉，開發(fā)出了不僅能用于汽車環(huán)境，還能滿足嚴(yán)格成本控制的器件。無獨(dú)有偶，開發(fā)人員使用基于 PC 的工具對(duì)復(fù)雜處理算法進(jìn)行了優(yōu)化，并將其移植到嵌入式平臺(tái)上。

　　雖然超聲傳感技術(shù)一直主導(dǎo)市場(chǎng)，IMS Research 研究機(jī)構(gòu)（圖 1）認(rèn)為未來幾年將是攝像頭傳感器的天下。

　　攝像頭傳感器的獨(dú)特之處就是能夠同時(shí)提供原始輸出和經(jīng)過處理的輸出。來自攝像頭的原始視頻可直接顯示給駕駛員，用于確認(rèn)和評(píng)估危險(xiǎn)狀態(tài)，這是其它類型的遠(yuǎn)程傳感器無法企及的（比如雷達(dá)） 。

　　另外（或者說同時(shí)） ，視頻輸出可使用圖像分析功能進(jìn)行處理，提取關(guān)鍵信息，比如行人的位置和運(yùn)動(dòng)。開發(fā)人員還可在一組攝像頭的基礎(chǔ)上集成多種消費(fèi)功能，擴(kuò)大這種攝像頭傳感器數(shù)據(jù)的 “雙重用途” ，如圖 2 所示。

　　從這些應(yīng)用，我們可以總結(jié)出一些關(guān)于適用于基于攝像頭的 DA 系統(tǒng)的處理平臺(tái)的要求：

　　? 它們必須同時(shí)支持視頻處理和圖像處理。

　　? 其中視頻處理指的是正確處理原始攝像頭數(shù)據(jù)，并顯示給駕駛員；圖像處理指運(yùn)用分析功能從視頻流中提取信息（例如運(yùn)動(dòng)） 。

　　? 它們必須為并發(fā)功能相關(guān)的算法提供并行數(shù)據(jù)路徑。

　　? 鑒于眾多新功能要求百萬像素級(jí)圖像分辨率，連接功能和存儲(chǔ)器帶寬與原始處理能力同等重要。

　　滿足 DA 處理平臺(tái)要求

　　FPGA 能夠很好地滿足 DA 處理平臺(tái)的要求。例如，在集成有車尾盲點(diǎn)警告功能的寬視野單攝像頭系統(tǒng)中，DA 系統(tǒng)旨在校正車后區(qū)域的圖像畸變，提供正確的圖像。另外，目標(biāo)檢測(cè)算法和動(dòng)作估算算法可以在目標(biāo)從側(cè)面進(jìn)入預(yù)計(jì)的車輛路徑時(shí)生成音頻警告。

　　圖3 顯示了攝像頭信號(hào)如何在視頻處理功能和圖像處理功能之間分配。執(zhí)行這些功能的原始處理能力會(huì)很快超過串行數(shù)字信號(hào)處理器 （DSP） 所具備的能力。并行處理配合硬件加速是一款可行的解決方案。

　　FPGA 為解決各種處理策略提供高度靈活的架構(gòu)。在 FPGA 邏輯中，將攝像頭信號(hào)分別饋給到彼此獨(dú)立的視頻處理和圖像處理 IP 模塊是一件簡(jiǎn)單的事情。與必須在各項(xiàng)功能之間時(shí)分復(fù)用資源的串行處理實(shí)現(xiàn)方案不同，F(xiàn)PGA 能夠獨(dú)立運(yùn)行處理模塊以及為處理模塊提供時(shí)鐘。

　　另外，如果有必要修改處理架構(gòu)，F(xiàn)PGA 能夠重新編程硬件模塊。這是采用專用標(biāo)準(zhǔn)產(chǎn)品 （ASSP） 以及專用集成電路 （ASIC） 的解決方案所無法企及的，因此 ， 在可預(yù)期的未來，基于 FPGA 的方案向高級(jí)算法發(fā)展時(shí)具有明顯優(yōu)勢(shì)。對(duì)于計(jì)算密集型處理，F(xiàn)PGA 器件（諸如最新推出的 XA Spartan?-6 FPGA 汽車系列）可提供多達(dá) 180 個(gè)帶預(yù)加法器的乘法累加器 （MACC）。

　　FPGA 實(shí)現(xiàn)方案的另一大優(yōu)勢(shì)就是器件可擴(kuò)展性。由于 OEM 廠商期望集成更多功能，處理需求會(huì)增加。例如，后視攝像頭可能需要采用單目測(cè)距算法，為駕駛員提供目標(biāo)距離信息。這項(xiàng)新增功能要求另一條并行處理路徑。在專用 ASIC 或 ASSP 中實(shí)現(xiàn)上述擴(kuò)展即便不是不可能，但也會(huì)帶來麻煩，除非設(shè)計(jì)人員提前為這種擴(kuò)展采取預(yù)防措施。

　　如果試圖在串行DSP上實(shí)現(xiàn)此項(xiàng)功能，就需要對(duì)軟件設(shè)計(jì)進(jìn)行徹底的重新架構(gòu)，即便是移植到功能更強(qiáng)大的DSP系列器件之后也是如此（如果可以）。

　　相比之下，基于 FPGA 的實(shí)現(xiàn)方案可以添加新的功能模塊，充分利用此前尚未使用的 FPGA 邏輯，同時(shí)基本不影響現(xiàn)有模塊。即便新功能要求的資源多于原始器件上所能提供的，部件/封裝組合也一般能支持移植到密度更大的器件（即擁有更多處理資源的器件），無需重新設(shè)計(jì)電路板或現(xiàn)有的 IP 模塊。

　　最后，F(xiàn)PGA 的可重編程性能夠讓相互排斥的 DA 功能重復(fù)使用同一芯片。以后視攝像頭為例，當(dāng)車輛倒車時(shí)，其功能非常有用，不過采用基于FPGA 的系統(tǒng)在車輛向前行駛時(shí)也可以使用同一傳感器和處理電子設(shè)備，比如盲點(diǎn)探測(cè)功能。

　　在該應(yīng)用中，系統(tǒng)通過分析攝像頭圖像來判斷被探測(cè)目標(biāo)的位置和相對(duì)運(yùn)動(dòng)。由于這項(xiàng)功能及其相關(guān)處理功能與倒車時(shí)需要的功能不同，不需要同時(shí)處理，系統(tǒng)可以根據(jù)車輛的狀態(tài)，在數(shù)百微秒時(shí)間內(nèi)重新配置 FPGA 邏輯。這樣就可以用很少的費(fèi)用完全重用FPGA，以提供完全不同的功能。

　　滿足 DA 外部存儲(chǔ)器帶寬要求

　　除了原始處理性能，采用攝像頭的 DA 應(yīng)用要求較高的外部存儲(chǔ)器訪問帶寬。支持集中處理的多攝像頭系統(tǒng)（如四攝像頭環(huán)視系統(tǒng)）對(duì)此要求最為嚴(yán)苛。假定圖像大小為 4 百萬像素（1，280x960），色彩處理為 24 位，性能為每秒30幀 （FPS），將圖像存儲(chǔ)在外部緩沖區(qū)中則要求 3.6Gb/s 的內(nèi)存訪問帶寬。如果需要同時(shí)讀取和寫入圖像，則要求內(nèi)存訪問帶寬翻倍到 7.2Gb/s。在 80% 讀/寫突發(fā)效率下，則要求內(nèi)存訪問帶寬提高到 8.5電路Gb/s。該估算還不包括其它暫時(shí)存儲(chǔ)或代碼訪問需求。有這樣的要求，很明顯基于攝像頭的 DA 應(yīng)用屬于內(nèi)存超帶寬應(yīng)用。

　　這些系統(tǒng)也通常需要存儲(chǔ)器控制器；但要低成本地添加一個(gè)存儲(chǔ)器控制器，要求高效率的系統(tǒng)級(jí)設(shè)計(jì)。開發(fā)人員再度可以借助 FPGA 的靈活性來滿足這一要求。XA Spartan-6 提供兩種硬化的存儲(chǔ)器控制器模塊 （MCB） 供設(shè)計(jì)人員配置 4 位、8位或 16 位 DDR、DDR2、DDR3 或 LPDDR 存儲(chǔ)器接口。設(shè)計(jì)人員可為 MCB 配備高達(dá) 400MHz 的時(shí)鐘，為 16 位寬度存儲(chǔ)器器件提供 12.8Gb/s 的內(nèi)存訪問帶寬。另外，如果采用兩個(gè) MCB，原始帶寬就倍增至 25.6Gb/s。兩個(gè) MCB 既可獨(dú)立工作，也可通過 FPGA 邏輯協(xié)同工作，提供 32 位虛擬數(shù)據(jù)帶寬。

　　總而言之，F(xiàn)PGA 存儲(chǔ)器控制器可提供定制的外部存儲(chǔ)器接口設(shè)計(jì)選項(xiàng)，以滿足 DA 帶寬需求并優(yōu)化各個(gè)成本組成部分（存儲(chǔ)器器件類型、PCB 層數(shù)等）。

　　DA 圖像處理對(duì)片上存儲(chǔ)器資源的需求

　　除了外部存儲(chǔ)器需求，基于攝像頭的 DA 處理還能受益于片上存儲(chǔ)器。片上存儲(chǔ)器可用作線路緩沖器，來處理流視頻或分析圖像數(shù)據(jù)模塊。拜耳轉(zhuǎn)換、透鏡畸變校正、光學(xué)流運(yùn)動(dòng)分析均為要求視頻線路緩沖器的功能示例。出于簡(jiǎn)單的定量分析目的，已檢驗(yàn)使用 12 位像素拜耳圖形強(qiáng)度信息生成 24 位顏色數(shù)據(jù)的拜耳轉(zhuǎn)換功能。原始流視頻處理采用雙三次插值處理，要求緩沖四線路圖像數(shù)據(jù)。將 12 位密度數(shù)據(jù)打包到 16 位的單元上，需要每線提供約 20.5kb 的存儲(chǔ)容量，或者為四線路數(shù)據(jù)供提供 82kb 的存儲(chǔ)空間。

　　FPGA 以 Block RAM 的形式提供片上存儲(chǔ)器資源。XA Spartan-6 系列提高了 Block RAM 邏輯比，用以支持圖像處理需求。XA Spartan-6 能夠提供容量介于 216kb 到 4.7Mb 之間的 Block RAM 存儲(chǔ)器。該存儲(chǔ)器采用時(shí)鐘速率為 320MHz 、容量為 18kb 的雙端口模塊構(gòu)建而成。

　　通過高速串行接口傳輸視頻數(shù)據(jù)

　　另一個(gè) DA 處理平臺(tái)問題與遠(yuǎn)程安裝的攝像頭和中央處理模塊或顯示模塊之間的視頻數(shù)據(jù)傳輸息息相關(guān)。當(dāng)今大部分?jǐn)z像頭裝置主要依賴模擬復(fù)合視頻傳輸（例如NTSC） 。但這種方法給高級(jí) DA 系統(tǒng)帶來了幾大問題。場(chǎng)交錯(cuò)會(huì)降低目標(biāo)識(shí)別和運(yùn)動(dòng)估算算法的效果；模擬信號(hào)易于受電氣噪聲的影響，從而劣化圖像質(zhì)量；隨著數(shù)字成像器的出現(xiàn)，復(fù)合視頻 （CVBS） 格式的轉(zhuǎn)換還會(huì)造成不必要的系統(tǒng)成本。

　　首選方法是使用數(shù)字傳輸機(jī)制。并行傳輸 12 位數(shù)據(jù)會(huì)造成線纜和接頭成本不菲，因此考慮采用低壓差分信號(hào) （LVDS） 或以太網(wǎng)技術(shù)的串行方案。串行化像素?cái)?shù)據(jù)要求使用帶高速接口的器件。12 位像素深度的 30FPS 百萬像素成像器每秒可以生成 500Mb 以上的數(shù)據(jù)。

　　XA Spartan-6 器件提供的差分 I/O 能夠以超過 1Gb/s 的速率運(yùn)行。該系列的幾個(gè)產(chǎn)品還提供時(shí)鐘速率高于 3Gb/s 的串行收發(fā)器。可以將這些高速 I/O 功能與 FPGA 邏輯相結(jié)合，用于在 FPGA 器件自身內(nèi)部實(shí)現(xiàn)新興的 LVDS SerDes 信號(hào)協(xié)議，從而減少外部組件，降低系統(tǒng)成本。

　　并行和串行 DA 處理的功能分區(qū)

　　以支持車尾盲點(diǎn)警告功能的單攝像頭系統(tǒng)為例，很明顯，雖然車尾盲點(diǎn)警告是一個(gè)串行決策流程，但視頻和圖像處理功能均受益于并行處理和硬件加速技術(shù)。故一個(gè)能夠同時(shí)支持兩種類型的處理的平臺(tái)具有明顯優(yōu)勢(shì)。

　　賽靈思的 FPGA 支持如 XA Spartan-6 器件中提供的 MicroBlazeTM 32 位 RISC 嵌入式處理器這樣的軟處理器的實(shí)例化。將全功能處理器與 FPGA 邏輯相結(jié)合，可以實(shí)現(xiàn)理想的功能分區(qū)，即將受益于并行處理或硬件加速的功能實(shí)現(xiàn)在 FPGA 邏輯中，而將更適合串行處理的功能實(shí)現(xiàn)在軟件中，由 MicroBlaze 處理器負(fù)責(zé)執(zhí)行。雖然 MicroBlaze處理器能夠支持片上系統(tǒng) （SoC） 架構(gòu)，但賽靈思 7 系列器件中的可擴(kuò)展處理平臺(tái)仍采用了硬化的 ARM? 雙核 CortexTM-A9 處理器以及一組硬化的外設(shè)。賽靈思 7 系列器件針對(duì)的是最為復(fù)雜的 DA 系統(tǒng)。

　　結(jié)論

　　從事 DA 處理平臺(tái)設(shè)計(jì)的系統(tǒng)設(shè)計(jì)人員必須考慮架構(gòu)的靈活性、平臺(tái)的可擴(kuò)展性、外部存儲(chǔ)器帶寬、片上存儲(chǔ)器資源、高速串行接口和并行 / 串行處理分區(qū)。最大的難題在于要在滿足這些要求和保持有競(jìng)爭(zhēng)力優(yōu)勢(shì)的產(chǎn)品成本結(jié)構(gòu)之間實(shí)現(xiàn)最佳平衡。要實(shí)現(xiàn)此目的，F(xiàn)PGA 技術(shù)是標(biāo)準(zhǔn) ASSP 和 ASIC 方法可行的替代方案。尤其是 XA Spartan-6 系列的資源屬性為滿足 DA 處理平臺(tái)的要求提供了獨(dú)特的選項(xiàng)和功能。隨著當(dāng)今的 FPGA 普遍采用 40nm 工藝節(jié)點(diǎn)以及 7 系列器件升級(jí)到 28nm 工藝，其作為DA 處理平臺(tái)的競(jìng)爭(zhēng)優(yōu)勢(shì)必定在不久的將來大放異彩。如欲了解有關(guān)XA Spartan-6系列及其優(yōu)勢(shì)，敬請(qǐng)問：www.xilinx.com/cn/xas6。