描述

立體視覺是通過從稍微不同的角度比較兩個圖像來推斷深度。有許多局部和全局算法用于獲得實(shí)時立體深度圖。

然而，立體聲的計(jì)算要求會根據(jù)分辨率呈指數(shù)增長。在深入研究立體視覺的實(shí)現(xiàn)之前，需要一個立體相機(jī)設(shè)置！

本系列將記錄如何從頭開始構(gòu)建立體相機(jī)設(shè)置。下一步將是嘗試立體算法

該項(xiàng)目將概述用于 ZYNQ FPGA SOC 的立體相機(jī)平臺的設(shè)計(jì)。ZC702 開發(fā)板將用作主 SOC，但該設(shè)計(jì)可以輕松移植到任何帶有 FMC 連接器的板上，該連接器為相機(jī)使用適當(dāng)?shù)碾妷?CMOS 電平。項(xiàng)目的第一部分詳細(xì)介紹了立體平臺設(shè)置的硬件設(shè)計(jì)設(shè)置和 Vivado FPGA 設(shè)計(jì)

?

在這種情況下，通過將兩個圖像源保持在相同的基線，設(shè)計(jì)將大大簡化。

兩個相機(jī)的每個對應(yīng)特征都應(yīng)該在同一級別。這稱為整改。為了簡化整改過程，兩個攝像頭將并排放置。

硬件

本項(xiàng)目的硬件部分由一塊ZC702開發(fā)板、兩塊OV5640攝像頭和一塊Stereo FMC板組成。

ZC702

該開發(fā)板包含一個 ZYNQ7000 XC7020。它與 PYNQ 和 Zedboard 上使用的芯片組相同，因此可以很容易地將設(shè)計(jì)移植到這些開發(fā)板上。

ZC702開發(fā)板包含XC7020 FPGA SOC。該開發(fā)板具有兩個 LPC（低引腳數(shù)）FMC（FPGA 夾層卡）連接器，可將多個引腳引出到外部世界。

默認(rèn)情況下，這些引腳設(shè)置為在 2.8V 邏輯電平下運(yùn)行。

?

DVP OV5640 攝像機(jī)

對于這個項(xiàng)目，我選擇了 DVP 攝像機(jī)，因?yàn)樗鼈兒苋菀撰@得。此設(shè)置允許測試立體聲算法。

立體聲 FMC 卡的原理圖如下所示。

?

?

立體聲 FMC 插入 ZC702 板的兩個 LPC FMC 母插座之一。它兼容 20 針和 22 針 DVP 攝像頭模塊，例如 OV5640、OV7670、OV2640 等。Raspberry PI 攝像頭 V1 包含一個配置有 MIPI-CSI 接口的 OV5640 傳感器。

?

?

。

?

。

?

?

?

?

VDMA

VDMA 配置為三緩沖模式。與使用單個緩沖區(qū)的情況不同，這有助于防止撕裂偽影。由于混合器 AXI4-Stream 數(shù)據(jù)總線的輸出長度為 24bit（每種顏色 8 位），因此流數(shù)據(jù)寬度配置為 24bits。行緩沖區(qū)寬度至少應(yīng)為掃描線寬度的大小。在這種情況下，對于 1280x720p 分辨率，使用了 2048 的緩沖區(qū)深度。

?

。有趣的是，IP 使用的是第 4 版，但 SDK 驅(qū)動程序使用的是第 5 版。關(guān)于此 IP，有幾個重要的注意事項(xiàng)。它需要外部重置，用戶指南中沒有明確提及。

SDK 驅(qū)動程序也有點(diǎn)錯誤，因此必須修改底層 BSP 驅(qū)動程序才能獲得工作設(shè)置。

?

VTC 配置為生成模式，分辨率為 1280x720p。

HDMI流水線

第二個版本實(shí)現(xiàn)了使用板載 HDMI 解碼器的管道。在這種情況下，必須通過使用 RGB 到 YCbCr 色度 IP (RGB -> YUV444) 來實(shí)現(xiàn)色彩空間轉(zhuǎn)換，然后將色度分量從 YUV444 重新采樣到 YUV422。

攝像頭配置

該 FMC 的主要優(yōu)點(diǎn)是您可以使用不同的 DVP 攝像頭（OV7670、OV2640、OV5640），甚至可以使用兩個具有 MIPI-CSI 接口的 Raspberry Pi V1 攝像頭。

作為圖像傳感器，使用了 OV5640 DVP 相機(jī)傳感器。主要原因是在通常的網(wǎng)站上可以找到幾乎開源的配置代碼。

由于攝像機(jī)使用 SCCB（I2C 的克?。┻M(jìn)行配置。要配置兩臺攝像機(jī)，通常一個會使用多路復(fù)用器。但是，此 FMC 卡使用為每個攝像機(jī)分配的單獨(dú)引腳。

時鐘同步

在立體設(shè)置中，同步是處理 DVP 圖像傳感器時出現(xiàn)的另一個問題。每個傳感器都有一個主時鐘 (XCLK)。這個時鐘決定了像素輸出時鐘，但對于這些相機(jī)的 VGA 分辨率，它通常在 24Mhz 左右。

為了避免 FPGA 上出現(xiàn)額外的同步問題，F(xiàn)MC 被配置為向兩個相機(jī)提供相同的 XCLK。如果不是這種情況，則必須使用 FIFO 并手動確定從一臺攝像機(jī)到另一臺攝像機(jī)的延遲時間。

該設(shè)計(jì)由 Vivado 框圖和 SDK (Vitis) 裸機(jī)固件組成。

?

?

利用率和時間

?

。。該設(shè)計(jì)用作在 FPGA 上實(shí)現(xiàn)立體聲算法的測試平臺。