引言

SOPC是Altera公司提出的片上可編程系統(tǒng)解決方案，它將CPU、存儲(chǔ)器、I/O接口、DSP模塊以及鎖相環(huán)的系統(tǒng)設(shè)計(jì)所必需的模塊集成到一塊FPGA上，構(gòu)成一個(gè)可編程的片上系統(tǒng)，使設(shè)計(jì)的電路在其規(guī)模、可靠性、體積、功耗、功能、上市周期、開(kāi)發(fā)周期、產(chǎn)品維護(hù)以及硬件升級(jí)等多方面實(shí)現(xiàn)最優(yōu)化。

目前在Altera SOPC“》SOPC Builder下集成了包括UART、SPI、Ethernet、SDRAM、Flash、DMA 等控制器的IP核。此外，用戶也可以根據(jù)系統(tǒng)的需要自己設(shè)計(jì)或者購(gòu)買(mǎi)第三方廠商的IP核，通過(guò)Avalon總線像搭積木一樣方便地將其捆綁在系統(tǒng)上。IP 核是經(jīng)過(guò)功能驗(yàn)證的知識(shí)產(chǎn)權(quán)核，使用IP 核有以下優(yōu)勢(shì)：（1）提高設(shè)計(jì)性能；（2）降低產(chǎn)品開(kāi)發(fā)成本；（3）縮短設(shè)計(jì)周期；（4）設(shè)計(jì)靈活性強(qiáng)；（5）仿真方便；（6） OpenCore Plus 支持無(wú)風(fēng)險(xiǎn)應(yīng)用。

當(dāng)然本論文所說(shuō)的IP 核功能沒(méi)有那么豐富，實(shí)際上就是一個(gè)功能驗(yàn)證正確的用戶邏輯，和商業(yè)應(yīng)用的IP 核還有一定的差距。本文的主要工作就是通過(guò)硬件描述語(yǔ)言描述了視頻信號(hào)的采集，分配，存儲(chǔ)以及色度空間的轉(zhuǎn)換等邏輯，并且驗(yàn)證了功能的正確性。

1．視頻編解碼Camera_show原理

嵌入式攝像控制系統(tǒng)除了必要的電源電路以外，還要包括存儲(chǔ)電路、通信電路和下載電路等，所有的設(shè)備均與Avalon總線連接，這里主要介紹用戶邏輯接口Camera_show，它完成了模擬視頻數(shù)據(jù)轉(zhuǎn)化成數(shù)字視頻數(shù)據(jù)并在VGA上顯示的功能，主要包括模擬視頻信號(hào)的采集、分配（串并轉(zhuǎn)換電路完成）、存儲(chǔ)（存儲(chǔ)控制邏輯和片上RAM完成）和色度空間轉(zhuǎn)換。具體的功能框圖如圖1所示。

圖1 用戶邏輯Camera_show的原理框圖

2．視頻編解碼IP核Camera_Show設(shè)計(jì)

視頻編解碼IP核主要完成的功能包含視頻信號(hào)的采集、分配、存儲(chǔ)以及色度空間的轉(zhuǎn)換。模擬視頻信號(hào)經(jīng)過(guò)ADV7181B 后變成了符合ITU-R656 的YUV 數(shù)字信號(hào)，但是要對(duì)YUV 信號(hào)進(jìn)行處理必須將這三路信號(hào)分開(kāi)并行處理，所以需要采集分配這三路信號(hào)，這是2.1 的IP核需要實(shí)現(xiàn)的功能；由于模擬視頻信號(hào)是隔行掃描的，但是CRT 顯示器是逐行掃描，如果不加處理那么必然會(huì)導(dǎo)致行錯(cuò)開(kāi)，所以需要將數(shù)據(jù)進(jìn)行存儲(chǔ)，通過(guò)控制實(shí)現(xiàn)隔行變逐行，這是2.2 的IP 核需要實(shí)現(xiàn)的功能；最后經(jīng)過(guò)處理的YUV 三路數(shù)字信號(hào)，需要完成色度空間的轉(zhuǎn)換變成RGB 信號(hào)，這是2.3 的IP 核需要實(shí)現(xiàn)的功能。

2.1 YUV 信號(hào)的采集、分配

在嵌入式攝像控制系統(tǒng)中，ADV7181主要承擔(dān)著模擬攝像頭的視頻數(shù)據(jù)進(jìn)行解碼的任務(wù)，將CVBS的等模擬信號(hào)轉(zhuǎn)化成ITU-R656標(biāo)準(zhǔn)的YUV信號(hào)。圖2給出了ADV7181的功能框圖。

圖2 ADV7181功能框圖

由圖可以看到，對(duì)于輸入的CVBS 等模擬信號(hào)經(jīng)過(guò)ADV7181B芯片轉(zhuǎn)換后輸出YUV 信號(hào)，行同步信號(hào)HS， 幀同步信號(hào)VS。這些就是需要的數(shù)字視頻信號(hào)，也就解決了數(shù)字視頻源的問(wèn)題。圖2 給出了YUV 信號(hào)的組成排列方式，“FF，00，00”作為AV 信號(hào)的開(kāi)始，所以需要構(gòu)造一個(gè)檢測(cè)電路。注意到SAV 和EAV 均是FF ， 00 ， 00 開(kāi)頭但是XY 的值不一樣。根據(jù)芯片資料，XY［4］表示的是V ，即有用信號(hào)與空白信號(hào)的分界點(diǎn)，如果V=0則表示的是SAV，否則是EAV 。XY［6］是場(chǎng)信號(hào)的區(qū)分標(biāo)志。0 是奇場(chǎng)，1 是偶場(chǎng)。

模擬信號(hào)的一行是1716 個(gè)CLOCK ，有用信號(hào)是1440 個(gè)CLOCK ，在信號(hào)采集和分配的過(guò)程中，僅需對(duì)有用信號(hào)進(jìn)行采集，所以利用檢測(cè)到SAV 作為一個(gè)標(biāo)志，啟動(dòng)信號(hào)的分配過(guò)程是非常有必要的。

由于YUV 信號(hào)在模擬信號(hào)中是交織著的，所以需要一個(gè)信號(hào)選擇電路。YUV 一共是三路信號(hào)，設(shè)計(jì)一個(gè)計(jì)數(shù)器進(jìn)行選擇，計(jì)數(shù)是O和2時(shí)，是UV信號(hào)，計(jì)數(shù)是1 和3 時(shí)是Y 信號(hào)，完成的實(shí)際上是串行信號(hào)轉(zhuǎn)并行信號(hào)的過(guò)程。以上過(guò)程可以用圖3的原理框圖來(lái)表示。

圖3 YUV信號(hào)的采集、分配原理圖

在硬件描述語(yǔ)言中，完成上述過(guò)程還是比較簡(jiǎn)單的。例如檢測(cè)電路，只要描述一個(gè)移位寄存器就可以了，具體代碼如下：

wire Y_check=（（R3==8‘hff）&&（R2==8’h00）&&（R1==8‘h00））？1:0;

always@（posedge CLOCK）

begin

RR1=TD_D; RR2=Rl; RR3=R2;

end

always@（negedge CLOCK）

begin

Rl=RR1; R2=RR2; R3=RR3;

end

其中的wire 變量Y_check 就是當(dāng)檢測(cè)到FF，00，00的時(shí)候就為1的標(biāo)志。根據(jù)上文所述，區(qū)分SAV 和EAV 是根據(jù)XY［4］來(lái)決定，區(qū)分奇偶場(chǎng)是根據(jù)XY［7］來(lái)區(qū)分，所以只有隨后的信號(hào)是SAV 的時(shí)候，信號(hào)分配電路才有效，所以需要描述一段邏輯來(lái)判斷，代碼如下：

reg START，F(xiàn)ield;

always@（posedge CLOCK）begin

if（Y_check==1）

begin

START=~TD_D［4］;

Field=TD_D［6］;

end

end

START信號(hào)就是開(kāi)始信號(hào)采集、分配的標(biāo)志，只有當(dāng)TD_D=0 也就是START= 1時(shí)信號(hào)分配電路才會(huì)工作。串轉(zhuǎn)并電路代碼如下：

reg ［1:0］ COUNTER;

always@（posedge CLOCK）begin

if （！START）

COUNTER=0;

else COUNTER = COUNTER + 1;

end

reg YPix_clock;

always@（posedge CLOCK） begin

case（COUNTER）

0 ： begin Cbb=TD_D;YPix_clock=0;end

1 ： begin YY =TD_D;CCr =Crr;CCb=Cbb;YPix_clock=1;end

2 ： begin Crr=TD_D;YPix_clock=0;end

3 ： begin YY=TD_D;CCr=Crr;CCb=Cbb;YPix_clock=1;end

endcase

end

以上代碼完成了圖3的功能，輸入的信號(hào)名為T(mén)D_D，輸出的三路信號(hào)是Cbb ， YY ， Crr。注意到還有個(gè)YPix_clock，實(shí)際上是27M 的2 分頻，這個(gè)時(shí)鐘非常有用，在下面將詳細(xì)闡述。 {{分頁(yè)}}

2.2 YUV 信號(hào)的存儲(chǔ)

要將視頻信號(hào)隔行變逐行，有2 種解決方法：

第1種：將一幀的數(shù)據(jù)存儲(chǔ)下來(lái)，根據(jù)奇偶場(chǎng)的不同（區(qū)分可以根據(jù)XY［7］），在寫(xiě)周期的時(shí)候，因?yàn)槠鎴?chǎng)的行之間有偶場(chǎng)的信號(hào)，所以寫(xiě)數(shù)據(jù)的時(shí)候需要跳地址寫(xiě)，根據(jù)行同步信號(hào)（或者SAV也可以）來(lái)區(qū)分行，換行的時(shí)候地址要加額外的720（用來(lái)存放夾雜在奇場(chǎng)信號(hào)中的偶場(chǎng)信號(hào)），直到出現(xiàn)偶場(chǎng)信號(hào)（也就是XY［6］=1）地址切換為初始基地址加720，其余的同奇行的處理方法，具體的地址分配表參照?qǐng)D4。

圖 4 地址分配表

在讀周期只需要按照順序讀出就可以了，需要注意的是寫(xiě)時(shí)鐘是13.5M，讀時(shí)鐘是27M，而且對(duì)于Y、U、V信號(hào)要進(jìn)行分別存儲(chǔ)。

第2種：將一行的數(shù)據(jù)存儲(chǔ)下來(lái)，因?yàn)?716 個(gè)時(shí)鐘周期剛好等于VGA 兩行的時(shí)間，所以在這段時(shí)間里可以將7加個(gè)有效視頻信號(hào)讀取2遍，以奇行的信號(hào)去取代偶行的信號(hào)，達(dá)到隔行變逐行的目的。在實(shí)現(xiàn)上只要是兩個(gè)RAM塊進(jìn)行乒乓操作就可以了，具體在后文闡述。

比較兩種實(shí)現(xiàn)方法，方法1的優(yōu)點(diǎn)在于圖像沒(méi)有失真，即奇偶行信號(hào)依舊相間在一起，方法2 卻不能做到這一點(diǎn)，而且方法1 也可以通過(guò)乒乓方式提高運(yùn)行的速度，但是由于讀寫(xiě)時(shí)鐘的不同步，每個(gè)存儲(chǔ)空間應(yīng)當(dāng)讀2遍。方法2也是讀2遍，但是是每行讀2遍，方法1是一幀數(shù)據(jù)讀2遍。

方法1的缺點(diǎn)在于存儲(chǔ)的數(shù)據(jù)量太大。一幀數(shù)據(jù)僅Y分量就是8bit*720*525 =3024000bit = 378KB，這個(gè)數(shù)據(jù)是不適合在SRAM中操作的，需要使用SDRAM，而操作SDRAM 是比較復(fù)雜的，所以一般考慮使用方法2，因?yàn)樗枰苄〉目臻g，而且可以利用FPGA的片內(nèi)資源就可以實(shí)現(xiàn)。當(dāng)圖像數(shù)據(jù)傳輸很快的時(shí)候，人眼基本上是分不清奇偶場(chǎng)信號(hào)的，所以方法2是可行的。在講方法2之前，需要了解在流水線操作中經(jīng)常使用的乒乓操作，這是可編程邏輯常用的設(shè)計(jì)思想和技巧。乒乓操作常常應(yīng)用于數(shù)據(jù)流控制，典型的乒乓操作如圖5所示。

圖5 乒乓操作示意圖

乒乓操作的處理流程描述如下：輸入數(shù)據(jù)流通過(guò)“輸入數(shù)據(jù)流選擇單元”，等時(shí)地將數(shù)據(jù)流分配到兩個(gè)數(shù)據(jù)緩沖模塊。數(shù)據(jù)緩沖模塊可以是任何存儲(chǔ)模塊，比較常用的存儲(chǔ)單元是雙口RAM （ DPRAM ），單口RAM （ SPRAM）和FIFO等。在第一個(gè)緩沖周期，將輸入的數(shù)據(jù)流緩存到“數(shù)據(jù)緩沖模塊1”。在第2個(gè)緩沖周期，通過(guò)“輸入數(shù)據(jù)流選擇單元”的切換，將輸入的數(shù)據(jù)流緩存到“數(shù)據(jù)緩沖模塊2”，與此同時(shí)，將“數(shù)據(jù)緩沖模塊1”緩存的第1個(gè)周期的數(shù)據(jù)通過(guò)“輸出數(shù)據(jù)流選擇單元”的選擇，送到“數(shù)據(jù)流運(yùn)算處理模塊”被運(yùn)算處理。在第3 個(gè)緩沖周期，通過(guò)“輸入數(shù)據(jù)流選擇單元”的再次切換，將輸入的數(shù)據(jù)流緩存到“數(shù)據(jù)緩沖模塊1”，與此同時(shí)，將“數(shù)據(jù)緩沖模塊2”緩存的第2個(gè)周期的數(shù)據(jù)通過(guò)“輸出數(shù)據(jù)流選擇單元”的選擇，送到“數(shù)據(jù)流運(yùn)算處理模塊”被運(yùn)算處理。如此循環(huán)，周而復(fù)始。

乒乓操作的最大特點(diǎn)是，通過(guò)“輸入數(shù)據(jù)流選擇單元”和“輸出數(shù)據(jù)流選擇單元”按節(jié)拍、相互配合的切換，將經(jīng)過(guò)緩沖的數(shù)據(jù)流沒(méi)有時(shí)間停頓地送到“數(shù)據(jù)流運(yùn)算處理模塊”，被運(yùn)算和處理。把乒乓看成一個(gè)整體，站在這個(gè)模塊的兩端看數(shù)據(jù)，輸入數(shù)據(jù)流和輸出數(shù)據(jù)流都是連續(xù)不斷的，沒(méi)有任何停頓，因此非常適合對(duì)數(shù)據(jù)流進(jìn)行流水線式處理。所以乒乓方式常常應(yīng)用于流水線式算法，完成數(shù)據(jù)的無(wú)縫緩沖與處理。

在FPGA里面，使用乒乓操作是面積與速度互換原則的一個(gè)體現(xiàn)。

方法2 可以這樣實(shí)現(xiàn)：在FPGA內(nèi)部使用Megacore，構(gòu)造一個(gè)雙口的RAM， 雙口RAM 的輸入輸出信號(hào)的硬件描述語(yǔ)言定義如下：

RAM2 u （.data_a （iDATA ［7:0］） ，

.wren_a （I_a ） ，

.address_a（COUNTER_a ［9 ： 0］ ） ，

.clock_a （ CLOCK_ a） ，

.q_a（DATA_a ［ 7 ： 0 ］ ） ，

.data_b（iDATA［7:0］），

.wren_b （I_b），

.address_b（COUNTER_b［9:0］） ，

.clock_b（CLOCK_b） ，

.q_b（DATA_b［7:0］） ） ;

使用的信號(hào)包括：數(shù)據(jù)信號(hào)data_a， dat_b；讀寫(xiě)有效信號(hào)wren_a， wren_b；地址信號(hào)address_a， address_b；時(shí)鐘信號(hào)clock_a，clock_b；輸出數(shù)據(jù)信號(hào)q_a，q_b。可以看到所有的信號(hào)都是成對(duì)出現(xiàn)的，就是為了進(jìn)行乒乓方式的數(shù)據(jù)傳輸。分成了兩個(gè)RAM區(qū)域，A 和B，相當(dāng)于前面講乒乓方式里的數(shù)據(jù)緩沖模塊1 和2。兩個(gè)RAM 塊是交替著讀寫(xiě)（由I_a和I_b決定），輸出數(shù)據(jù)流也是由I 決定。剛說(shuō)到寫(xiě)時(shí)鐘是13.5M，讀時(shí)鐘是27M，所以clock_a 和clock_b必須是讀寫(xiě)時(shí)鐘切換著輸入，而且地址的計(jì)數(shù)也不一樣，寫(xiě)周期時(shí)候地址增加的時(shí)鐘是13.5M，讀周期地址增加的時(shí)鐘是27M。所以每行的數(shù)據(jù)讀了兩遍，相當(dāng)于隔行變逐行。圖６是在Ｑuartus II下RAM的乒乓操作功能仿真圖：

圖６　RAM的乒乓操作仿真圖 {{分頁(yè)}}

RAM塊進(jìn)行乒乓方式操作信號(hào)的分配表如下：

最后輸出的DATA信號(hào)進(jìn)入下一級(jí)單元，即YUV到RGB的轉(zhuǎn)換。

2.3 顏色-空間轉(zhuǎn)換部分設(shè)計(jì)

為什么要有這個(gè)轉(zhuǎn)換呢？因?yàn)椴徽撌请娨暀C(jī)還是CRT顯示器，都是使用RGB三基色合成的方法來(lái)顯示顏色。用RGB三基色來(lái)表示彩色的確很直觀，但是如果把這種方法用作圖像傳輸則絕不是一個(gè)好方法。主要是因?yàn)椋?/p>

（1） 與黑白圖像不兼容；

（2） 占用太多帶寬；

（3） 抗干擾能力差。

本系統(tǒng)圖像傳感器輸出YCbCr信號(hào)，需要進(jìn)行到RGB信號(hào)的轉(zhuǎn)換，用于CRT顯示。YCbCr 到RGB按照下面公式進(jìn)行轉(zhuǎn)換：

R = 1.164 （ Y-16 ） + 1.596 （ Cr-128 ）；

G = 1.164 （ Y-16 ）- 0.813 （ Cr-128 ） - 0.392（Cb-128）；

B = 1.164 （ Y-16 ） + 2.017 （ Cb-128 ）；

觀察上面公式可以發(fā)現(xiàn)，轉(zhuǎn)換均需要乘加運(yùn)算，并且式子中用到了小數(shù)，所以必須要對(duì)系數(shù)進(jìn)行放大。經(jīng)過(guò)合理轉(zhuǎn)化，公式如下：

R = （1/256） * （ 298*Y + 409*Cr - 57065 ）；

G = （1/256） * （ 298*Y - 100*Cb - 208*Cr + 34718 ）；

B = （1/256） * （ 298*Y + 516*Cb - 70861 ）；

用Verilog HDL編寫(xiě)代碼，實(shí)現(xiàn)YUV到RGB的轉(zhuǎn)化。其中共包括3個(gè)模塊跟1個(gè)仿真激勵(lì)。在模塊const_mult中，主要實(shí)現(xiàn)乘法運(yùn)算，主要代碼如下：

module const_mult （Clock， ClockEnable， Reset， Color， Color_Out）;

parameter IN_SIZE = 8;

parameter OUT_SIZE = 16; // output size width （integer）

parameter CST_MULT = 66; // constant multiplicand （integer）

．．．．．．．．

always @（posedge Clock or posedge Reset）

begin ： COLOR_KCM

if （Reset）

Color_Out 《= 0;

else if （ClockEnable）

Color_Out 《= CST_MULT * Color;

end

endmodule

模塊csc.v中，調(diào)用const_mult模塊，通過(guò)參數(shù)傳遞改變參數(shù)IN_SIZE， OUT_SIZE， CST_MULT的值，然后實(shí)現(xiàn)加法運(yùn)算。

以R = （1/256） * （ 298*Y + 409*Cr - 57065 ）為例，主要代碼如下：

const_mult #（8， 18， 298） R_KCM_Y（.Clock（Clock）， .ClockEnable（ClockEnable）， .Reset（Reset）， .Color（Y），.Color_Out（R_Y_KCM））;

const_mult #（8， 18， 0 ） R_KCM_Cb（.Clock（Clock）， .ClockEnable（ClockEnable）， .Reset（Reset）， .Color（Cb），.Color_Out（R_Cb_KCM））;

const_mult #（8， 18， 409） R_KCM_Cr（.Clock（Clock）， .ClockEnable（ClockEnable）， .Reset（Reset）， .Color（Cr），.Color_Out（R_Cr_KCM））;

// Adder for （Cr + constant）

always @（posedge Clock or posedge Reset）

begin ： R_Cr_C_Adder

if （Reset）

R_Cr_C 《= 0;

else if （ClockEnable）

R_Cr_C 《= R_Cr_KCM - 57065;

end

// Adder for （Y + Cb）

always @（posedge Clock or posedge Reset）

begin ： R_Y_Cb_Adder

if （Reset）

R_Y_Cb 《= 0;

else if （ClockEnable）

R_Y_Cb 《= R_Y_KCM + R_Cb_KCM;

end

// Adder for R =》 Y + Cb + constant

always @（posedge Clock or posedge Reset）

begin ： R_Adder

if （Reset）

R_full 《= 0;

else if （ClockEnable）

R_full 《= R_Y_Cb + R_Cr_C;

End

用以實(shí)現(xiàn)G、B的代碼與上面類似，在此不再贅述。以下代碼實(shí)現(xiàn)R_full*1/256功能。

always @（R_full or G_full or B_full）

begin

if（R_full［17］） R = 0;

else if（R_full［16］） R = 255;

else R = R_full ［15:8］;

……

end

主模塊yuv2rgb實(shí)現(xiàn)子模塊的調(diào)用，用Modelsim進(jìn)行了仿真。仿真波形如圖7所示：

圖7 YUV到RGB的轉(zhuǎn)化仿真圖

3．結(jié)論

本文設(shè)計(jì)了基于SOPC”》SOPC的視頻編解碼控制器IP核，根據(jù)自頂向下的設(shè)計(jì)思想，將IP核進(jìn)行層次功能劃分，并對(duì)IP核的仿真驗(yàn)證，實(shí)現(xiàn)了視頻信號(hào)的采集，分配，存儲(chǔ)以及色度空間的轉(zhuǎn)換。本IP核具有很好的移植性，可以方便的應(yīng)用到以Nios II為核心的各種需要視頻編解碼控制器功能的嵌入式中。

責(zé)任編輯：gt