前 言

本文主要介紹基于創(chuàng)龍科技TLT113-EVM評(píng)估板的視頻開(kāi)發(fā)案例，適用開(kāi)發(fā)環(huán)境如下。

Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit

虛擬機(jī)：VMware15.5.5

Linux開(kāi)發(fā)環(huán)境：Ubuntu18.04.4 64bit

U-Boot：U-Boot-2018.07

Kernel：Linux-5.4.61、Linux-RT-5.4.61

LinuxSDK：T113_Tina5.0-V1.0(Linux)

我司提供的視頻開(kāi)發(fā)案例位于產(chǎn)品資料“4-軟件資料Demoplatform-demos”目錄下，案例具體功能說(shuō)明如下：

評(píng)估板文件系統(tǒng)默認(rèn)已支持GStreamer和OpenCV庫(kù)，可執(zhí)行如下命令查看。

Target# gst-inspect-1.0 -h

Target# ls /usr/lib/libopencv*

圖?1

OpenCV是一個(gè)基于Apache2.0許可（開(kāi)源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法。

GStreamer是用來(lái)構(gòu)建流媒體應(yīng)用的開(kāi)源多媒體框架，其目標(biāo)是要簡(jiǎn)化音視頻應(yīng)用程序的開(kāi)發(fā)，目前可被用于處理MP3、Ogg、MPEG1、MPEG2、AVI、Quicktime等多種格式的多媒體數(shù)據(jù)。

v4l2_enc_udp案例

案例說(shuō)明

案例功能：使用Linux子系統(tǒng)V4L2實(shí)現(xiàn)視頻采集和顯示，并將視頻進(jìn)行JPEG硬件編碼后，實(shí)現(xiàn)視頻文件保存和推流。

案例支持list、save、display、dis-save、udp五種功能模式，通過(guò)命令行參數(shù)傳入主程序進(jìn)行選擇。功能模式簡(jiǎn)要說(shuō)明如下：

list模式：查詢(xún)攝像頭設(shè)備，并打印設(shè)備相關(guān)信息，比如分辨率、幀率、格式等。

save模式：采集攝像頭的圖像數(shù)據(jù)，進(jìn)行JPEG編碼后將圖像數(shù)據(jù)保存至文件。

display模式：采集攝像頭圖像數(shù)據(jù)，寫(xiě)入至framebuffer生成圖像并顯示，格式為NV12。

dis-save模式：采集攝像頭圖像數(shù)據(jù)，然后輸出至指定顯示設(shè)備，同時(shí)進(jìn)行JPEG編碼并保存至文件。

udp模式：采集攝像頭圖像數(shù)據(jù)，經(jīng)JPEG編碼，最后通過(guò)UDP協(xié)議發(fā)送至上位機(jī)。

圖?2

案例使用LinuxSDK開(kāi)發(fā)包所提供的libvencoder.so庫(kù)文件，支持輸入像素格式為NV12、NV21、I420、YV12，支持輸出編碼格式為JPEG。本案例使用輸入像素格式為NV12，輸出編碼格式為JPEG。

案例測(cè)試

本案例使用逸森(Eviresn)公司的倒車(chē)后視高清CCD攝像頭，NTSC制式，幀率可達(dá)30fps。

評(píng)估板斷電，通過(guò)網(wǎng)線將評(píng)估板ETH0(RGMII)網(wǎng)口與PC機(jī)連接至同一個(gè)路由器，將一路CCD攝像頭接入評(píng)估板CVBS IN0或CVBS IN1接口，并將HDMI OUT接口連接至HDMI顯示屏。硬件連接如下圖所示。

備注：CCD攝像頭需連接DC 12V電源。

圖?3

請(qǐng)將案例bin目錄下的v4l2_enc_udp可執(zhí)行程序拷貝至評(píng)估板文件系統(tǒng)任意目錄下，并進(jìn)入可執(zhí)行程序所在目錄，執(zhí)行如下命令查看程序參數(shù)信息。

Target# ./v4l2_enc_udp --help

圖?4

參數(shù)解析：

-m：設(shè)置運(yùn)行模式。

-d：設(shè)置目標(biāo)設(shè)備。

-t：設(shè)備接口類(lèi)型選擇。

-F：設(shè)置采集格式。

-f：設(shè)置采集幀率，若攝像頭不支持幀率設(shè)置，則設(shè)為0。

-i：設(shè)置攝像頭分辨率。

-I：設(shè)置顯示設(shè)備分辨率。

-a：設(shè)置與評(píng)估板進(jìn)行UDP通信的上位機(jī)IP和端口號(hào)。

-o：設(shè)置輸出目標(biāo)，display/dis_save模式下為"/dev/disp"設(shè)備節(jié)點(diǎn)。

-e：save/dis_save模式下，設(shè)置保存文件路徑。

-c：設(shè)置CVBS IN的通道，0為評(píng)估板CVBS IN0接口，1為CVBS IN1接口。

-v：版本信息。

--help：幫助信息。

請(qǐng)根據(jù)分辨率、幀率等信息查詢(xún)結(jié)果進(jìn)行程序參數(shù)設(shè)置，否則程序無(wú)法正常執(zhí)行。分辨率與幀率需與查詢(xún)信息一一對(duì)應(yīng)，如無(wú)幀率信息，則說(shuō)明攝像頭不支持設(shè)置幀率，無(wú)需在命令中指定"-f"參數(shù)。

本次測(cè)試使用CVBS IN0接口實(shí)現(xiàn)一路CCD攝像頭的視頻采集，設(shè)備節(jié)點(diǎn)為"/dev/video4"。

圖?5

進(jìn)入評(píng)估板文件系統(tǒng)執(zhí)行如下命令，關(guān)閉Qt程序，初始化framebuffer。

Target# killall Launcher //關(guān)閉Qt程序

Target# fbinit //初始化framebuffer

圖?6

在Ubuntu系統(tǒng)中執(zhí)行如下命令，在線安裝Gstreamer相關(guān)軟件包，搭建Gstreamer環(huán)境。如提示安裝失敗，請(qǐng)嘗試更換源再重新在線安裝。

Host# sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-doc gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio -y

圖?7

（1）list模式測(cè)試

在v4l2_enc_udp可執(zhí)行程序所在目錄下，執(zhí)行如下命令，查看評(píng)估板CVBS IN0接口的攝像頭信息。如需查看CVBS IN1接口，請(qǐng)將命令中的"-c 0"修改為"-c 1"，CVBS IN1接口設(shè)備節(jié)點(diǎn)與CVBS IN0接口一致。

Target# ./v4l2_enc_udp -m list-c 0-d /dev/video4

圖?8

備注：目前攝像頭僅支持NV12格式的圖像。由于官方Linux系統(tǒng)驅(qū)動(dòng)存在缺陷，上圖查詢(xún)攝像頭的信息不準(zhǔn)確。

（2）save模式測(cè)試

執(zhí)行如下命令采集圖像，經(jīng)JPEG編碼后，將圖像數(shù)據(jù)保存為test.jpeg文件。按"Ctrl + C"停止運(yùn)行。

參數(shù)"-m save"設(shè)置運(yùn)行模式為save，"-d /dev/video4"設(shè)置設(shè)備節(jié)點(diǎn)"/dev/video4"，"-F NV12"設(shè)置采集圖像格式為NV12，"-i 720*480"設(shè)置攝像頭分辨率為720x480，"-f 30"設(shè)置采集幀率為30fps，"-I 720*480"設(shè)置顯示設(shè)備分辨率720x480，"-e ./test.jpeg"設(shè)置保存文件路徑。

Target# ./v4l2_enc_udp -m save -c 0 -d /dev/video4 -F NV12 -i 720*480 -I 720*480 -f 30 -e ./test.jpeg

圖?9

（3）display模式測(cè)試

執(zhí)行如下命令采集圖像，并輸出至顯示設(shè)備。

參數(shù)"-m display"設(shè)置運(yùn)行模式為display，"-o /dev/disp"設(shè)置顯示設(shè)備節(jié)點(diǎn)。

Target# ./v4l2_enc_udp -m display -d /dev/video4 -c 0 -F NV12 -i 720*480 -I 720*480 -f 30 -o /dev/disp

圖?10

圖?11

（4）dis_save模式測(cè)試

執(zhí)行如下命令采集圖像輸出至顯示設(shè)備，同時(shí)進(jìn)行JPEG編碼后，將圖像數(shù)據(jù)保存為test.jpeg文件。

參數(shù)"-m dis_save"設(shè)置運(yùn)行模式為dis_save，"-o /dev/disp"設(shè)置顯示設(shè)備節(jié)點(diǎn)，"-e ./test.jpeg"設(shè)置保存文件路徑。

Target# ./v4l2_enc_udp -m dis-save -d /dev/video4 -c 0 -F NV12 -i 720*480 -I 720*480 -f 30 -o /dev/disp -e ./test.jpeg

圖?12

圖?13

（5）udp模式測(cè)試

在Ubuntu系統(tǒng)中執(zhí)行如下命令，通過(guò)gst-launch-1.0工具將評(píng)估板發(fā)送的圖像進(jìn)行顯示。

Host# gst-launch-1.0 -v udpsrc port=50000 ! jpegparse ! jpegdec ! videoconvert ! xvimagesink sync=false

圖?14

執(zhí)行如下命令采集圖像，經(jīng)JPEG編碼后，通過(guò)UDP協(xié)議發(fā)送至上位機(jī)。

參數(shù)"-m udp"設(shè)置運(yùn)行模式為udp，"-a 192.168.13.66:50000"設(shè)置上位機(jī)IP地址和端口號(hào)。

Target# ./v4l2_enc_udp -m udp -c 0 -d /dev/video4 -F NV12 -i 720*480 -f 30 -a 192.168.13.66:50000

圖?15

此時(shí)，評(píng)估板程序運(yùn)行成功后，上位機(jī)將會(huì)彈出gst-launch-1.0顯示窗口并顯示評(píng)估板發(fā)送的圖像。

圖?16

案例編譯

將案例src源碼目錄拷貝至Ubuntu工作目錄下，進(jìn)入源碼目錄，執(zhí)行如下命令修改Rules.mk配置文件，將SDK_DIR路徑修改為L(zhǎng)inuxSDK開(kāi)發(fā)包實(shí)際路徑，將SDK_OUT_SYS路徑修改為buildroot實(shí)際路徑。

Host# vi Rules.mk

圖?17

修改內(nèi)容如下：

備注：若為eMMC配置評(píng)估板，請(qǐng)將路徑"tlt113-evm-nand"修改為"tlt113-evm-emmc"。

SDK_DIR = /home/tronlong/T113/tina5.0_v1.0 //設(shè)置LinuxSDK包安裝路徑

SDK_OUT_SYS = $(SDK_DIR)/out/t113_i/tlt113-evm-nand/buildroot/buildroot/

圖?18

修改完成，繼續(xù)執(zhí)行如下命令，使用LinuxSDK開(kāi)發(fā)包目錄下的GCC編譯器進(jìn)行案例編譯，編譯完成將會(huì)在同一個(gè)目錄下生成可執(zhí)行程序。

Host# make

圖?19

關(guān)鍵代碼

本案例src目錄下為工程源文件，具體說(shuō)明如下表所示。

（1）解析命令行參數(shù)。

圖?20?main.c

（2）編碼模塊初始化。

圖?21?main.c

（3）攝像頭初始化。

圖?22?main.c

（4）圖像采集、編碼、顯示、保存和UDP發(fā)送。

圖?23?main.c

（5）釋放資源。

圖?24?main.c

審核編輯 黃宇