gst_v4l2_enc_udp案例

案例說(shuō)明

本案例通過(guò)GStreamerAPI創(chuàng)建Pipeline，并使用v4l2src、mpph264enc、tee、udpsink、autovideosink、filesink等插件鏈接至Pipeline，實(shí)現(xiàn)ARM端從V4L2視頻節(jié)點(diǎn)中獲取視頻流數(shù)據(jù)，通過(guò)插件rockchipmpp，實(shí)現(xiàn)硬件解碼后顯示或硬件編碼為H.264格式并保存為文件。

本案例支持save、display、dis-save、udp四種功能模式，通過(guò)命令行參數(shù)傳入主程序進(jìn)行選擇。功能模式簡(jiǎn)要說(shuō)明如下：

（1）save模式：采集攝像頭的圖像數(shù)據(jù)，進(jìn)行H.264編碼后將圖像數(shù)據(jù)保存至文件。

圖 21?save模式

（2）display模式：采集攝像頭圖像數(shù)據(jù)，并生成圖像顯示。

圖 22?display模式

（3）dis-save模式：采集攝像頭圖像數(shù)據(jù)，然后輸出至指定顯示設(shè)備，同時(shí)進(jìn)行H.264編碼并保存至文件。

圖 23?dis-save模式

（4）udp模式：采集攝像頭圖像數(shù)據(jù)，然后經(jīng)過(guò)H.264編碼，最后通過(guò)UDP協(xié)議發(fā)送至上位機(jī)。

圖 24?udp模式

案例測(cè)試

請(qǐng)使用FFC軟排線將MIPI攝像頭模塊（型號(hào)為創(chuàng)龍科技TL13850）連接至評(píng)估板CAMERA2接口，將評(píng)估板HDMI OUT接口連接至HDMI顯示屏，通過(guò)網(wǎng)線將評(píng)估板千兆網(wǎng)口ETH0連接至路由器。

注意：請(qǐng)使用FFC軟排線（30pin，間距0.5mm，同向），按照如下方法進(jìn)行硬件連接，并仔細(xì)核對(duì)評(píng)估板接口、FFC軟排線、攝像頭三者線序，否則可能燒毀攝像頭。

圖 25

打開(kāi)Ubuntu，執(zhí)行如下命令在線安裝Gstreamer相關(guān)軟件包。若提示安裝失敗，請(qǐng)嘗試更換源再重新在線安裝。

Host# sudo apt-get install gstreamer1.0-plugins-bad gstreamer1.0-libav

圖 26

請(qǐng)將產(chǎn)品資料“4-軟件資料Demoplatform-demosisp_demoresultiqfiles”目錄下的ov13850_RK-CMK-8M-2-v1_CK8401.json文件，拷貝至評(píng)估板"/etc/iqfiles/"目錄下。

備注：本案例需通過(guò).json文件進(jìn)行ISP處理，否則輸出效果偏綠色。

圖 27

然后將案例"gst_v4l2_enc_udpdtsbin"目錄下的boot-ov13850-cam2.img鏡像文件（僅支持CAMERA2接口）拷貝至評(píng)估板文件系統(tǒng)，執(zhí)行如下命令替換內(nèi)核鏡像。

備注：如需固化至eMMC，請(qǐng)將設(shè)備節(jié)點(diǎn)修改為"/dev/mmcblk0p3"。

Target# dd if=boot-ov13850-cam2.img of=/dev/mmcblk1p3

Target# sync

Target# reboot

圖 28

評(píng)估板重啟后，執(zhí)行如下命令，查看設(shè)備節(jié)點(diǎn)。

Target# ls /dev/video*

圖 29

請(qǐng)將案例bin目錄下的gst_v4l2_enc_udp可執(zhí)行程序拷貝至評(píng)估板文件系統(tǒng)任意目錄下，進(jìn)入可執(zhí)行程序所在目錄，執(zhí)行如下命令查看程序參數(shù)信息。

Target# ./gst_v4l2_enc_udp --help

圖 30

參數(shù)解析：

-m：指定程序運(yùn)行模式。

-d：指定目標(biāo)設(shè)備節(jié)點(diǎn)。

-h：輸入與輸出分辨率的高度。

-w：輸入與輸出分辨率的寬度。

-a：指定與評(píng)估板進(jìn)行UDP通信的上位機(jī)IP和端口號(hào)。

-f：save/dis_save模式下，指定保存文件路徑。

-v：版本信息。

--help：幫助信息。

（1）display模式測(cè)試

執(zhí)行如下命令采集視頻，并輸出至顯示設(shè)備。按"Ctrl + C"可停止運(yùn)行運(yùn)行。

Target# ./gst_v4l2_enc_udp -m display -d /dev/video-camera0-w 1920 -h 1080

圖 31

圖 32

（2）save模式測(cè)試

執(zhí)行如下命令采集視頻，經(jīng)過(guò)H.264編碼后，保存為test.h264文件。按"Ctrl + C"可停止運(yùn)行程序。

參數(shù)"-d /dev/video-camera0"指定設(shè)備節(jié)點(diǎn)"/dev/video-camera0"，"-w1920"指定圖像輸入輸出分辨率寬度為1920，"-h1080"指定圖像輸入輸出分辨率高度為1080，"-ftest.h264"指定保存文件路徑。

Target# ./gst_v4l2_enc_udp -m save -d /dev/video-camera0-w 1920 -h 1080 -f test.h264

圖 33

執(zhí)行如下命令，播放test.h264文件。

Target# gst-play-1.0 test.h264

圖 34

HDMI顯示屏將會(huì)播放test.h264文件內(nèi)容，如下圖所示。

圖 35

（3）dis_save模式測(cè)試

執(zhí)行如下命令采集視頻，并輸出至顯示設(shè)備，同時(shí)進(jìn)行H.264編碼后，將圖像數(shù)據(jù)保存為test.h264文件。按"Ctrl + C"可停止運(yùn)行程序。

Target# ./gst_v4l2_enc_udp -m dis-save -d /dev/video-camera0-w 1920 -h 1080 -f test.h264

圖 36

圖 37

（4）udp模式測(cè)試

打開(kāi)Ubuntu，執(zhí)行如下命令，通過(guò)gst-launch-1.0工具將評(píng)估板發(fā)送的視頻進(jìn)行顯示。

Host# gst-launch-1.0 -v udpsrc port=8080 ! 'application/x-rtp,media=(string)video,payload=(int)96' ! rtph264depay ! h264parse ! avdec_h264 ! videoconvert ! ximagesink sync=false

圖 38

在評(píng)估板執(zhí)行如下命令采集視頻，經(jīng)過(guò)H.264編碼后，通過(guò)UDP協(xié)議發(fā)送至上位機(jī)。

備注：IP地址請(qǐng)根據(jù)實(shí)際情況修改。

Target# ./gst_v4l2_enc_udp -m udp -d /dev/video-camera0-w 1920 -h 1080 -a 192.168.13.51:8080

圖 39

此時(shí)，評(píng)估板程序運(yùn)行成功后，上位機(jī)將會(huì)彈出gst-launch-1.0顯示窗口并顯示評(píng)估板發(fā)送的視頻。

圖 40

案例編譯

設(shè)備樹(shù)編譯

將案例"dtssrc"目錄下tl3588-evm-ov13850.dts設(shè)備樹(shù)拷貝至LinuxSDK源碼"kernel/arch/arm64/boot/dts/rockchip/"目錄下。

圖?41

請(qǐng)按照《Debian系統(tǒng)使用手冊(cè)》文檔Debian系統(tǒng)鏡像編譯、生成章節(jié)，替換設(shè)備樹(shù)并重新編譯內(nèi)核，將生成的內(nèi)核鏡像文件拷貝至評(píng)估板文件系統(tǒng)進(jìn)行固化，評(píng)估板重啟后將會(huì)加載新的內(nèi)核鏡像文件。

程序編譯

將案例源碼拷貝至Ubuntu工作目錄下，進(jìn)入src源碼目錄，執(zhí)行如下命令修改makefile文件中的SDK_PATH路徑，請(qǐng)根據(jù)實(shí)際情況修改為L(zhǎng)inuxSDK源碼路徑。

Host# vi makefile

圖 42

圖 43

修改完成后，保存退出，執(zhí)行如下命令進(jìn)行編譯，編譯完成后，將會(huì)在當(dāng)前目錄下生成gst_v4l2_enc_udp可執(zhí)行文件。

Host# source /home/tronlong/RK3588/rk3588_linux_release_v1.2.1/debian/sysroots/environment

Host# make

圖 44

關(guān)鍵代碼

（1）初始化GStreamer，創(chuàng)建Pipeline。

圖 45

（2）創(chuàng)建初始化Gstreamer元件。

圖 46

（3）檢查元件創(chuàng)建初始化情況。

圖 47

（4）配置各元件參數(shù)。

圖 48

（5）鏈接元件至Pipeline。

圖 49

圖 50

（6）使Pipeline開(kāi)始工作。

圖 51

（7）停止Pipeline，釋放Gstreamer。

圖 52

（8）計(jì)時(shí)線程。

圖 53

由于篇幅過(guò)長(zhǎng)等原因，部分內(nèi)容均不逐一展示，如需獲取完整版詳細(xì)資料，請(qǐng)關(guān)注創(chuàng)龍科技微信公眾號(hào)或官網(wǎng)，或者評(píng)論區(qū)留言，感謝您的支持！

審核編輯 黃宇