目前QT和ffmpeg都已經(jīng)安裝好了，接下來將會使用QT和ffmpeg來進行編程。

https://bbs.elecfans.com/jishu_2496310_1_1.html

前言

其實官方為我們已經(jīng)提供了三個官方實例，我打開學習了一下，QT實例雖然也用到了信號槽，是點擊按鈕的信號槽，我覺的QT妙就妙在了信號槽和多線程，而且官方的是QT5；多路攝像頭取流案例使用的是采流使用的是GStreamer，UI采用的是GTK庫；所以我做了一個QT6+多線程+ffmpeg的多路攝像頭取流案例供參考。

代碼編寫

test.pro 這個地方比較重要的改動主要在于添加ffmpeg要使用的庫

QT += core guigreaterThan(QT_MAJOR_VERSION, 4): QT += widgetsCONFIG += c++17# You can make your code fail to compile if it uses deprecated APIs.# In order to do so, uncomment the following line.#DEFINES += QT_DISABLE_DEPRECATED_BEFORE=0x060000 # disables all the APIs deprecated before Qt 6.0.0SOURCES += \ camera.cpp \ main.cpp \ mainwindow.cppHEADERS += \ camera.h \ mainwindow.hFORMS += \ mainwindow.uiLIBS += -lavdevice \-lavformat \-ldrm \-lavfilter \-lavcodec \-lavutil \-lswresample \-lswscale \-lm \-lrga \-lpthread \-lrt \-lrockchip_mpp \-lz# Default rules for deployment.qnx: target.path = /tmp/$${TARGET}/binelse: unix target.path = /opt/$${TARGET}/bin!isEmpty(target.path): INSTALLS += target

camera.h：采集線程的頭文件，無需多言

#ifndefCAMERA_H#defineCAMERA_H// 顯示畫面的大小#defineDISPLAY_WIDTH 640#defineDISPLAY_HEIGHT 360#include#include#includeextern"C"{#include"libavdevice/avdevice.h"#include"libavcodec/avcodec.h"#include"libavdevice/avdevice.h"#include"libavfilter/avfilter.h"#include"libavfilter/buffersink.h"#include"libavfilter/buffersrc.h"#include"libavformat/avformat.h"#include"libavutil/pixdesc.h"#include"libavutil/opt.h"#include"libavutil/avassert.h"#include"libavutil/imgutils.h"#include"libavutil/avutil.h"#include"libavutil/audio_fifo.h"#include"libavutil/file.h"#include"libavutil/imgutils.h"#include"libavutil/mathematics.h"#include"libavutil/pixfmt.h"#include"libavutil/time.h"#include"libswscale/swscale.h"#include"libswresample/swresample.h"#include"libavutil/hwcontext.h"#include"libavutil/hwcontext_drm.h"#include#include#include#include#include}classCamera:publicQThread { Q_OBJECTpublic: Camera(QObject *parent =0); virtual~Camera(); voidset_para(intindex,constchar*rtsp_str);signals: voidupdate_video_label(int, QImage *);protected: virtualvoidrun();private: intindex; char*rtsp_str =nullptr; uint8_t*dst_data_main[4]; intdst_linesize_main[4]; QImage *p_image_main =nullptr;};#endif// CAMERA_H

camera.cpp這部分是代碼的關(guān)鍵，是取流的線程，具體的解釋已經(jīng)寫好在注釋里

#include"camera.h"Camera::Camera(QObject *parent) : QThread(parent) { // 創(chuàng)建顯示圖像的內(nèi)存 av_image_alloc(dst_data_main, dst_linesize_main, DISPLAY_WIDTH, DISPLAY_HEIGHT,AV_PIX_FMT_RGB24,1); p_image_main = new QImage(dst_data_main[0], DISPLAY_WIDTH, DISPLAY_HEIGHT, QImage::Format_RGB888);}Camera::~Camera() {}voidCamera::set_para(intindex,constchar*rtsp_str) { // 配置線程的參數(shù) this->index = index; this->rtsp_str = newchar[255]; strcpy(this->rtsp_str, rtsp_str);}voidCamera::run() { // 線程執(zhí)行函數(shù) intsrc_width, src_height; AVFormatContext*av_fmt_ctx =NULL; AVStream*av_stream =NULL; AVCodecContext* av_codec_ctx; // 設置RTSP連接參數(shù) AVDictionary*options =NULL; av_dict_set(&options,"rtsp_transport","tcp",0); av_dict_set(&options,"buffer_size","1024000",0); av_dict_set(&options,"stimeout","2000000",0); av_dict_set(&options,"max_delay","500000",0); // 創(chuàng)建AVFormatContext av_fmt_ctx = avformat_alloc_context(); if(avformat_open_input(&av_fmt_ctx, rtsp_str,NULL, &options) !=0) { qDebug() <nb_streams; i++) { if(av_fmt_ctx->streams[i]->codecpar->codec_type ==AVMEDIA_TYPE_VIDEO) { av_stream = av_fmt_ctx->streams[i]; break; } } if(av_stream ==NULL) { qDebug() <codecpar->codec_id); constAVCodec*av_codec = avcodec_find_decoder_by_name("h264_rkmpp"); if(av_codec == nullptr) { qDebug() <codecpar); // 打開解碼器 if(avcodec_open2(av_codec_ctx, av_codec,NULL) long_name <name; src_width = av_codec_ctx->width; src_height = av_codec_ctx->height; // 創(chuàng)建AVFrame和AVPacket供解碼使用 AVFrame*av_frame = av_frame_alloc(); AVPacket*av_packet = (AVPacket*)av_malloc(sizeof(AVPacket)); // 創(chuàng)建SwsContext，將解碼出來的YUV格式，轉(zhuǎn)換成供界面顯示的RGB格式，同時對圖像進行縮放，縮放成顯示大小 structSwsContext* img_ctx = sws_getContext(src_width, src_height, av_codec_ctx->pix_fmt, DISPLAY_WIDTH, DISPLAY_HEIGHT,AV_PIX_FMT_RGB24, SWS_BILINEAR,0,0,0); while(true) { // 解碼流程 if(av_read_frame(av_fmt_ctx, av_packet) >=0){ avcodec_send_packet(av_codec_ctx, av_packet); while(avcodec_receive_frame(av_codec_ctx, av_frame) ==0) { // 轉(zhuǎn)換畫面 sws_scale(img_ctx, (constuint8_t*const*)av_frame->data, av_frame->linesize,0, src_height, dst_data_main, dst_linesize_main); // 發(fā)送信號，將QImage圖像地址發(fā)送到主線程，供更新界面 // 一般情況下，界面的更新都不允許在子線程進行 // 同時，一些耗時長的操作也一般不允許在主線程進行，例如網(wǎng)絡操作，IO操作以及解碼等，防止主線程卡死，畫面卡頓 emit update_video_label(index, p_image_main); } av_frame_unref(av_frame); av_packet_unref(av_packet); }else{ msleep(10); } } return;}

mainwindow.h 這個文件也不必多說，button的點擊事件是自動添加的，增加4個采集線程和4個狀態(tài)。

#ifndefMAINWINDOW_H#defineMAINWINDOW_H#include#include"camera.h"QT_BEGIN_NAMESPACEnamespaceUi {classMainWindow; }QT_END_NAMESPACEclassMainWindow:publicQMainWindow{ Q_OBJECTpublic: MainWindow(QWidget *parent =nullptr); ~MainWindow();publicslots: voidupdate_video_label(intindex, QImage *image);privateslots: voidon_pushButton_1_clicked(); voidon_pushButton_2_clicked(); voidon_pushButton_3_clicked(); voidon_pushButton_4_clicked();private: Ui::MainWindow *ui; Camera **camera =newCamera*[4]; boolstatus[4] = {false};};#endif// MAINWINDOW_H

mainwindow.cpp 對采集線程進行初始化并綁定更新視圖槽

#include"mainwindow.h"#include"ui_mainwindow.h"MainWindow::MainWindow(QWidget *parent) :QMainWindow(parent),ui(newUi::MainWindow) { ui->setupUi(this); // 對采集線程進行初始化并綁定更新視圖槽 camera[0] =newCamera(); camera[1] =newCamera(); camera[2] =newCamera(); camera[3] =newCamera(); connect(camera[0],SIGNAL(update_video_label(int, QImage *)),this,SLOT(update_video_label(int, QImage *))); connect(camera[1],SIGNAL(update_video_label(int, QImage *)),this,SLOT(update_video_label(int, QImage *))); connect(camera[2],SIGNAL(update_video_label(int, QImage *)),this,SLOT(update_video_label(int, QImage *))); connect(camera[3],SIGNAL(update_video_label(int, QImage *)),this,SLOT(update_video_label(int, QImage *)));}MainWindow::~MainWindow() { deleteui;}voidMainWindow::on_pushButton_1_clicked(){ // 如果已經(jīng)開始播放，那么就不必繼續(xù)了，后期可以添加先停止原鏈接采集再開啟新鏈接采集 if(status[0]) { return; } status[0] =true; camera[0]->set_para(0, ui->lineEdit_1->text().toStdString().c_str()); // 啟動采集 camera[0]->start();}voidMainWindow::on_pushButton_2_clicked(){ // 同button1的點擊事件處理 if(status[1]) { return; } status[1] =true; camera[1]->set_para(1, ui->lineEdit_2->text().toStdString().c_str()); camera[1]->start();}voidMainWindow::on_pushButton_3_clicked(){ // 同button1的點擊事件處理 if(status[2]) { return; } status[2] =true; camera[2]->set_para(2, ui->lineEdit_3->text().toStdString().c_str()); camera[2]->start();}voidMainWindow::on_pushButton_4_clicked(){ // 同button1的點擊事件處理 if(status[3]) { return; } status[3] =true; camera[3]->set_para(3, ui->lineEdit_4->text().toStdString().c_str()); camera[3]->start();}voidMainWindow::update_video_label(intcode, QImage *image){ // 將采集回來的畫面顯示到對應的界面 switch(code) { case0: ui->label_video_1->setPixmap(QPixmap::fromImage(*image)); break; case1: ui->label_video_2->setPixmap(QPixmap::fromImage(*image)); break; case2: ui->label_video_3->setPixmap(QPixmap::fromImage(*image)); break; case3: ui->label_video_4->setPixmap(QPixmap::fromImage(*image)); break; default: break; }}

還需要更改的地方

首先第一個更改的地方是吧QT編譯的線程降低一些，線程太多容易搞死機，我這里改成了1，可以像我這樣修改，就可以了。

第二個問題，讓我整整花費了一整天進行修改，我在安裝自己編譯的ffmpeg前就已經(jīng)測試過ffmpeg板子沒有安裝，所以我就默認ffmpeg的庫也沒有安裝，等到我編譯完成后總是無法找到h264_rkmpp的解碼器，但是偏偏使用ffmpeg來查看時，卻擁有h264_rkmpp的解碼器，我整整找了一天的問題關(guān)鍵所在。首先，我懷疑的是不是ffmpeg需要開啟 --enable-shared 進行動態(tài)編譯，于是按照猜想執(zhí)行

./configure --prefix=/usr --enable-gpl --enable-version3 --enable-libdrm --enable-rkmpp --enable-rkrga --enable-sharedmake -j 6sudo make install

但是執(zhí)行完畢后，依舊沒有解決問題，直到花了一天的時間后，我再次使用ldd test的時候突然發(fā)現(xiàn)一個問題，明明我的安裝路徑是在/usr，理論上動態(tài)連接庫應該是在/usr/lib當中，但是為何是在/lib/aarch64-linux-gnu/下面呢？于是我懷疑雖然沒有安裝ffmpeg，但是很有可能把ffmpeg的庫已經(jīng)安裝上了，所以使用apt search ffmpeg搜索，然后就看到avformat avcodec avutil等庫都已經(jīng)安裝好了，所以有時候不要想當然，當把該排除的都排除了，那可能就是最簡單的原因，簡單到壓根都想不起來的程度，發(fā)現(xiàn)問題那就解決問題吧。

第一種解決辦法，把自帶的ffmpeg卸載掉，缺點是依賴比較多，卸載起來還是比較麻煩，但是強烈推薦。

sudoapt remove libavformat-dev libopencv-dev libgstreamer-plugins-bad1.0-dev libcheese-dev libcheese-gtk-dev libopencv-highgui-dev libopencv-contrib-dev libopencv-features2d-dev libopencv-objdetect-dev libopencv-calib3d-dev libopencv-stitching-dev libopencv-videostab-dev libavcodec-dev libavutil-dev libavdevice-dev libswresample-dev libswscale-dev libswresample4 libswscale6 libavutil57 libavformat59 libavcodec59 libchromaprint1 libfreerdp2-2libopencv-videoio406 gstreamer1.0-plugins-bad libopencv-superres406 libopencv-videoio-dev libopencv-videostab406 libweston-10-0gnome-video-effects gstreamer1.0-plugins-bad-apps gstreamer1.0-plugins-bad-dbgsym libcheese8 libgstrtspserver-1.0-0 libopencv-superres-dev libweston-10-0-dbgsym libweston-10-dev weston cheese gir1.2-cheese-3.0gir1.2-gst-rtsp-server-1.0 gstreamer1.0-plugins-bad-apps-dbgsym libcheese-gtk25 libcheese8-dbgsym libgstrtspserver-1.0-dev weston-dbgsym cheese-dbgsym libcheese-gtk25-dbgsym

如果你需要里面的很多庫，比如像測試官方的案例，那么就試試第二種解決辦法:
首先，我們不能讓qt編譯時選擇默認的include和lib路徑，這也就是為什么在.pro中沒有寫路徑也可以找到ffmpeg的頭文件和庫文件，我們需要添加路徑，修改test.pro文件如下：

QT += core guigreaterThan(QT_MAJOR_VERSION, 4): QT += widgetsCONFIG += c++17# You can make your code fail to compile if it uses deprecated APIs.# In order to do so, uncomment the following line.#DEFINES += QT_DISABLE_DEPRECATED_BEFORE=0x060000 # disables all the APIs deprecated before Qt 6.0.0SOURCES += \ camera.cpp \ main.cpp \ mainwindow.cppHEADERS += \ camera.h \ mainwindow.hFORMS += \ mainwindow.uiINCLUDEPATH += /usr/includeLIBS += -L/usr/lib \-lavdevice \-lavformat \-ldrm \-lavfilter \-lavcodec \-lavutil \-lswresample \-lswscale \-lm \-lrga \-lpthread \-lrt \-lrockchip_mpp \-lz# Default rules for deployment.qnx: target.path = /tmp/$${TARGET}/binelse: unix target.path = /opt/$${TARGET}/bin!isEmpty(target.path): INSTALLS += target

這樣我們就強制讓qt使用我們指定的ffmpeg的頭文件和庫文件了，但是僅僅有這些還不夠，我們還需要在編譯后，運行時指定動態(tài)鏈接庫：

LD_LIBRARY_PATH=/usr/lib ./test

運行，對比及分析

首先我們嘗試使用軟解碼來看看接入4路1080P 25FPS RTSP流，顯示畫面如下：

CPU占用：

然后我們看看用硬解碼接入相同的碼流，甚至清晰度還要好過軟解碼：

CPU占用：

可以看到硬解碼接入后直接降低至少一般的CPU占用率，其實降低的要遠遠超過一半，因為從GPU把解碼后的視頻數(shù)據(jù)拷貝到內(nèi)存當中、對圖像進行縮放以及顯示圖像都是CPU占用率極高的地方，所以這也是后期優(yōu)化的方向。

聲明：本文由電子發(fā)燒友社區(qū)發(fā)布，轉(zhuǎn)載請注明以上來源。如需平臺（包括：試用+專欄+企業(yè)號+學院+技術(shù)直播+共建社區(qū)）合作及入群交流，請咨詢18925255684（微信同號：elecfans123），謝謝！