高端數(shù)字信號(hào)處理還有另一個(gè)殺手級(jí)應(yīng)用:數(shù)字視頻監(jiān)控。
從模擬視頻轉(zhuǎn)向數(shù)字視頻的主要原因是智能可嵌入監(jiān)控系統(tǒng)本身和#151 ;以及在網(wǎng)絡(luò)中,而不是依賴(lài)高度含咖啡因的人類(lèi)觀看電視監(jiān)視器,這在傳統(tǒng)的模擬視頻監(jiān)控中就是如此。
雖然國(guó)家安全是視頻監(jiān)控預(yù)計(jì)市場(chǎng)快速增長(zhǎng)的主要?jiǎng)恿Γ疽灿辛钊诵欧睦碛赊D(zhuǎn)向數(shù)字視頻。
普通賭場(chǎng),例如,擁有2000至3000個(gè)監(jiān)控?cái)z像頭,每年365天,每天24小時(shí)捕獲數(shù)據(jù),以及一小群安全人員監(jiān)控?cái)z像頭。聯(lián)邦和州法律要求將數(shù)據(jù)存儲(chǔ)長(zhǎng)達(dá)一年,這需要大約數(shù)TB的大容量存儲(chǔ)。
舉一個(gè)簡(jiǎn)單的例子,如果監(jiān)控賭場(chǎng)出口或入口的攝像機(jī)可以在檢測(cè)到運(yùn)動(dòng)時(shí)自動(dòng)開(kāi)啟,當(dāng)幀中沒(méi)有運(yùn)動(dòng)時(shí)關(guān)閉,單獨(dú)存儲(chǔ)的節(jié)省使得數(shù)字視頻成為可能德州儀器視頻監(jiān)控營(yíng)銷(xiāo)經(jīng)理Yvonne Cager說(shuō),這是一個(gè)有利可圖的建議。
與國(guó)家安全和反恐密切相關(guān)的應(yīng)用,包括有爭(zhēng)議的面部識(shí)別問(wèn)題,可以擴(kuò)大圖像識(shí)別和運(yùn)動(dòng)的極限檢測(cè)。這方面的例子包括跟蹤機(jī)場(chǎng)中無(wú)人看管的行李箱或包裹,并報(bào)告其在指定時(shí)間內(nèi)無(wú)人看管或監(jiān)控包裹如何在安全區(qū)域內(nèi)從一個(gè)地方移動(dòng)到另一個(gè)地方。
正如現(xiàn)在的情況一樣
數(shù)字視頻監(jiān)控對(duì)OEM和ODM提出了復(fù)雜的挑戰(zhàn),他們希望將包括圖像采集,數(shù)字信號(hào)處理,視頻算法,通信和存儲(chǔ)在內(nèi)的多種技術(shù)集成到一個(gè)復(fù)雜的高度可靠的系統(tǒng)。在大多數(shù)情況下,第一個(gè)挑戰(zhàn)是如何處理現(xiàn)有的模擬基礎(chǔ)設(shè)施做出關(guān)鍵決策。
簡(jiǎn)而言之,現(xiàn)有的傳統(tǒng)同軸電纜,攝像頭,模擬復(fù)用器和解碼器都很多。 ADI公司業(yè)務(wù)開(kāi)發(fā)經(jīng)理Noam Levine說(shuō),基礎(chǔ)設(shè)施。每個(gè)視頻監(jiān)控應(yīng)用都需要仔細(xì)評(píng)估如何將數(shù)字智能與模擬基礎(chǔ)設(shè)施相結(jié)合,但在許多情況下,答案是將智能應(yīng)用到攝像機(jī)本身。
可以通過(guò)在相機(jī)中嵌入智能來(lái)處理的相對(duì)簡(jiǎn)單的應(yīng)用是運(yùn)動(dòng)檢測(cè)和識(shí)別。例如,用于監(jiān)視室外場(chǎng)景以進(jìn)行可疑活動(dòng)的數(shù)碼相機(jī)可以執(zhí)行能夠區(qū)分在風(fēng)中搖曳的樹(shù)木或灌木以及進(jìn)入場(chǎng)景的個(gè)人或車(chē)輛的算法。
可能需要處理要求的應(yīng)用程序除了可以經(jīng)濟(jì)地安裝到攝像機(jī)之外的應(yīng)用程序之外,可能是攝像機(jī)和目標(biāo)正在移動(dòng)的空中監(jiān)視。在一些高端實(shí)例中,相機(jī)分辨率可能是高清晰度的。
在數(shù)字視頻監(jiān)控推出的早期階段,系統(tǒng)集成商以數(shù)字方式獲取數(shù)據(jù)(數(shù)碼相機(jī))并執(zhí)行一些圖像處理并且隨后做出決策(轉(zhuǎn)向或提升)并不罕見(jiàn)相機(jī))。然后將數(shù)據(jù)轉(zhuǎn)換為模擬數(shù)據(jù),這樣它就可以分布在現(xiàn)有的基礎(chǔ)設(shè)施上,只能恢復(fù)到數(shù)字?jǐn)?shù)據(jù),以便進(jìn)行更復(fù)雜的分析,最后進(jìn)行存儲(chǔ)。
未來(lái),我們可以期待看到可以利用傳輸幾乎免費(fèi)的IP網(wǎng)絡(luò)的端到端數(shù)字系統(tǒng)。每個(gè)監(jiān)控?cái)z像頭都將成為WebCam,智能將應(yīng)用于通信路徑上的視頻數(shù)據(jù)。
計(jì)算機(jī)視頻
在某些方面,數(shù)字視頻監(jiān)控可以打開(kāi)傳統(tǒng)視頻它的頭。例如,用于娛樂(lè)或類(lèi)似目的的視頻通常需要平衡的圖像,其在觀看時(shí)看起來(lái)盡可能逼真。但由于監(jiān)控視頻注定要由計(jì)算機(jī)而不是人類(lèi)“觀察”,因此應(yīng)增強(qiáng)圖像以使分析更容易。
對(duì)比度就是一個(gè)很好的例子。由于運(yùn)動(dòng)檢測(cè)和圖像識(shí)別算法通常在很大程度上依賴(lài)于識(shí)別物體的邊緣,因此高對(duì)比度圖像可能是最好的對(duì)象,并且可以在相機(jī)系統(tǒng)內(nèi)實(shí)現(xiàn)邊緣銳化算法。
這些圖像的機(jī)器解釋直接導(dǎo)致決策制定,這也可以在本地相機(jī)系統(tǒng)中完成。通過(guò)已經(jīng)被識(shí)別為感興趣的對(duì)象的幀來(lái)跟蹤運(yùn)動(dòng)可以導(dǎo)致成像系統(tǒng)向攝像機(jī)定位系統(tǒng)發(fā)出指令以平移,縮放或轉(zhuǎn)動(dòng)攝像機(jī),從而可以跟蹤對(duì)象超出初始場(chǎng)這個(gè)和其他場(chǎng)景導(dǎo)致了一個(gè)重要的硬件考慮因素,這在傳統(tǒng)視頻處理中幾乎是未知的,并且平衡了圖像處理和控制功能。
視頻標(biāo)準(zhǔn)
除了圖像識(shí)別,壓縮對(duì)DSP處理應(yīng)用程序的能力也有很大影響。在數(shù)字監(jiān)視中采用的壓縮算法包括JPEG2000,MPEG-2,MPEG-4和H.264。編解碼器的圖像分辨率通常以720×480像素(DIF)或352×288像素(CIF)來(lái)表示。
大多數(shù)使用模擬相機(jī)的應(yīng)用似乎都支持MPEG4編碼ADI的Levine說(shuō),CIF圖像尺寸。對(duì)于網(wǎng)絡(luò)攝像機(jī)的壓縮,要求范圍從15幀/秒的CIF圖像到30 fps的DIF圖像。最近的請(qǐng)求是MPEG4,但一些OEM正在轉(zhuǎn)向H.264。
從DSP的角度來(lái)看,兩家領(lǐng)先的供應(yīng)商— ADI公司和德州儀器公司采取了不同的方法數(shù)字視頻監(jiān)控。
多線程RTOS
ADI公司將注意力集中在雙重要求和信號(hào)處理和控制上。 ADI公司的Levine表示,其Blackfin處理器的指令集和架構(gòu)使其在任何一項(xiàng)任務(wù)中同樣適用于家庭。 Blackfin的架構(gòu)和相關(guān)工具允許設(shè)計(jì)人員將芯片資源分配給信號(hào)處理或控制功能,包括運(yùn)行TCP/IP堆棧。
由于處理器是可編程的,因此可以輕松升級(jí)以適應(yīng)新算法。通過(guò)集成Quadros Systems提供的多線程操作系統(tǒng),可進(jìn)一步提高其靈活性。
雖然Blackfin/Quadros RTXC/dm RTOS是一種通用RTOS,但它為視頻監(jiān)控提供了有價(jià)值的功能,營(yíng)銷(xiāo)總監(jiān)表示史蒂夫馬丁。它是可擴(kuò)展的,可以在多個(gè)核心或多個(gè)處理器上運(yùn)行。這在將多個(gè)視頻饋送全部反饋到大型機(jī)進(jìn)行處理的操作中非常有用。當(dāng)監(jiān)控系統(tǒng)本身擴(kuò)展時(shí)也很有用,例如在安全區(qū)域添加額外的樓層。
然而,最大的優(yōu)勢(shì)是多線程,與Blackfin處理器的雙重性質(zhì)相匹配。信息可以遵循兩個(gè)路徑之一,每個(gè)路徑都有自己的OS內(nèi)核。一條路徑使用以單個(gè)堆棧為特征的內(nèi)核。此路徑有時(shí)稱(chēng)為輕量級(jí)線程,因?yàn)樗槐4娌僮鞯纳舷挛?。這是DSP操作使用的路徑,直到完成為止,或直到它們被中斷為止。
圖1 顯示了RTOS架構(gòu)。右側(cè)使用RTXC/ss(單堆棧)內(nèi)核。右側(cè)使用RTXC/ms(多堆棧)內(nèi)核。
RTOS還指定了三個(gè)優(yōu)先級(jí)的優(yōu)先級(jí),如圖1 所示。中斷服務(wù)例程(ISR)具有最高優(yōu)先級(jí)。來(lái)自任何外圍設(shè)備(包括攝像機(jī)和其他安全傳感器)的信息可以啟動(dòng)ISR,這可能導(dǎo)致正在進(jìn)行的DSP操作停止并重置自身。 DSP操作(例如執(zhí)行算法)處于中等優(yōu)先級(jí)并且控制功能不必在硬實(shí)時(shí)中發(fā)生,例如傾斜相機(jī)和#151;具有最低優(yōu)先級(jí)。
TI的Cager表示,德州儀器公司在其高性能C6000內(nèi)核上采用數(shù)字視頻監(jiān)控解決方案,打造出一系列數(shù)字媒體處理器芯片。 VLIW架構(gòu)得到了有效處理8位數(shù)據(jù)的能力的補(bǔ)充,因?yàn)橐曨l通常以8位塊的形式到達(dá)。
TMS32DM64x數(shù)字媒體處理器具有片上視頻端口,可以處理視頻和音頻。添加外圍設(shè)備以適合特定應(yīng)用。 DM642有三個(gè)視頻端口; DM641有兩個(gè)視頻端口; DM640有一個(gè)視頻端口。 TCP/IP堆棧對(duì)于所有三個(gè)芯片都是通用的。
作為對(duì)這種基準(zhǔn)性能的預(yù)期要求的指南,德州儀器的600MHz DM642視頻處理器可以處理MPEG-2,MPEG-4和H.264的多個(gè)D1解碼。編碼更加計(jì)算密集,DM642下降到單個(gè)通道,用于編碼除MPEG-4算法之外的所有編碼。 400 MHz DM640能夠處理CIF分辨率。
TI還將其以太網(wǎng)供電解決方案與其數(shù)字視頻監(jiān)控平臺(tái)相結(jié)合。 TI將其平臺(tái)稱(chēng)為IP攝像機(jī),因?yàn)樗鼈兡軌蛲ㄟ^(guò)TCP/IP鏈路運(yùn)行。
監(jiān)控自動(dòng)化
雖然DSP芯片和RTOS對(duì)于正常運(yùn)行的數(shù)字視頻監(jiān)控系統(tǒng)至關(guān)重要,但這些系統(tǒng)的核心是成像算法。這些用于解析視頻幀,解釋已處理的視頻數(shù)據(jù),并根據(jù)軟件根據(jù)數(shù)據(jù)創(chuàng)建的推斷以及它與一組規(guī)則交互的方式采取特定操作。
數(shù)字視頻監(jiān)控專(zhuān)用軟件有三個(gè)主要組成部分:視頻分析,內(nèi)容分析以及對(duì)內(nèi)容分析結(jié)果采取措施。用于通過(guò)電纜傳輸視頻數(shù)據(jù)的視頻壓縮也有助于DSP的計(jì)算負(fù)荷。但由于壓縮的這種利用并非特定于監(jiān)視應(yīng)用,因此這里不再討論。
使用TI的600-MHz,4800-MIPS DM642作為基準(zhǔn),圖像處理部分“只是設(shè)計(jì)師所掌握的計(jì)算能力的一小部分”,副總裁Paul Brewer表示。 ObjectVideo,Inc。的技術(shù)實(shí)際數(shù)量在實(shí)施中差別很大,但30%到40%是一個(gè)合理的大概數(shù)字。
ObjectVideo已經(jīng)在現(xiàn)場(chǎng)運(yùn)行的軟件在PC上運(yùn)行,但公司有利用DM642的嵌入式產(chǎn)品的功能原型。
第一步是視頻分析。該功能的示例包括分離和丟棄諸如雨或樹(shù)的背景圖像數(shù)據(jù)以及識(shí)別和提取移動(dòng)物體。將原始視頻數(shù)據(jù)拆分為視頻監(jiān)控要素后,將其轉(zhuǎn)換為元數(shù)據(jù)。元數(shù)據(jù)來(lái)自用于面向?qū)ο缶幋a的MPEG-4壓縮數(shù)據(jù)。
元數(shù)據(jù)被發(fā)送到內(nèi)容分析引擎,在那里由負(fù)責(zé)站點(diǎn)的安全官設(shè)置的一組規(guī)則進(jìn)行評(píng)估。 。這主要是評(píng)估子集的問(wèn)題。例如,如果移動(dòng)對(duì)象被識(shí)別為人,并且如果該人移動(dòng)經(jīng)過(guò)安全機(jī)構(gòu)指定的場(chǎng)景中的某個(gè)點(diǎn),則該軟件將啟動(dòng)操作。
ObjectVideo的應(yīng)用軟件使用簡(jiǎn)單點(diǎn)擊工具界面,幫助安全人員創(chuàng)建規(guī)則集。安全區(qū)域的視頻圖像用于繪制安全邊界,這些邊界以若干方式注釋以實(shí)現(xiàn)一組規(guī)則。示例屏幕顯示在圖2 中。
圖2前景中的視頻圖像顯示了華盛頓特區(qū)里根機(jī)場(chǎng)附近的海岸線。通過(guò)簡(jiǎn)單的圖形工具繪制的大致平行于海岸線的紅線代表虛擬旅行線。
黃色箭頭表示將啟動(dòng)規(guī)則違規(guī)的動(dòng)作方向。如果右類(lèi)的物體沿指示的方向穿過(guò)跳閘線,則至少部分規(guī)則序列將被違反。規(guī)則序列的另一部分可能是穿過(guò)絆網(wǎng)的物體類(lèi)型。
除絆網(wǎng)外,該軟件還可以實(shí)施其他類(lèi)型的規(guī)則,例如游蕩規(guī)則。
違反規(guī)則時(shí),ObjectVideo控制臺(tái)上會(huì)顯示警報(bào)。此外,可以將包含靜止圖像的電子郵件發(fā)送給安全管理器,并且可以對(duì)手機(jī)進(jìn)行自動(dòng)呼叫。該軟件可能需要特定類(lèi)型的確認(rèn),即已收到警報(bào)。
該軟件識(shí)別出潛在的威脅,Brewer說(shuō)。只有安全專(zhuān)業(yè)人員才能確定導(dǎo)致一個(gè)或多個(gè)規(guī)則被破壞的活動(dòng)的真實(shí)性質(zhì)。
結(jié)論
數(shù)字視頻監(jiān)控需要集成多種技術(shù)之前很少被整合。嵌入式系統(tǒng)的趨勢(shì),其中大部分智能在相機(jī)本身內(nèi)或附近,將為能夠處理工作的DSP提供快速增長(zhǎng)的市場(chǎng)。
-
嵌入式系統(tǒng)
+關(guān)注
關(guān)注
41文章
3683瀏覽量
131418 -
數(shù)字視頻監(jiān)控
+關(guān)注
關(guān)注
0文章
4瀏覽量
6552
發(fā)布評(píng)論請(qǐng)先 登錄
嵌入式開(kāi)發(fā)入門(mén)指南:從零開(kāi)始學(xué)習(xí)嵌入式
如何成為一名嵌入式軟件工程師?
使用Lattice mVision打造嵌入式視覺(jué)系統(tǒng)解決方案
嵌入式系統(tǒng)中的代碼優(yōu)化與壓縮技術(shù)
數(shù)字電路在嵌入式系統(tǒng)中的應(yīng)用
新手怎么學(xué)嵌入式?
嵌入式系統(tǒng)開(kāi)發(fā)與硬件的關(guān)系 嵌入式系統(tǒng)開(kāi)發(fā)常見(jiàn)問(wèn)題解決
嵌入式超火的方向有哪些?
Orin芯片的嵌入式系統(tǒng)
使用DaVinci SoC的數(shù)字視頻

嵌入式系統(tǒng)的原理和應(yīng)用
嵌入式系統(tǒng)的未來(lái)趨勢(shì)有哪些?
學(xué)習(xí)hypervisor嵌入式產(chǎn)品安全設(shè)計(jì)
嵌入式軟件開(kāi)發(fā)與AI整合

評(píng)論