在智能影像視頻分析的廣泛應(yīng)用下，多重識別是現(xiàn)今影像監(jiān)控系統(tǒng)中的一個重要應(yīng)用，在此過程中會使用多個影像視頻流來做分析識別，這有助于數(shù)據(jù)分析以及安全上的操作。而多重識別則需要有較高性能的計算與使用深度學習來將多重識別功能付諸實現(xiàn)。基于此一原則下, 國內(nèi)IC設(shè)計領(lǐng)導廠商聯(lián)詠科技 Novatek 提供使用自家高性能芯片 NT98336 透過 PCIe Gen3 界面結(jié)合搭載擁有每秒高達26兆次運算(TOPS)的 Hailo-8人工智能處理器，以開發(fā)具有高效能的后端智能影像視頻分析解決方案。

聯(lián)詠科技 Novatek NT98336 是一款專為多路 H265 高清 DVR/HVR 系統(tǒng)設(shè)計的專業(yè) SoC 芯片。它內(nèi)置 ARM Cortex CA53 四核 CPU、H.264/H265 編解碼器、MJPEG 編解碼器、Novatek CNN Gen2.5 - 2.25T 硬件加速器、2D 圖形加速引擎、多通道高清視頻采集、4K 超高清顯示控制器、RGMII 以太網(wǎng)控制器、USB3.0 和 USB2.0 端口、PCIe Gen3、SATA3.0 端口和 AMBA 總線架構(gòu)為用戶提供高性能高清 DVR/HVR。NT98336 還提供視頻預處理和后處理，并支持多格式視頻輸入應(yīng)用于高視頻質(zhì)量高清 DVR/HVR 的應(yīng)用。

(Novatek NT98336 Evaluation Kit)

Hailo-8人工智能處理器則是選用 Hailo-8 M.2 模塊，它是一款適用于 AI 應(yīng)用的 AI 加速器模塊。該 AI 模塊基于每秒26兆次運算(TOPS)的 Hailo-8人工智能處理器，具有高能效。M.2 AI 加速器具有完整的 PCIe Gen-3.0 2通道接口，能提供前所未有的 AI 性能，并為廣泛市場提供低功耗深度神經(jīng)網(wǎng)絡(luò)推理。利用 Hailo 的綜合數(shù)據(jù)流編譯器及其對標準 AI 框架的支持，可以輕松移植其神經(jīng)網(wǎng)絡(luò)模型 Hailo-8，提供高性能人工智能產(chǎn)品。

(Hailo-8 M.2 AI Acceleration Module)

(Hailo-8 M.2 AI Acceleration Module + PCIe adapter board)

應(yīng)用板使用方式

連接應(yīng)用板和周邊相關(guān)裝置 (ex. 12V電源、HDMI屏幕、攝像機)

從 HDMI port 輸出開啟智能影像視頻分析顯示，以畫框方式來標示人或物體。

?場景應(yīng)用圖

?展示板照片

?方案方塊圖

?核心技術(shù)優(yōu)勢

(1) 影像監(jiān)控結(jié)合 AI 運算動作更加精確

(2) 支援 DVR/HVR 混合應(yīng)用

(3) 支持多種影像顯示輸出界面 HDMI/VGA/CVBS

(4) 實現(xiàn)實時、低延遲、高效率的人工智能推理

(5) 專有的新型結(jié)構(gòu)驅(qū)動數(shù)據(jù)流架構(gòu)

(6) 通過芯片級聯(lián)提供可擴展功能

(7) 實現(xiàn)多流和多模型的同時處理

(8) 高精度同時處理多人與高質(zhì)量的影像視頻識別分析

(9) 改進視頻分析并具有成本效益

(10) 與現(xiàn)有解決方案相比，成本效益最高（TOPS/$）

?方案規(guī)格

(1) ARM Cortex-CA53 Quad Cores NT98336 核心芯片

(2) 4CH、8CH、16CH Multi-channel encoding up to 1080p@300fps

(3) 每秒26兆次運算 (TOPS) Hailo-8 M.2 的 AI 加速器模塊

(4) Hailo-8 支持框架 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

(5) 完整的 PCIe Gen-3.0 2通道接口

(6) Linux OS系統(tǒng)

(7) 電源輸入使用 12V/2A

Q&A

Q1. 解決方案所支援的操作系統(tǒng)？

A：NT98336 支援 Linux，聯(lián)詠 HDAL 系統(tǒng)框架，保持一致 API 接口，跨平臺/芯片通用

Q2. 解決方案可支援到多大的影像格式輸出？

A：NT98336 HDMI 最大可輸出 4K2K，VGA 最大可輸出 1080P/60fps

Q3. 解決方案是否有提供儲存裝置界面？

A：NT98336 有提供支援2個 SATA 3.0 的儲存裝置界面

Q4. 解決方案中人工智能處理器支持框架有哪幾種?

A：Hailo-8 支持框架有 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

Q5. 解決方案中人工智能處理器的溫度范圍?

A：Hailo-8 支持 -40°C 至 85°C 的擴展溫度范圍

Q6. 解決方案中人工智能處理器的功耗為多少?

A：Hailo-8 一般功耗為2.5瓦

Q7. 解決方案中人工智能處理器的優(yōu)勢?

A：Hailo-8 具有高達26 TOPS和一流的能效