為提高安全性并優(yōu)化運營，倉庫、工廠、體育場、機場等大型區(qū)域通常會有數(shù)百個攝像頭進行監(jiān)控。多攝像頭追蹤指的是通過這些攝像頭追蹤對象，并精確測量其活動，以此實現(xiàn)對空間的有效監(jiān)控和管理。

例如，零售店可以使用多攝像頭追蹤了解顧客如何在過道中穿行，通過改進店鋪布局，為顧客提供更好的購物體驗；倉庫可以通過監(jiān)控設(shè)備、材料和人員的流動，來提高安全性、加快交付速度和降低成本；機場可以通過追蹤人流來加強安保和提升旅行體驗。

但落實多攝像頭追蹤系統(tǒng)可能具有一定的挑戰(zhàn)性。

第一，要匹配多個攝像頭從不同角度和視野所拍攝的對象，需要有經(jīng)過數(shù)月精準訓(xùn)練的先進算法和 AI 模型，尤其是基準真相訓(xùn)練數(shù)據(jù)集非常稀缺。數(shù)據(jù)集的標記工作需要由一個人或一小群人對來自眾多攝像頭的所有數(shù)據(jù)流進行審查，以保證識別與追蹤的一致性，這就延遲了 AI 模型的訓(xùn)練。

第二，多攝像頭實時追蹤需要建立專門的實時數(shù)據(jù)流、多流融合、行為分析和異常檢測模塊，實現(xiàn)亞秒級的延遲和高吞吐量。

第三，要擴展到工廠、機場等更大的空間，就必須采用分布式計算和云原生架構(gòu)來處理成千上萬個攝像頭和對象。

因此，我們發(fā)布了全新的多攝像頭追蹤參考工作流，推動新一代視覺 AI 的發(fā)展，使其能夠測量并幫助管理大型空間的基礎(chǔ)設(shè)施和運營。

NVIDIA 多攝像頭追蹤

NVIDIA 多攝像頭追蹤是一個可自定義的工作流。您可以放心地從這里開始，無需從頭啟動開發(fā)工作，這將節(jié)省您數(shù)月的開發(fā)時間。

該工作流還提供一條經(jīng)過驗證的生產(chǎn)路徑，并且包含在真實和合成數(shù)據(jù)集上預(yù)訓(xùn)練的高級 AI 模型，您可以根據(jù)自己的用例對這些模型進行自定義。該流程也已包含實時視頻流模塊。

基礎(chǔ)層：通過融合多攝像頭視頻，為對象創(chuàng)建全局 ID 及其全局和局部坐標的生產(chǎn)就緒功能。

分析層：唯一對象計數(shù)和本地軌跡。

可視化和 UI：作為進一步開發(fā)基礎(chǔ)的示例熱圖、直方圖和路徑。

借助該工作流的這些組件，您就可以對業(yè)務(wù)邏輯進行編碼，并構(gòu)建端到端視覺 AI 應(yīng)用，實現(xiàn)對空間的優(yōu)化與管理。

無需支付額外費用，只需基礎(chǔ)設(shè)施和工具許可證即可。此外，您還能通過 NVIDIA AI Enterprise 獲得專家支持以及多攝像頭追蹤工作流的最新產(chǎn)品更新。

開始使用多攝像頭追蹤工作流

如要開始使用，請參見多攝像頭追蹤快速入門指南，了解如何在本地開發(fā)或云中部署該參考工作流。

有關(guān)仿真和微調(diào)用例的更多信息，請參見從仿真到部署的全套方法。

在以下章節(jié)中，我們將引導(dǎo)您了解該工作流的應(yīng)用架構(gòu)，以及開發(fā)、配置和部署工作流的各個步驟。

端到端多攝像頭追蹤工作流

圖 1. 從仿真到部署的多攝像頭追蹤工作流

多攝像頭追蹤參考工作流（圖 1）從媒體管理微服務(wù)獲取實時或錄制的數(shù)據(jù)流，并在多攝像頭視圖中輸出對象的行為和全局 ID。行為可定義為對象在任何給定時間的位置、方向、速度或軌跡。

對象元數(shù)據(jù)（如邊界框、追蹤 ID 和帶有時間戳的行為數(shù)據(jù)等）存儲在 Elasticsearch 索引中，行為數(shù)據(jù)也經(jīng)過排序并存儲在 Milvus 向量數(shù)據(jù)庫中。工作流結(jié)束時會運行一項網(wǎng)絡(luò) UI 微服務(wù)，使您能夠生成行為的可視化圖，并點擊任何對象查找其在任何時刻的位置（時間戳）。可通過網(wǎng)絡(luò) API 微服務(wù)從 ELK 或 Milvus 獲取數(shù)據(jù)。

在視頻 1 中，右側(cè)窗格顯示了疊加對象全局 ID 及其行為的建筑地圖。左側(cè)的攝像頭視圖顯示對象的當前位置。在該窗口中，您可以使用對象的全局 ID 對其進行查詢，查看其在特定時間段內(nèi)的位置。例如，如果用全局 id-2 查詢對象，就可以獲得與該對象 ID 相關(guān)的元數(shù)據(jù)。

基礎(chǔ)模塊

該應(yīng)用由多個 NVIDIA Metropolis 微服務(wù)構(gòu)建而成：

媒體管理

感知

多攝像頭融合

行為分析

網(wǎng)絡(luò) API

網(wǎng)絡(luò) UI

數(shù)據(jù)流分發(fā)和路由（SDR）

它還包含第三方微服務(wù)：

消息代理（Kafka）

Elasticsearch Logstash Kibana 堆棧（ELK）

矢量數(shù)據(jù)庫（Milvus）

使用了多個 NVIDIA Metropolis 工具：

攝像機校準工具

Pipetuner 自動參數(shù)追蹤工具

使用了以下感知模型：

人物檢測和重新識別嵌入

從仿真到部署的全套方法

我們將探討開發(fā)這些高級 AI 功能的全套方法，從使用數(shù)字孿生進行仿真和合成數(shù)據(jù)生成開始，一直到部署到云端用于推理為止。

仿真和訓(xùn)練

想要構(gòu)建最為高效、準確的 AI 工作流，就必須使用先進的 NVIDIA 技術(shù)，比如使用以下工具創(chuàng)建 3D 數(shù)字孿生、生成合成數(shù)據(jù)和簡化模型開發(fā)：

NVIDIA Omniverse：建立真實世界環(huán)境的 3D 數(shù)字副本、定位虛擬攝像頭以捕獲各種合成數(shù)據(jù)、生成基準真相注釋，并在實際部署前驗證應(yīng)用。

NVIDIA Isaac Sim：使用 Omni.Replicator.Agent 仿真智能體，包括人和機器人，以簡化從場景中生成合成數(shù)據(jù)。如需了解更多信息，請參見使用 NVIDIA Metropolis 微服務(wù)將多攝像頭追蹤工作流部署到公有云（視頻）。

NVIDIA TAO 套件：同時使用真實數(shù)據(jù)與合成數(shù)據(jù)，簡化訓(xùn)練并優(yōu)化模型，通過量化和剪枝提高推理性能。

這些工具可共同加強 AI 模型的訓(xùn)練、驗證和優(yōu)化，保證其在真實世界應(yīng)用中發(fā)揮高性能。

構(gòu)建和部署多攝像頭追蹤工作流

針對多攝像頭追蹤應(yīng)用，NVIDIA 提供了多種構(gòu)建和部署應(yīng)用程序的選項。

使用 docker-compose 進行快速部署

現(xiàn)在，任何人都可以開始使用多攝像頭追蹤應(yīng)用。NVIDIA 提供了一些在默認設(shè)置下就可以使用的示例視頻流，這些視頻流可以在 nvstreamer 微服務(wù)中進行配置。

然后，您可以配置這些 RTSP 流，或?qū)⒄鎸崝z像頭 RTSP 端點添加到 VST 中。除了這些流之外，NVIDIA 還提供了使用 deepstream-app 生成的感知元數(shù)據(jù)樣本，供任何人檢查多攝像頭數(shù)據(jù)流。您可以按以下方式部署整個端到端工作流：

$dockercompose-ffoundational/mdx-foundational.yml-fmtmc-app/mdx-mtmc-app.yml--profilee2eup-d--pullalways--build--force-recreate

這里的 mdx-foundational.yaml 文件是一個 docker-compose 文件，包含 Elasticsearch、Kafka 等基本服務(wù)。mdx-mtmc-app.yaml 文件包含感知、媒體管理、行為分析等微服務(wù)。

如要試用帶有現(xiàn)成感知數(shù)據(jù)的多攝像頭應(yīng)用，請運行帶有播放配置文件參數(shù)的 docker compose 命令：

$dockercompose-ffoundational/mdx-foundational.yml-fmtmc-app/mdx-mtmc-app.yml--profileplaybackup-d--pullalways--build--force-recreate

使用 Helm 圖表在 Kubernetes 的生產(chǎn)環(huán)境中進行部署

如要在 Kubernetes 中部署多攝像頭追蹤應(yīng)用，首先要創(chuàng)建一個 Kubernetes 服務(wù)器。詳細信息參見軟硬件前提條件。這些應(yīng)用資源位于 NGC 中。

下文假定您已設(shè)置了 Kubernetes 服務(wù)器并擁有 NGC 團隊訪問權(quán)限。

下載部署包：

ngcregistryresourcedownload-version"nfgnkvuikvjm/mdx-v2-0/metropolis-apps-k8s-deployment:-"

該部署包具有存儲、監(jiān)控服務(wù)等基礎(chǔ)服務(wù)和應(yīng)用 helm 配置的 Helm values.yaml 文件。

Values 文件是應(yīng)用的配置文件，您可以在其中定義特定服務(wù)的映像、服務(wù)副本數(shù)量、服務(wù)類型、端口、入口、卷、存儲等。

該應(yīng)用 helm 配置為每項微服務(wù)提供一個 Values 文件，如感知（wdm-deepstream-mtmc-values.yaml）和多攝像頭融合（mtmc-app-override-values.yaml）等。

更多信息，請參見 Values 文件。

部署基礎(chǔ)服務(wù)

helminstallmdx-foundation-sys-svcs--waithttps://helm.ngc.nvidia.com/nfgnkvuikvjm/mdx-v2-0/charts/mdx-foundation-sys-svcs-v1.3.tgz--username='$oauthtoken'--password=YOUR_API_KEY-fapplication-helm-configs/foundational-sys/foundational-sys-monitoring-override-values.yaml

這里的 foundational-sys-monitoring-override-values.yaml 文件被 override values.yaml 文件取代，您可以在其中定義任何經(jīng)過更新的應(yīng)用設(shè)置，例如為 Grafana UI 添加密碼等。

部署微服務(wù)

除感知微服務(wù)外，每個微服務(wù) pod 都可以共享 GPU。GPU 共享通過 NVIDIA_VISIBLE_DEVICES 啟用。每個微服務(wù)都有一個用于自定義各項配置的 override value.yaml 文件。我們將在后面討論自定義問題。

與基礎(chǔ)服務(wù)類似，您可以單獨部署每項微服務(wù)。例如，如要部署多攝像頭融合微服務(wù)運行，請使用以下代碼：

helminstallmdx-mtmc-apphttps://helm.ngc.nvidia.com/nfgnkvuikvjm/mdx-v2-0/charts/mdx-mtmc-app-1.0.37.tgz--username='$oauthtoken'--password=-fapplication-helm-configs/MTMC/mtmc-app-override-values.yaml

關(guān)于如何部署其他微服務(wù)的更多信息，請參見用戶指南。

訪問多攝像頭追蹤 UI

在完成部署后，您可以訪問多攝像頭追蹤用戶界面。

為了在多攝像頭視圖中有效追蹤對象、最大程度地減少遮擋和提高空間理解能力，NVIDIA 在多攝像頭融合和行為分析微服務(wù)中采用了攝像頭校準技術(shù)，其中包括提供示例視頻流以及 calibration.json 文件和建筑地圖圖像。calibration.json 文件包含圖像坐標和全局坐標，這些坐標用于將每個攝像頭的視圖與通用的自上而下的地圖視圖對齊。

使用一鍵式部署腳本在云端部署

為了將 Metropolis 應(yīng)用部署到云端，NVIDIA 向 Microsoft Azure、Google Cloud Platform、亞馬遜云科技（AWS）等多家云服務(wù)提供商（CSP）提供了一鍵式腳本。更多信息，參見使用 NVIDIA Metropolis 微服務(wù)將多攝像頭追蹤工作流部署到公有云（視頻）。

以及 NVIDIA Metropolis 用戶指南中的云設(shè)置專題。

根據(jù)您的用例進行配置

如果您已經(jīng)遵循了所有的構(gòu)建和部署說明，那么現(xiàn)在您就可以在隨版本一起打包的示例數(shù)據(jù)流上，運行多攝像頭追蹤工作流，并生成結(jié)果的可視化圖。

為了根據(jù)您的用例擴展應(yīng)用，NVIDIA 在每個微服務(wù)級別和工具中都提供了一些配置選項?？稍?override-values.yaml 中添加配置級自定義。

helminstallvst-apphttps://helm.ngc.nvidia.com/rxczgrvsg8nx//charts/-.tgz--username='$oauthtoken'--password=-fapplication-helm-configs/MTMC/override-values.yaml

在媒體管理微服務(wù)中使用視頻存儲套件配置攝像頭?

您可以在這項微服務(wù)中設(shè)置您的視頻流配置。在有實時攝像頭的情況下，可以使用視頻存儲套件（VST）。VST 提供多種配置，您可以根據(jù)自己的需要進行設(shè)置：

vst_config.json:
  notifications:
    enable_notification: true
    use_message_broker: "kafka"
  security:
   use_https: false
   use_http_digest_authentication: false
vst_storage.json:
   total_video_storage_size_MB: 100000

現(xiàn)在，您可以使用這些 override-values.yaml 更新來部署微服務(wù)：

訪問 VST 儀表盤：http://IP_address:30000

添加攝像頭

將經(jīng)過微調(diào)的模型和自定義追蹤器整合到感知微服務(wù)中

感知微服務(wù)提供多種配置選項，例如多攝像頭追蹤應(yīng)用帶有用于檢測人物的默認模型。如果您有自定義模型且必須更新模型參數(shù)，可以更新模型配置文件。

感知微服務(wù)基于 NVIDIA DeepStream。NVIDIA DeepStream 提供了多種類型的追蹤器，來追蹤單個攝像頭視圖內(nèi)的對象。您可以選擇任何一種追蹤器并更新配置。

典型的感知微服務(wù)管線包含一個檢測器和一個多對象追蹤器，每個檢測器和追蹤器的配置文件都列有大量參數(shù)。由于需要針對不同的應(yīng)用來手動調(diào)整這些參數(shù)，會使達到最佳的準確性具有一定的挑戰(zhàn)性，因此 NVIDIA 提供 pipe tuner 工具來幫助您獲得最佳參數(shù)，并在特定用例中達到最佳的準確性。

使用攝像頭校準套件創(chuàng)建校準文件

您必須為新添加的攝像頭流創(chuàng)建 calibration.json 文件，才能使用多攝像頭融合和行為分析 (Multi-Camera Fusion and Behaviour Analytics) 微服務(wù)。為了實現(xiàn)高效、可擴展的攝像頭校準，NVIDIA 提供了基于 UI 的攝像頭校準套件。

監(jiān)控和記錄

NVIDIA 在多攝像頭追蹤應(yīng)用中，將 Kibana 控制面板與基礎(chǔ)服務(wù)整合到一起，以便您對應(yīng)用進行監(jiān)控和可視化。

打開 Kibana 控制面板。

圖 2. 使用 Kibana 面板通過

時間戳監(jiān)控多攝像頭追蹤對象

從左上方可以看到，在給定的輸入流中總共檢測到 34 個對象。但在 34 個對象中，只有 6 個唯一人物。圖像底部是多攝像頭追蹤工作流直方圖。

立刻開始使用該工作流

多攝像頭追蹤參考工作流現(xiàn)已全面推出開發(fā)者預(yù)覽版。立刻開始使用快速入門指南，并按照分步說明下載工作流構(gòu)件，然后就可以在您的專用系統(tǒng)環(huán)境或云環(huán)境中部署該工作流。

如要使用覆蓋整個視覺 AI 生命周期（從仿真到微調(diào)和部署）的 NVIDIA 工具自定義和進一步構(gòu)建該工作流，請參見 Metropolis 多攝像頭仿真到部署快速入門指南。

嘗試該工作流并通過開發(fā)者論壇或您的 NVIDIA 企業(yè)支持團隊給出您的反饋意見。

我們迫不及待地想看到您使用多攝像頭追蹤所構(gòu)建出的流程，如何將物理空間的安全性與實用性提升到新的水平！