建設(shè)訓(xùn)練和測試場地以幫助將運(yùn)動分析 AI 解決方案從實(shí)驗(yàn)室推進(jìn)到現(xiàn)實(shí)世界是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。在以團(tuán)隊(duì)為基礎(chǔ)的體育運(yùn)動中，在冠軍賽季前制定正確的比賽策略是任何職業(yè)教練和俱樂部所有者成功的關(guān)鍵。

盡管教練們努力在比賽中提供最佳提示并指出錯誤，但他們?nèi)匀粺o法在重新觀看比賽時注意到雙方的每一個細(xì)節(jié)和行為模式。要收集這些數(shù)據(jù)，分析它們，并對團(tuán)隊(duì)行為做出推斷，您可以使用復(fù)雜的 AI 算法。

特別是，我們想要解決的任務(wù)類型是培養(yǎng)橄欖球隊(duì)的分析能力，即比賽期間每個球員的位置以及每個球員在球場上的 3D 姿勢。實(shí)時獲得這些信息為制定更好的游戲策略提供了必要的證據(jù)。

在許多體育分析案例中，一類問題已經(jīng)找到了有效的解決方案，但無法有效應(yīng)用——主要瓶頸是缺少數(shù)據(jù)。

收集和標(biāo)記數(shù)據(jù)的過程可能既昂貴又耗時。人類必須手動分析圖像，與計(jì)算機(jī)相比，這種重復(fù)性工作不僅速度慢、成本高，而且精確度也較低。

此外，還有一些情況需要現(xiàn)代設(shè)備來生成標(biāo)記數(shù)據(jù)，并需要高素質(zhì)的專家來維護(hù)生產(chǎn)過程。這種情況顯著增加了項(xiàng)目成本，或者在許多情況下，使利益相關(guān)者無法實(shí)現(xiàn)體育分析項(xiàng)目。

基于團(tuán)隊(duì)的運(yùn)動：機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺的誘人機(jī)會

如果你能自動生成圖像和視頻數(shù)據(jù)，完全適合手頭的任務(wù)，并內(nèi)置完整且始終正確的地面真相，會怎么樣？

在這篇文章中，我們將以足球或橄欖球運(yùn)動員的 3D 姿勢識別為例，展示我們實(shí)現(xiàn)這一目標(biāo)的嘗試。目標(biāo)是訓(xùn)練人工智能模型，以準(zhǔn)確識別足球運(yùn)動員及其姿勢，將其作為真實(shí)比賽畫面上 3D 空間中的人體關(guān)鍵點(diǎn)。

人工智能模型專門針對使用 SKY ENGINE 人工智能平臺和 NVIDIA RTX 機(jī)器生成的人工合成數(shù)據(jù)進(jìn)行訓(xùn)練。生成的圖像是完全由 SKY ENGINE 渲染器控制的模擬場景。根據(jù)模型的要求，可以提供各種基本事實(shí)。

具有 NVIDIA RTX 核心的 SKY ENGINE AI 渲染引擎為深度學(xué)習(xí)提供基于物理的渲染。異構(gòu)系統(tǒng)由 NVIDIA Titan RTX 和 NVIDIA V100 GPU 組成。這是一種高效且功能強(qiáng)大的配置，可以同時生成標(biāo)記的多光譜 （如果需要）數(shù)據(jù)集和訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

這種方法的主要優(yōu)點(diǎn)包括：

有效處理不平衡數(shù)據(jù)

準(zhǔn)確檢測制服和體育場上的標(biāo)識（誤報）

通常，帶有壓縮偽影的噪聲、低質(zhì)量數(shù)據(jù)流不會降低 AI 驅(qū)動的推理精度

可以有效地導(dǎo)出廣播攝像機(jī)的未知參數(shù)

提供高質(zhì)量的 3D 貼圖

可以精確地對小目標(biāo)進(jìn)行姿態(tài)估計(jì)

運(yùn)動和構(gòu)造的復(fù)雜結(jié)構(gòu)可以準(zhǔn)確識別

NVIDIA RTX 體系結(jié)構(gòu)的高效數(shù)據(jù)處理和計(jì)算優(yōu)化

下面是 SKY ENGINE AI 平臺中解決的 3D 姿勢估計(jì)問題的完整解決方案。

使用 SKY ENGINE AI 平臺的運(yùn)動分析案例

首先，必須配置渲染引擎，定義渲染數(shù)據(jù)源，并訓(xùn)練 AI 模型以進(jìn)行人體檢測和 3D 姿勢估計(jì)。

資源加載和渲染引擎配置

從加載體育場幾何體的資源開始。這些資源在標(biāo)準(zhǔn) 3D 建模軟件中準(zhǔn)備，并以 Alembic 格式加載到 SKY ENGINE 中。

renderer_ctx.load_abc_scene('stadium')
renderer_ctx.setup()

接下來，顯示體育場的加載幾何體：

with example_assistant.get_visualizer() as visualizer:
visualizer(renderer_ctx.render_to_numpy())

下一步需要使用 Python API 加載幾何體的紋理：

stadium_base_textures = SubstanceTextureProvider(renderer_ctx, 'concrete')
stadium_base_params = PBRShader.create_parameter_provider(renderer_ctx, tex_scale=50)
renderer_ctx.set_material_definition('stadion_base_GEO',
??MaterialDefinition(stadium_base_textures, parameter_set=stadium_base_params))

如前所示， SKY ENGINE 提供了對程序紋理的完全支持，這帶來了各種數(shù)據(jù)的快速生成以及基于物理的渲染（ PBR 著色器）。

定義環(huán)境地圖如下：

renderer_ctx.define_env(Background(renderer_ctx,
EnvMapMiss(renderer_ctx),
HdrTextureProvider(renderer_ctx, 'light_sky')))

此時，場景中已渲染體育場。下一步是配置整個場景并用播放器填充它。您可以使用一種方便的實(shí)例化機(jī)制來實(shí)現(xiàn)這一點(diǎn)。

“天空引擎”（ SKY ENGINE ）渲染器提供了幾乎無限的可能性來洗牌、乘法、隨機(jī)化和組織資源。從某個玩家的單個 Alembic 動畫中，您將創(chuàng)建兩個團(tuán)隊(duì)，每個團(tuán)隊(duì)由 20 名玩家組成。

renderer_ctx.layout().duplicate_subtree(renderer_ctx, 'player_GEO_NUL', suffix='team2')
renderer_ctx.layout().get_node('player_GEO_NUL').n_instances = 20
renderer_ctx.layout().get_node('player_GEO_NUL_team2').n_instances = 20

默認(rèn)情況下，所有材質(zhì)都是隨機(jī)繪制的。要創(chuàng)建兩個合適的球隊(duì)，您需要確保給定球隊(duì)中的每個球員都有相同顏色的球衣。保持所有其他輸入的隨機(jī)性，例如頭發(fā)、膚色、襪子顏色、襯衫編號等。

要實(shí)現(xiàn)這一點(diǎn)，您必須將玩家分成不同的隨機(jī)分組，并定義他們的繪圖策略。控制襯衫顏色的 Substance archive 輸入為 Colors _ select 。在隨機(jī)化組內(nèi)需要相同（同步），組間需要不同。默認(rèn)情況下，所有其他輸入保持隨機(jī)化。

shirt_sync = SynchronizedInput(SynchronizationDescription(
in_strategy=Synchronization.DISTINCT_EQUAL_GROUPS))
player_material_strategy = DrawingStrategy(renderer_ctx, inputs_strategies={'Colors_select': shirt_sync})
renderer_ctx.instancers['player_GEO'].modify_material_definition(strategy=player_material_strategy)
renderer_ctx.instancers['player_GEO_team2'].modify_material_definition(randomization_group='team2',
strategy=player_material_strategy)

圖 5 顯示了每個玩家都處于相同的姿勢。默認(rèn)情況下， SKY ENGINE 逐幀播放 Alembic 文件中的動畫，因此必須隨機(jī)化此參數(shù)。

player_geometry_strategy = DrawingStrategy(renderer_ctx, frame_numbers_strategy=UniformRandomInput())
renderer_ctx.instancers['player_GEO'].modify_geometry_definition(strategy=player_geometry_strategy)

橄欖球比賽中，球員分布不均勻；他們傾向于聚集在一起，靠得更近。為了使場景看起來更自然，可以更改繪制球員位置的方式。您可以使用隨機(jī)高斯分布，而不是均勻地繪制它們。它是雙重隨機(jī)的，因?yàn)槭紫?img alt="\mu" class="latex" src="https://s0.wp.com/latex.php?latex=%5Cmu&bg=ffffff&fg=000&s=0&c=20201002" style="border:0px;vertical-align:baseline;margin:0px;padding:0px;font:inherit;height:auto;width:auto;" />and然后使用這些參數(shù)隨機(jī)繪制玩家的位置。

gauss_strategy = DrawingStrategy(renderer_ctx,
default_input_strategy=RandomGaussianRandomInput(sigma_relative_limits=(0.1, 0.2)))
renderer_ctx.layout().get_node('player_GEO_NUL').modify_locus_definition(strategy=gauss_strategy)

在這篇文章中，我們跳過了相機(jī)、燈光和后處理的額外配置，但我們鼓勵您從 GitHub repo 獲取詳細(xì)信息。移動到與場景語義和基本事實(shí)相關(guān)的配置。

關(guān)鍵點(diǎn)已出現(xiàn)在播放器的動畫中。默認(rèn)情況下， SKY ENGINE 會計(jì)算有關(guān)關(guān)鍵點(diǎn)的所有信息（如果它在輸入資源中接收到這些信息）。您只需將它們可視化，以確保所有配置都正確。綠色關(guān)鍵點(diǎn)可見，紅色關(guān)鍵點(diǎn)隱藏。

example_assistant.visualized_outputs = {SceneOutput.BEAUTY, SceneOutput.SEMANTIC, SceneOutput.KEYPOINTS}

場景看起來正確，因此可以為 AI 培訓(xùn)創(chuàng)建渲染器數(shù)據(jù)源。

datasource = MultiPurposeRendererDataSource(renderer_context=renderer_ctx, images_number=20, cache_folder_name='rugby_presentation_new')

人工智能模型訓(xùn)練過程

在培訓(xùn)階段，您將使用在 DeepSky 庫中實(shí)現(xiàn)的模型和培訓(xùn)器，該庫是 SKY ENGINE AI 平臺的一部分。

main_datasource = SEWrapperForDistancePose3D(datasource, imgs_transform=transform)
train_data_loader = DataLoader(dataset,
batch_size=Constants.TRAIN_BATCH_SIZE,
num_workers=Constants.NUM_WORKERS,
drop_last=Constants.DROP_LAST,
shuffle=Constants.VALID_SHUFFLE,
collate_fn=collate_fn)
model = get_pose_3d_model(main_datasource.joint_num, backbone_pretrained=True)
trainer = DefaultTrainer(
data_loader=train_data_loader, model=model, epochs=Constants.EPOCHS, save_freq=1,
valid_data_loader=valid_data_loader, optimizer=optimizer, evaluator=evaluator, scheduler=scheduler, serializer=serializer)
trainer.train()

現(xiàn)在檢查人工智能模型在合成數(shù)據(jù)上的訓(xùn)練結(jié)果，以驗(yàn)證所有配置是否正確。在每個歷元之后，保存一個檢查點(diǎn)并生成一些推理示例以查看訓(xùn)練進(jìn)度。

show_jupyter_picture('gtc03_assets/trained/img2.png')

人工智能模型在真實(shí)圖像上的結(jié)果

在下一步中，將在真實(shí)視頻上驗(yàn)證結(jié)果。首先，使用預(yù)訓(xùn)練模型進(jìn)行玩家檢測，以找到邊界框。有關(guān)更多信息，請參閱 GTC 2019 上提供的播放器檢測教程，該教程可在天空引擎 AI GitHub repo 上獲得。

checkpoint = torch.load('gtc03_assets/trained/rugby_detection.pth.tar')
for k, v in sorted(checkpoint.items()):
??checkpoint[''.join(['_model.', k])] = checkpoint.pop(k)
detection_model.load_state_dict(checkpoint)
detection_model = detection_model.to(device)
real_dataset = ImageInferenceDatasource(dir='gtc03_assets/real_data', extension='png')
out = outputs.pop()
bboxes = out['boxes'].cpu().detach().numpy()
bboxes = bboxes[np.where(labels == 1)[0]]
labels = out['labels'].cpu().detach().numpy()
bbox_image = bboxes_viz(orig_img, bboxes)

with torch.no_grad():
??results = model((img,), ({'boxes': torch.from_numpy(bboxes).int()},))
results = results.pop()
output_coords, output_bboxes = results['pred_poses_coords'].cpu(), \
????????results['boxes'].cpu()

SKY ENGINE AI 能夠訓(xùn)練其關(guān)鍵點(diǎn) AI 模型之一，以檢測玩家并正確估計(jì)骨骼關(guān)節(jié)的 3D 坐標(biāo)?？捎脭?shù)據(jù)的質(zhì)量極低是由于捕獲了分辨率較低、壓縮能力強(qiáng)的實(shí)況電視廣播。如果不使用具有完美地面真實(shí)性的合成數(shù)據(jù)方法，這種評估任務(wù)在使用真實(shí)畫面進(jìn)行人工智能模型訓(xùn)練的傳統(tǒng)方法中幾乎是不可能的。
結(jié)論

三維姿態(tài)估計(jì)是最復(fù)雜的計(jì)算機(jī)視覺任務(wù)之一，通常需要高質(zhì)量的圖像、校準(zhǔn)的攝像機(jī)和完美的照明條件。另一方面，訓(xùn)練用于運(yùn)動分析的姿勢估計(jì)算法需要昂貴的運(yùn)動捕捉課程，并在球場上安裝復(fù)雜的設(shè)備。

我們剛剛介紹了如何使用簡單的 3D 資源和在 NVIDIA 硬件上工作的 SKY ENGINE AI 平臺解決這個問題。

SKY ENGINE AI 工具用于構(gòu)建團(tuán)隊(duì)體育應(yīng)用程序，這可能會徹底改變這些游戲。球員、教練、俱樂部、決策者、球迷和廣播機(jī)構(gòu)可能會從這些運(yùn)動的進(jìn)一步民主化中受益。例如，您可以使用 SKY ENGINE AI 快速評估來自代表性不足地區(qū)或較低聯(lián)賽的球員的技能，而無需個別球探的武斷判斷。

這種方法可以很容易地復(fù)制到訓(xùn)練模型中，以檢測人類，估計(jì)他們的位置，并分析他們在任何條件下的運(yùn)動，而不考慮環(huán)境：工廠、車間或空間站。

關(guān)于天空引擎 AI

SKY ENGINE AI 是一個模擬和深度學(xué)習(xí)平臺，可生成完全注釋的合成數(shù)據(jù)，并按比例訓(xùn)練 AI 計(jì)算機(jī)視覺算法。該平臺生成照片級真實(shí)感環(huán)境和對象的高度平衡的圖像數(shù)據(jù)，并提供高級域自適應(yīng)算法。 SKY ENGINE AI 平臺是一個工具，可供開發(fā)人員、數(shù)據(jù)科學(xué)家和 ML /軟件工程師在任何行業(yè)創(chuàng)建計(jì)算機(jī)視覺項(xiàng)目。

SKY ENGINE AI 平臺能夠從頭開始構(gòu)建優(yōu)化的定制 AI 模型，并在虛擬現(xiàn)實(shí)中對其進(jìn)行培訓(xùn)。 SKY ENGINE AI 軟件使您能夠創(chuàng)建任何傳感器、無人機(jī)或機(jī)器人的數(shù)字孿生模型，并在實(shí)際部署之前在虛擬環(huán)境中對其進(jìn)行測試和培訓(xùn)。

SKY ENGINE AI 數(shù)據(jù)生成通過為任何計(jì)算機(jī)視覺應(yīng)用程序提供完美平衡的合成數(shù)據(jù)集，使數(shù)據(jù)科學(xué)家的生活更加輕松。示例包括對象檢測和識別、 3D 定位和姿勢估計(jì)。其他復(fù)雜的案例包括使用雷達(dá)、激光雷達(dá)、衛(wèi)星、 X 射線等分析多傳感器數(shù)據(jù)。

關(guān)于作者

Jakub Pietrzak 是 Sky Engine AI 的首席技術(shù)官。他負(fù)責(zé) GPU 加速研究、數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)算法開發(fā)。他是一名計(jì)算機(jī)視覺魔術(shù)師，在機(jī)器學(xué)習(xí)、光線跟蹤和數(shù)字圖像處理方面有 15 年以上的經(jīng)驗(yàn)。

審核編輯：郭婷