作為實現(xiàn)智能制造、工業(yè)4.0、工業(yè)互聯(lián)網(wǎng)和智能城市的一種技術和手段，數(shù)字孿生（Digital twin）正迅速引起學術界和工業(yè)界的關注并被逐漸應用。數(shù)字孿生是以數(shù)字化的方式建立多空間尺度、多時間尺度、多物理實體的多維動態(tài)虛擬模型來仿真真實環(huán)境中的屬性、行為和性能等。目前，基礎的數(shù)字孿生模型通常為最初定義的三維模型，即物理實體、虛擬實體以及它們之間的聯(lián)系。隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新信息技術的發(fā)展，數(shù)字孿生在向著基于物聯(lián)網(wǎng)的集成、虛擬實體與實體的互聯(lián)等方向發(fā)展。通過大數(shù)據(jù)分析方法和人工智能的深入結(jié)合，融合多源異構(gòu)數(shù)據(jù)，支持虛擬數(shù)據(jù)與真實數(shù)據(jù)的連接，數(shù)字孿生模型可以提供智能決策。這一進展為實時仿真和優(yōu)化創(chuàng)造了可能，從而提供了按需智能服務。

本研究旨在結(jié)合人工智能中的視覺問答技術，將數(shù)字孿生模型應用于人機協(xié)作任務上。如圖1所示，用于人機協(xié)作的數(shù)字孿生模型由五部分組成：物理系統(tǒng)、虛擬系統(tǒng)、服務系統(tǒng)、數(shù)據(jù)庫和各部分間的交互。物理系統(tǒng)中包括每個物理實體，人類和機器是重要的組成部分，此外，還考慮了加工的產(chǎn)品、加工設備、周圍環(huán)境信息等。速度、能量、溫度、濕度、壓力等數(shù)據(jù)可直接由傳感器從材料、設備和環(huán)境中采集，人類的行為、狀態(tài)、意圖則以攝像、語音或計算及外部輸入設備等方式進行獲取。上述數(shù)字信息共同構(gòu)成了人機協(xié)作的數(shù)字孿生模型中的虛擬系統(tǒng)。然后，在服務系統(tǒng)中，應用人工智能技術，對系統(tǒng)中的視覺信息、自然語言信息和傳感器信息進行綜合分析、建模、表征和預測，其結(jié)果進一步補充至虛擬系統(tǒng)。最后，虛擬系統(tǒng)對現(xiàn)實世界中的人類、機器進行反饋，從而形成完整的數(shù)字孿生閉環(huán)系統(tǒng)。

圖1 數(shù)字孿生五維模型示意圖

結(jié)合視覺問答技術，現(xiàn)實的物理世界在虛擬系統(tǒng)中進行演化，其演化結(jié)果進一步反饋并影響現(xiàn)實世界，過程如圖2所示。舉例來說，如果采用新的策略對生產(chǎn)線進行改造，則可以首先在數(shù)字孿生系統(tǒng)中對生產(chǎn)過程進行仿真。用數(shù)字孿生模型模擬人類、機器及其相互作用。例如，如果將產(chǎn)品的尺寸改為較小的尺寸，則可能會調(diào)整相機的位置、傳感器參數(shù)以獲得清晰的圖像和數(shù)據(jù)。同時，模型的結(jié)構(gòu)和參數(shù)也可能需要調(diào)整。如果在數(shù)字孿生模型中新的策略得到成功的測試，那么就可以在實際的生產(chǎn)環(huán)境中進行部署。

圖2 人機協(xié)作（HMC）流程示意圖