人-信息-物理系統(tǒng)(HCPS)的智能制造理論體系明確了人在智能制造系統(tǒng)的中心地位。從智能制造人機協(xié)同的需求出發(fā),基于人機交互鴻溝理論,在行為、意圖、認知三個層面討論了人因工程在“人本智造”中的研究重點。圍繞虛實融合場景、多模態(tài)人機交互及認知量化等方法,闡述了人因工程在促進HCPS智能融合的重要作用。最后,從實現(xiàn)HCPS集成的智能制造系統(tǒng)出發(fā),提出了“人本智造”的研究方向和學科發(fā)展建議。

本文作者：楊曉楠、房浩楠、李建國、薛 慶。? ? ? ??

引言 ? ? ? ?

“十四五”規(guī)劃綱要提出深入實施制造強國戰(zhàn)略,推動智能制造發(fā)展,促進制造業(yè)智能化升級,實現(xiàn)向“中國智造”的轉(zhuǎn)變。目前,我國制造業(yè)持續(xù)快速發(fā)展,形成了門類齊全、獨立完整的產(chǎn)業(yè)體系,有力推動了我國的工業(yè)化和現(xiàn)代化進程。同世界先進水平相比,我國制造業(yè)存在大而不強等問題,自主創(chuàng)新能力、資源利用效率、產(chǎn)業(yè)結(jié)構(gòu)水平、信息化程度、質(zhì)量效益等方面的差距尤其明顯,工業(yè)智能化轉(zhuǎn)型升級和跨越發(fā)展的任務(wù)緊迫而艱巨。

新一代互聯(lián)網(wǎng)、人工智能、數(shù)字孿生等技術(shù)的不斷發(fā)展為我國智能制造的發(fā)展持續(xù)注入了強勁的動力。過分追求信息化、數(shù)字化的生產(chǎn)模式已不能滿足生產(chǎn)車間柔性化、用戶個性定制化等復雜作業(yè)的需求,智能制造中的難點開始凸顯,因此生產(chǎn)趨勢急需改變,人作為關(guān)鍵因素不能再被忽視。工業(yè)5.0 的概念逐漸引起人們的重視,作為工業(yè)4.0的延續(xù)和補充,工業(yè)5.0除了注重產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化和自動化水平提升,又將人置于制造業(yè)中心,讓技術(shù)主動服務(wù)和適應(yīng)人,并更注重人的價值和感受。以人為中心的智能制造要考慮工人的安全感和幸福感,打消工人對工業(yè)革命浪潮帶來的“機器換人”的擔憂和顧慮,讓勞動力重回工廠。

在汽車行業(yè),由于頻繁變更的車型,企業(yè)需要制造系統(tǒng)具備更加柔性化的部署[1],以滿足智能制造面臨的小批量、多品種的生產(chǎn)需求。在3C行業(yè),電子產(chǎn)品的更新?lián)Q代周期通常在1到2年,這導致生產(chǎn)線經(jīng)常需要改造,部署調(diào)整成本高[2]。因此無論是考慮生產(chǎn)周期還是實施成本,僅依靠工業(yè)機器人很難滿足這些行業(yè)的生產(chǎn)需求。作為一種模塊化的小型智能化工廠實踐,整個智能生產(chǎn)單元由自動化模塊、信息化模塊和智能化模塊組成,包含設(shè)備、機器人、AGV、網(wǎng)絡(luò)、信息數(shù)據(jù)等。智能生產(chǎn)單元將人作為關(guān)鍵因素,由人負責對柔性、觸覺、靈活性要求比較高的工序,機器人則利用其快速、準確的特點來負責重復性的工作,以“最小的智能化工廠”實現(xiàn)多品種、小批量的生產(chǎn)智能化。如何落實人機交互生產(chǎn)模式,將操作人員、機器人和輔助設(shè)備等進行模塊化、集成化、一體化的聚合,通過人與機器人的協(xié)調(diào)合作,充分發(fā)揮機器人的效率及人類的智能,使制造系統(tǒng)具備多品種、小批量產(chǎn)品的柔性生產(chǎn)輸出能力,已成為解決當前智能制造發(fā)展瓶頸的關(guān)鍵[3]。因此,開展人機交互的生產(chǎn)模式,使人和機器和諧共處,滿足消費者對產(chǎn)品個性定制化的需求,打消工人對失業(yè)的擔憂,使人回歸制造業(yè)。

本文著重分析智能制造系統(tǒng)中的人機協(xié)同需求與人機交互鴻溝，從行為、意圖、認知三個層次闡述人因工程在縮小人機交互鴻溝、實現(xiàn)人機協(xié)作中的重要性，并在此基礎(chǔ)上結(jié)合數(shù)字孿生、混合現(xiàn)實等先進技術(shù)的發(fā)展與應(yīng)用,提出面向智能制造的人機交互的人因工程發(fā)展建議。

1

智能制造中的人機協(xié)同

智能制造的藍圖中,人機協(xié)同成為主流的生產(chǎn)和服務(wù)方式。由于人與“機”的深度協(xié)作,人在智能制造系統(tǒng)中的作業(yè)任務(wù)和要求都發(fā)生了巨大的變化。盡管人不再承擔重復性的工作,但仍是決策回路系統(tǒng)的中心環(huán)節(jié),始終處于主導地位[4-5]。人機協(xié)同的深層內(nèi)涵是“人機智能融合”,它代表人與“機”需要共同完成指定任務(wù)。在完成動態(tài)作業(yè)任務(wù)的過程中,制造系統(tǒng)需要與工作人員保持步調(diào)一致,面對動態(tài)作業(yè)需求,進行資源適配與自主協(xié)同,實現(xiàn)協(xié)調(diào)生產(chǎn)。ZHOU等[6]提出的人-信息-物理系統(tǒng)(human-cyber-physical system,HCPS)的智能制造發(fā)展理論,明確了以物理系統(tǒng)(機器、機器人、加工過程)為主體、以信息系統(tǒng)為主導、以人為決策主宰的技術(shù)體系(圖1)。通過信息系統(tǒng)遷移人的部分感知、分析和控制功能,替代人的大部分體力勞動和部分腦力勞動。人與物理系統(tǒng)的結(jié)合使整個制造系統(tǒng)具備較高的生產(chǎn)效率、生產(chǎn)能力和生產(chǎn)質(zhì)量[7]。根據(jù)智能制造的人-信息-物理系統(tǒng)發(fā)展理論,智能制造人機協(xié)同中的“機”具有兩層含義:一是信息系統(tǒng),即人與計算機等智能體、智能系統(tǒng)的交互(human-computer interaction);二是物理系統(tǒng),即人與機器人、設(shè)備等物理實體的交互(human-robot interaction)。本章從智能制造人機協(xié)同的需求出發(fā),對人與信息系統(tǒng)、物理系統(tǒng)交互的研究重點進行闡述,并梳理上述過程中存在的人機交互鴻溝。

圖1 新一代人-信息-物理系統(tǒng)的原理簡圖[6] Fig.1 Schematic diagram of the new HCPS

1.1?/ 人與信息系統(tǒng)的交互

智能制造系統(tǒng)[8]是建立在新一代信息技術(shù)之上、面向人機協(xié)同與生產(chǎn)過程自治的新一代HCPS。HCPS中的關(guān)鍵問題在于如何實現(xiàn)人與“機”的智能融合。在復雜且動態(tài)變化的生產(chǎn)任務(wù)下,信息系統(tǒng)如何通過數(shù)據(jù)與模型對物理系統(tǒng)進行實時的感知、認知、分析、決策與控制,并與人一起不斷優(yōu)化分配資源,進行合理的任務(wù)決策與調(diào)度,實現(xiàn)資源的在線適配,從而實現(xiàn)對作業(yè)需求的快速響應(yīng)與協(xié)同生產(chǎn)。數(shù)字孿生作為信息-物理空間交互融合的有效手段,能更好地反映實際生產(chǎn)狀態(tài),使操作人員更好地了解系統(tǒng)的整體運行情況。數(shù)字孿生技術(shù)通過物理模型、傳感器更新、運行歷史等數(shù)據(jù),建立物理世界與虛擬世界的雙向動態(tài)連接,為解決信息和物理系統(tǒng)的融合提供了有效途徑[9-10]。

柔性生產(chǎn)趨勢下,實現(xiàn)人機協(xié)作的核心問題是如何實現(xiàn)人與制造系統(tǒng)的有效協(xié)同,尤其是針對信息系統(tǒng)的狀態(tài)感知。智能化的生產(chǎn)系統(tǒng)必然產(chǎn)生復雜的信息系統(tǒng),隨著數(shù)字孿生、深度學習、知識工程等在不同領(lǐng)域的發(fā)展與應(yīng)用,如何實現(xiàn)人與制造系統(tǒng)數(shù)字孿生體的無縫銜接[11-13],使人通過信息系統(tǒng)快速準確地掌握整個系統(tǒng)的運行狀態(tài),已成為實現(xiàn)人與“機”智能融合的又一關(guān)鍵問題。

1.2?/ 人與物理系統(tǒng)的交互

物理系統(tǒng)主要指智能制造系統(tǒng)中的智能設(shè)備及機器人。隨著機器人與自動化控制技術(shù)的發(fā)展,工業(yè)機器人憑借控制精度高、反應(yīng)速度快、工作能力強等優(yōu)勢,已成為發(fā)展智能制造不可忽視的重要組成部分。現(xiàn)在,絕大部分的產(chǎn)業(yè)化工業(yè)機器人一直未能脫離預(yù)編程/遙操作的控制方式,很多工廠雖通過部署機器人實現(xiàn)了自動化,但智能化程度不高[14]。為保證人機交互的安全,需將人與工業(yè)機器人的工作區(qū)域隔離開,無法實現(xiàn)真正意義上的人機協(xié)作。人與靈活、安全的物理系統(tǒng)共同協(xié)作已成為發(fā)展以人為中心的智能制造系統(tǒng)的關(guān)鍵[15-16]。人與機器人共同完成動態(tài)作業(yè)任務(wù),充分發(fā)揮人與機器的長處是未來智能制造的重要研發(fā)方向。

與汽車行業(yè)相比,航空航天、造船和建筑等領(lǐng)域的制造任務(wù)和過程過于復雜,裝配精度要求高,目前仍依賴手工操作[17],因此有必要開展人機協(xié)作的研究。由協(xié)作機器人輔助人來完成復雜作業(yè),使人的腦力、體力維持在最佳水平,并使大腦認知資源的需求與大腦認知資源對任務(wù)的供給處于平衡[18],避免負荷過載和欠載對操作人員的負面影響[19-20],減輕人的負擔,提高任務(wù)執(zhí)行效率和生產(chǎn)安全性。LIU等[21]研究了肌電信號控制協(xié)作機器人的相關(guān)算法,SARA等[22]探索了指導性手勢在工業(yè)領(lǐng)域人機協(xié)作場景下的有效性。歐姆龍于2020年推出的“人機協(xié)作的智能化單元生產(chǎn)線”融合了人工智能、物聯(lián)網(wǎng)、大數(shù)據(jù)分析等先進技術(shù),針對多品種、小批量生產(chǎn)模式,實現(xiàn)了生產(chǎn)效率、柔性、品質(zhì)的提升,通過人與機器的互相感知,可在同一現(xiàn)場通過互補、協(xié)助實現(xiàn)超柔性生產(chǎn)。國內(nèi)協(xié)作機器人行業(yè)的領(lǐng)軍者——遨博于2021年推出的“利用機器人生產(chǎn)機器人的智能化柔性生產(chǎn)線”,通過模塊化設(shè)計及協(xié)作生產(chǎn)等方式,為協(xié)作機器人在工業(yè)生產(chǎn)領(lǐng)域中的人機協(xié)作應(yīng)用提供了穩(wěn)定高效的參考樣本。

上述研究均表明,自動化和智能化的發(fā)展并不會完全替代人,如何保障人與物理系統(tǒng)的交互順暢,使機器快速準確地捕獲操作人員的作業(yè)意圖是實現(xiàn)人機協(xié)同作業(yè)的關(guān)鍵。

1.3?/ 人機交互鴻溝

智能工廠是實現(xiàn)智能制造的重要載體,智能工廠環(huán)境下,人與信息物理系統(tǒng)的關(guān)系從傳統(tǒng)的操作控制模式逐步向人機協(xié)作的方式轉(zhuǎn)變。實現(xiàn)人機交互的首要任務(wù)是建立一個能實現(xiàn)人與機信息傳輸?shù)那?這主要包括3個階段:①操作人員感知信息物理系統(tǒng),并用自然便捷的行為方式表達作業(yè)意圖;②信息物理系統(tǒng)準確理解操作人員的作業(yè)意圖,完成智能分析、決策與控制,對不同任務(wù)做出反應(yīng);③對上述人機信息傳輸過程進行認知能力評估,調(diào)節(jié)優(yōu)化雙方的作業(yè)方式,從而最大程度降低認知負荷和疲勞度。因此,要想準確有效構(gòu)建人與信息及物理系統(tǒng)的友好協(xié)作關(guān)系,還需解決現(xiàn)存的人機交互鴻溝問題。

人機交互鴻溝包括評估鴻溝(gulf of evaluation)和執(zhí)行鴻溝(gulf of execution)[23],即人與“機”每次交互時都會面臨認知系統(tǒng)狀態(tài)、對系統(tǒng)做出反應(yīng)并執(zhí)行操作的兩大挑戰(zhàn),這貫穿于人“機”信息傳輸?shù)?個階段。評估鴻溝指的是人在與系統(tǒng)交互的過程中,對系統(tǒng)狀態(tài)的理解與系統(tǒng)實際運行情況的差異。執(zhí)行鴻溝指的是在交互過程中,人需要采取行動實現(xiàn)特定目標時,操作者的心理認知與系統(tǒng)的實際運行方式之間的差距。人機交互中,評估和執(zhí)行階段相互依存,描述了操作人員成功與任何系統(tǒng)完成交互所必須經(jīng)歷的循環(huán),如圖2所示,成功的評估需要感知系統(tǒng)呈現(xiàn)信息的狀態(tài)指標并理解其含義,成功的執(zhí)行需要弄清楚要做什么來完成目標。

圖2 人機交互中的評估與執(zhí)行鴻溝 Fig.2 Gulf of evaluation and execution in human-computer interaction

智能制造的信息物理系統(tǒng)與操作人員之間必然存在評估鴻溝與執(zhí)行鴻溝。如果系統(tǒng)不能清楚表示當前狀態(tài),操作人員就必須付出大量的認知資源來了解系統(tǒng)的當前狀況、下一步操作后會發(fā)生什么,并且不斷推測、判斷之前的操作有沒有更接近目標。隨著系統(tǒng)復雜性的提高,人需要克服的交互鴻溝也越來越大。系統(tǒng)是由設(shè)計人員(專家)創(chuàng)造的,因此鴻溝主要出現(xiàn)在操作人員與專家之間,設(shè)計者需要了解人使用系統(tǒng)的操作習慣與認知能力,研究人的潛在學習理論與心智模型是幫助減小交互鴻溝的有效途徑。

2

“以人為本”的智能制造

2.1?/ 智能制造中人的因素

新一代智能制造更加強調(diào)人的中心地位[24],智能制造發(fā)展的目的是更好地為人服務(wù)?；?HCPS 理論,王柏村等[25]提出了包含單元級智能制造、系統(tǒng)級智能制造、系統(tǒng)之系統(tǒng)級智能制造的人本智造架構(gòu),并從產(chǎn)品、生產(chǎn)、模式、基礎(chǔ)建設(shè)4個維度對“人本智造”進行了闡述(圖3)。其中,以人為本的智能產(chǎn)品是主體,以人為本的智能生產(chǎn)是主線,以人為本的產(chǎn)業(yè)模式變革是主題,以人為本的智能制造基礎(chǔ)建設(shè)是研究的理論與方法基石。

圖3 “人本智造”四個維度中的人因工程[25] Fig.3 Human factors in four-dimension of human-centered intelligent manufacturing[25]

從智能制造全生命周期的角度出發(fā)[26],結(jié)合人所擔任的角色,可以看出智能制造的不同環(huán)節(jié)均需考慮人的因素,這包括人的作用、人體工效學、認知工效學、組織工效學、人機關(guān)系等(圖4)。國內(nèi)外學者對人在制造系統(tǒng)中的關(guān)鍵地位、決定性作用進行了分析,梳理了制造系統(tǒng)中的人的因素及相關(guān)研究,認為先進技術(shù)只有真正和人協(xié)同起來才能充分發(fā)揮作用,進而真正帶來智能化生產(chǎn)的效益[27-29]。

圖4 智能制造系統(tǒng)中人的因素[25] Fig.4 Human factors in intelligent manufacturing systems

隨著新一代智能制造相關(guān)研究的發(fā)展,大數(shù)據(jù)智能、群體智能、跨媒體智能、混合增強智能及自主無人系統(tǒng)極大改變了人在系統(tǒng)中的作用[30-31]。由于信息系統(tǒng)開始具備深度學習和自主認知及決策的相關(guān)基本能力,人可以將更多的重復性工作或簡單腦力勞動,甚至知識型工作交給信息系統(tǒng)完成。這使得人可以將更多的精力放在思考和需要更多想象力與創(chuàng)造力的工作上,這一變化將貫穿整個智能制造系統(tǒng)的設(shè)計、生產(chǎn)、物流、銷售、服務(wù)等環(huán)節(jié)。此類系統(tǒng)中,人主要作為系統(tǒng)的設(shè)計者存在,雖然直接參與系統(tǒng)的實時運行與控制性工作減少,但仍然需要參與系統(tǒng)的運維、創(chuàng)新和優(yōu)化等環(huán)節(jié)[32]。

人在系統(tǒng)中的角色和作用發(fā)生改變直接導致人機關(guān)系的變化。智能工廠環(huán)境下,人與信息物理系統(tǒng)的關(guān)系從傳統(tǒng)的操作控制模式逐步向人機交互的方式轉(zhuǎn)變。與此同時,工業(yè)5.0的發(fā)展也將人機交互的模式從“人適應(yīng)機器”轉(zhuǎn)變?yōu)椤皺C器服務(wù)于人”。LI等[33]指出人機協(xié)作的主要目標在于機器協(xié)助人而不是取代人,減少人在生產(chǎn)線上的重復工作,降低人體的工程學壓力和工作負荷,提高生產(chǎn)質(zhì)量和效率,實現(xiàn)人機優(yōu)勢互補。NAHAVANDI[34]強調(diào)工業(yè)5.0將會提高人機之間的主動性,以及互學習、互理解、互輔助融合能力,機器認知能力的增強使機器適應(yīng)不斷變化的環(huán)境及任務(wù),與人可以進行自然的深度交流、互學習、互推理,更好地協(xié)助于人、服務(wù)于人。

從行為、意圖、認知三個層次分析智能制造中人的中心地位已成為當前的研究重點,相關(guān)研究成果如表1所示[35-44]。利用動作捕捉等技術(shù),采用生物力學、人機工程學,從行為層面對工人作業(yè)姿勢進行疲勞度分析;引入機器學習、計算機視覺、動態(tài)決策、神經(jīng)網(wǎng)絡(luò)算法等先進技術(shù),分析人的行為表征,推測、預(yù)判人的作業(yè)意圖;為人機交互過程構(gòu)建人體認知負荷評估模型,形成有效的認知負荷均衡機制和優(yōu)化方法,從認知層面形成自適應(yīng)調(diào)節(jié)。這些都從不同領(lǐng)域闡述了智能制造中研究人的因素的重要性。

↓ 表1 智能制造中人的因素相關(guān)研究成果 Tab.1 Research achievements related to human factors in intelligent manufacturing

與此同時,更多學者將人因工程的研究引入智能制造系統(tǒng),YANG等[45]針對智能制造監(jiān)控系統(tǒng)開展了“人在回路”的相關(guān)人因研究,探索通過瞳孔變化預(yù)測腦力負荷,以提高監(jiān)控系統(tǒng)的宜人性設(shè)計。王柏村等[46]將“面向智能制造的人因工程”定義為:基于對人、機器、技術(shù)和環(huán)境的深入研究,發(fā)現(xiàn)并利用人的自然行為方式、工作能力、作業(yè)限制等特點,通過對智能制造系統(tǒng)中相關(guān)信息與工具、任務(wù)和環(huán)境、人員安排等進行合理設(shè)計,以提高智能制造系統(tǒng)的效率、安全性、舒適性和有效性的工程技術(shù)。由此看來,在“以人為本”的模式下,智能制造系統(tǒng)中的人因研究尤為重要,但針對該領(lǐng)域的研究相對匱乏,因此如何讓智能系統(tǒng)的設(shè)計更符合人的使用習慣,有效縮小人機交互鴻溝,使人能及時掌握復雜系統(tǒng)的運行態(tài)勢并做出正確反應(yīng),已成為人與智能系統(tǒng)融合的重要研究領(lǐng)域。

2.2?/ 人因工程助力“人本智造”

人因工程(human factor engineering,HFE)是近年來隨著科技全面進步與工業(yè)化水平大幅度的提升而迅猛發(fā)展的一門綜合性交叉學科,它綜合運用生理學、心理學、人體測量學、生物力學、計算機科學、系統(tǒng)科學等多學科的研究方法和手段,致力于研究人、機器及所處工作環(huán)境之間的相互關(guān)系和影響,以提高系統(tǒng)性能并確保人的安全、健康和舒適[47-48]。

面對工業(yè)4.0的迅猛發(fā)展和工業(yè)5.0的到來,人因工程始終以提高生產(chǎn)效率為目標,深入解決復雜的人與自動化、智能化的安全高效交互的問題[49]。隨著制造業(yè)的進步與發(fā)展,人因工程的關(guān)注焦點也從傳統(tǒng)的降低疲勞、體力解放、效率提升,轉(zhuǎn)變到人的智能增強,同時也推動了制造業(yè)的進步,特別是提升了工業(yè)、計算機等領(lǐng)域的信息交互系統(tǒng)的適人性水平[50-51]。同樣,本文將人因工程研究及發(fā)展方向從行為、意圖、認知三個層面進行聚焦(圖5)。

圖5 人本智造中人因工程的研究聚焦層次 Fig.5 Human factor engineering research focus level

(1)行為層面。行為層面的研究通常對人根據(jù)系統(tǒng)狀態(tài)表達出的顯性行為進行分析,獲取人的作業(yè)姿勢、物理行為、習慣特征等數(shù)據(jù),并借助人機工效分析方法分析人體的可視性與可達性,判斷人的生理極限和作業(yè)能力,優(yōu)化作業(yè)流程與作業(yè)空間設(shè)計。

(2)意圖層面。意圖的研究聚焦為自然意圖的表達方式,基于人的眼動、手部動作、肢體運動等物理行為的特征屬性,通過多模態(tài)特征融合方法,明確操作人員的作業(yè)意圖、目的和期望,并根據(jù)具體作業(yè)意圖的多模態(tài)表達對系統(tǒng)做出優(yōu)化和調(diào)整。

(3)認知層面。認知層面的研究主要集中在人隱性狀態(tài)的表征,例如通過采集操作人員的心電、腦電、皮膚電等多源生理數(shù)據(jù),構(gòu)建人的認知狀態(tài)模型和認知負荷量化指標等方法,開展對人的認知負荷、疲勞程度等的量化與評估。在操作人員都沒有意識到疲勞或異常狀態(tài)時,實現(xiàn)系統(tǒng)的主動感知與協(xié)調(diào)。

堅持以人為中心的理念、遵循系統(tǒng)工程思想和方法、直接面向設(shè)計和具體應(yīng)用場景是人因工程的另一典型特征。當前,以人工智能、混合現(xiàn)實、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等為代表的新技術(shù)與制造業(yè)加速融合,推動智能系統(tǒng)向更貼近人的智慧系統(tǒng)改變。影響深遠的科技革命和產(chǎn)業(yè)變革正在逐步興起,智能制造、智能生產(chǎn)單元、人機協(xié)同制造等新型生產(chǎn)方式不斷涌現(xiàn),給人因工程的研究環(huán)境帶來了巨大的改變。人因工程的科學思想、理論方法、設(shè)計理念和技術(shù)應(yīng)用將推進信息化與工業(yè)化的深度融合,推動智能裝備、可穿戴智能產(chǎn)品、虛擬信息顯示、增強現(xiàn)實、人機交互等技術(shù)快速發(fā)展,實現(xiàn)人與信息物理系統(tǒng)的有機結(jié)合,在不斷提升產(chǎn)品品質(zhì)和制造業(yè)核心競爭力等方面發(fā)揮重要作用。

除此之外,中國工程院智能制造課題組的研究報告[52]指出:“智能制造系統(tǒng)是一個大概念,一個不斷演進的大系統(tǒng),是新一代信息技術(shù)與先進制造技術(shù)的深度融合,貫穿于產(chǎn)品、制造、服務(wù)全生命周期的各個環(huán)節(jié)及相應(yīng)系統(tǒng)的優(yōu)化集成,不斷提升企業(yè)的產(chǎn)品質(zhì)量、效益、服務(wù)水平,減少資源消耗,推動制造業(yè)創(chuàng)新、綠色、協(xié)調(diào)、開放、共享發(fā)展”,是我國制造業(yè)升級的發(fā)展方向[53],也與智能制造中的人的因素形成呼應(yīng)?？紤]“以人為本”的智能制造,即從“人本智造”的四個維度出發(fā),在設(shè)計之初就充分考慮用戶需求和人的因素,根據(jù)消費者或目標用戶群的定位,利用互聯(lián)網(wǎng)、虛擬現(xiàn)實、多視角共享等智能技術(shù),使用戶直接參與設(shè)計、研發(fā)、測評等環(huán)節(jié)。針對生產(chǎn)環(huán)節(jié)的設(shè)計或工作人員,利用知識工程、機器學習、自然行為交互等研究成果,開展人機協(xié)同設(shè)計、人機協(xié)作裝配、以人為本的生產(chǎn)管理等研究,全面提升產(chǎn)品設(shè)計、制造和管理的水平。

因此,如何完成先進技術(shù)與人因工程在智能制造系統(tǒng)中的整合是下一步需要解決的問題,形成一套前后端貫通的完整解決方案,從分析人的作業(yè)姿勢到識別人的行為意圖、均衡人的認知負荷的一體化智能制造系統(tǒng),充分考慮系統(tǒng)中人的因素,注重人的思維、情感和行為,關(guān)注不同操作人員的需求和意圖,融入人的多樣性和差異性,實現(xiàn)技術(shù)增強人而非取代人,縮小人機交互的執(zhí)行鴻溝和評估鴻溝,真正推動“人本智造”理念的實施與落地。

3

人本智造的發(fā)展趨勢與研究重點

以人為本的智能制造從人的行為、意圖和認知三個層次,將人因工程整合到虛實融合、多模態(tài)人機交互等先進技術(shù)中,在原有的智能制造系統(tǒng)基礎(chǔ)上擴大人因工程特征,通過人的生物智能與機器智能、人類用戶認知體與機器認知體之間的協(xié)同合作,形成可持續(xù)發(fā)展的人機智能互補式交互,最大限度地發(fā)揮人機協(xié)同合作優(yōu)勢和整體系統(tǒng)績效。

3.1?/ 虛實融合環(huán)境下的交互

當前,越來越多的虛擬現(xiàn)實技術(shù)在公共安全、工業(yè)互聯(lián)網(wǎng)、智慧城市、文化旅游等產(chǎn)業(yè)相關(guān)場景落地。國內(nèi)外工業(yè)領(lǐng)域也在大幅開展虛實融合技術(shù)研究,通過虛實數(shù)據(jù)的融合實現(xiàn)虛實雙向動態(tài)連接,促進了信息系統(tǒng)與物理系統(tǒng)的融合發(fā)展,降低人在生產(chǎn)過程中的工作負荷。

增強現(xiàn)實技術(shù)(augmented reality, AR)作為將虛擬信息和真實世界融合的先進技術(shù),在跟蹤注冊、可視化、多模態(tài)交互等技術(shù)領(lǐng)域都有大量研究,將計算機生成的虛擬信息添加到真實世界,實現(xiàn)兩者的互補和對真實世界的“增強”[54]。數(shù)字孿生模型作為典型的虛擬數(shù)字信息,將其疊加至制造業(yè)的真實物理環(huán)境是目前制造業(yè)實現(xiàn)虛實融合的一大研究重點。作為一個技術(shù)核心,跟蹤注冊的精度和準確度與虛實融合系統(tǒng)的最終效果密不可分。從當前真實空間場景中獲得實時數(shù)據(jù),并根據(jù)觀察者的位置、角度、方向、視場等因素構(gòu)建虛擬空間坐標系和真實空間坐標系的轉(zhuǎn)換關(guān)系,結(jié)合標記物、自然特征信息等,最終將三維模型、動畫、文本注釋等虛擬信息完美疊加至真實環(huán)境,從而提高裝配、運維等過程的操作效率。WANG等[55]基于AR協(xié)同環(huán)境、碰撞檢測、輔助評估工具等建立了AR裝配工藝方案的評估系統(tǒng),輔助工人從多個視角有效評估和改進裝配過程(圖6)。面向某汽車制造企業(yè)線束卡接等手工裝配作業(yè),WANG等[56]設(shè)計了基于AR的手部作業(yè)檢驗軟件,該軟件包括AR測試場景構(gòu)建、手勢追蹤與驗證、虛擬模型操縱、碰撞檢測等4個模塊,可驗證操作人員手部的通過性和可達性,解決了當前基于CATIA的人機仿真模塊驗證方法存在的人手定義復雜度高、真實性差等問題。

圖6 增強現(xiàn)實裝配工藝方案評估系統(tǒng)[55] Fig.6 Augmented reality assembly process evaluation system[55]

面向“人本智造”理念,如何增強人與信息物理的交互,建立人的數(shù)字孿生體來反映人的真實狀態(tài),從而實現(xiàn)虛擬信息、真實環(huán)境與數(shù)字人的智能融合顯得尤為重要。驗證人與信息物理系統(tǒng)在協(xié)作生產(chǎn)過程中的安全性也是亟待解決的問題之一[15,17]。

數(shù)字人建模仿真技術(shù)是驗證操作人員可達性,保障人機協(xié)作過程中的工人安全,建立虛實融合環(huán)境下智能制造系統(tǒng)可靠安全機制的主要手段之一[57]。目前的仿真軟件建模方法存在仿真工作量大、操作繁瑣、動作連貫性差、對人體行為建模精確度低等問題,無法對實際復雜產(chǎn)品的操作人因風險進行全面驗證,專家只能在仿真任務(wù)完成后再對整個操作過程進行分析,工作周期長、生產(chǎn)成本高。通過動作捕捉設(shè)備、眼動儀等設(shè)備和人因分析方法,實時采集人的行為、生理、心理等相關(guān)數(shù)據(jù),建立人的數(shù)字孿生體,實時生成高保真數(shù)字人模型,反映人在虛實融合環(huán)境下的狀態(tài),保證對作業(yè)人員行為的高精度建模,提高人因分析準確度,專家可以在人體數(shù)據(jù)輸出的同時進行動態(tài)分析作業(yè),實時更改產(chǎn)品設(shè)計,不需要在產(chǎn)品生產(chǎn)后再次試驗調(diào)整設(shè)計,從而起到縮短產(chǎn)品生產(chǎn)周期的作用。研究人-信息-物理系統(tǒng)的感知機制是實現(xiàn)以人為本的智能制造的關(guān)鍵點。文獻[58-59]針對某人因分析方法存在的分析周期長、仿真建模工作量大、虛擬人動作精度低等問題,開展了面向工業(yè)車間座椅裝配、手工涂膠作業(yè)任務(wù)的人機功效分析,驗證并評估手工裝配過程的工人操作可達性及安全風險性,提出一種基于AR的汽車總裝體力疲勞綜合評估方法(圖7),借助AR技術(shù)搭建汽車總裝典型場景,實現(xiàn)虛實融合場景的可視化、產(chǎn)品分析師和設(shè)計師多人視角共享及協(xié)同在線操作;利用動作捕捉系統(tǒng)真實準確地反映人體運動姿態(tài),實時捕捉人體運動學數(shù)據(jù),完成體力疲勞度評估與分析。

圖7 基于增強現(xiàn)實和動作捕捉設(shè)備的人因分析系統(tǒng)[58-59] Fig.7 Human factor analysis system based on augmented reality and motion capture equipment[58-59]

人機結(jié)合、虛實融合是新一代智能制造系統(tǒng)的顯著特征,通過增強現(xiàn)實、虛擬現(xiàn)實的頭戴式設(shè)備幫助工作人員接入制造系統(tǒng)的數(shù)字孿生系統(tǒng),從而“身臨其境”地全方位感知系統(tǒng)狀態(tài);在裝配、運維過程中增強信息的智能呈現(xiàn),以便于操作人員理解,降低操作負荷,減小人機交互執(zhí)行鴻溝[60]。利用動作捕捉設(shè)備采集人體行為數(shù)據(jù),實現(xiàn)動態(tài)人機工程的仿真驗證與分析,為實時感知系統(tǒng)狀態(tài)、完成動態(tài)調(diào)整提供了便捷,同時也滿足了智能制造柔性可變、快速響應(yīng)的需求。隨著數(shù)字化信息技術(shù)與增強現(xiàn)實輔助技術(shù)的廣泛應(yīng)用,研究虛擬數(shù)字信息與真實物理場景融合環(huán)境下的人與數(shù)字化信息交互的工業(yè)現(xiàn)場(圖8)已成為未來工業(yè)發(fā)展的新趨勢。

圖8 HCPS中的虛實融合技術(shù) Fig.8 Virtual-reality fusion technology in HCPS

3.2?/ 多模態(tài)意圖識別

智能制造系統(tǒng)中,人機角色發(fā)生轉(zhuǎn)變,工作人員的活動范圍更加靈活多變,對系統(tǒng)的控制及作業(yè)意圖的表達方式也不再局限于命令行、圖形界面、鼠標和鍵盤等利用輔助設(shè)備進行的人機交互。自然用戶界面(natural user interface,NUI)[61]提倡用戶不需要學習,憑借感知器官與經(jīng)驗來接收信息,利用自然行為表達作業(yè)意圖,降低了用戶的操作和學習成本,從而縮小人機交互的執(zhí)行鴻溝。交互發(fā)生在三維的物理空間中時,智能制造系統(tǒng)現(xiàn)場任務(wù)及環(huán)境的動態(tài)變化會導致同樣的輸入代表不同的語義,因此需要考慮作業(yè)任務(wù)與環(huán)境的實時動態(tài)變化來準確識別操作人員的作業(yè)意圖。隨著增強現(xiàn)實、人工智能、機器視覺等新型技術(shù)的迅猛發(fā)展,以及交互環(huán)境的變化,傳統(tǒng)的交互方式不再滿足智能制造的發(fā)展需求,這使得新型人機交互模式逐漸涌現(xiàn),依托以眼動、手勢、語音等多模態(tài)生理信號為核心的自然交互模式成為未來助力智能工廠人機協(xié)作能力提升的新方向。

現(xiàn)有較為成熟的交互方式有語音交互、手勢控制、觸覺交互、眨眼檢測及眼跟蹤技術(shù)等。在人類感知信息途徑中,通過視覺獲取對外信息的比例高達83%,大大超過其他感知覺。相對于手控、語音等方式,視覺交互縮短了中央加工與動作執(zhí)行的反應(yīng)時間,可實現(xiàn)多任務(wù)同步處理,且受環(huán)境影響較小。但眼動信號中的認知成分較少,無法判斷注視行為屬于無意識還是有意識即發(fā)生“米達斯接觸”問題,因此通常采用增加視覺反饋體系、反復定位確認與交互,以及外界信號觸發(fā)輔助等解決方法[62-63],但這都給眼部帶來了額外的負擔與勞累,加劇視疲勞的產(chǎn)生,造成用戶體驗下降。如何在有效解決“米達斯接觸”問題的同時避免疲勞是目前視覺交互技術(shù)研究的重點。多模態(tài)交互方式充分利用各模態(tài)間的優(yōu)勢互補,融合多種模式的綜合語義輔助視覺通道,精準定位目標、準確識別意圖,對縮短定位時間、減緩視覺疲勞有著重要作用。相比于基于單一模態(tài)數(shù)據(jù)的交互方式,基于多模態(tài)融合交互方式的空間覆蓋率、時間覆蓋率和決策準確度更高,可以有效進行信息互補,多方面描述數(shù)據(jù)對象特性,成為復雜作業(yè)環(huán)境下實現(xiàn)人機交互意圖感知的有效途徑[64-65]。

虛實環(huán)境與多模態(tài)人機交互技術(shù)的結(jié)合為實現(xiàn)智能化生產(chǎn)車間的智能人機融合提供了技術(shù)路徑。微軟發(fā)布的HoloLen2增強現(xiàn)實頭戴式設(shè)備支持手勢、語音、眼動等交互方式,通過示教系統(tǒng)可用于復雜產(chǎn)品生產(chǎn)車間,輔助員工完成裝配培訓,并看使用Dynamic 365 Layout驗證生產(chǎn)布局[66]。目前,針對人與虛擬信息的自然交互方式的研究還不成熟,在利用增強現(xiàn)實設(shè)備完成操作的過程中,出現(xiàn)了許多人因問題。由于用戶體驗的差異性和多樣性,以及用戶認知能力的不同,當前的技術(shù)及相關(guān)產(chǎn)品無法以人們所習慣的方式與人們進行信息交流、提供主動服務(wù),不能滿足人機交互系統(tǒng)個性化、柔性化的要求。為提升用戶體驗,將多模態(tài)自然交互與用戶畫像相結(jié)合,深度挖掘用戶的需求和意圖,真正實現(xiàn)用戶行為的個性化識別和理解,縮小人機交互的評估鴻溝,促進“以人為本”的智能制造發(fā)展。FANG等[67]面向制造業(yè)裝配場景,將增強現(xiàn)實作為媒介連接人和機器人,實現(xiàn)人機的多模態(tài)交互,并基于該系統(tǒng),提出一種增強現(xiàn)實環(huán)境下的個性化人機協(xié)作裝配意圖識別方法(圖9),針對用戶在典型人機協(xié)作裝配過程的物理行為習慣及特征,以單個用戶為中心采集多維度、強相關(guān)的數(shù)據(jù),構(gòu)建用戶畫像模型,構(gòu)建基于用戶行為習慣的多模態(tài)特征融合方法模型,并對增強現(xiàn)實環(huán)境下的習慣手勢、語音和視覺等物理行為進行識別,利用基于改進HMM和貝葉斯融合的決策層融合方法,實現(xiàn)面向不同用戶的個性化意圖識別,為用戶提供更精準的個性化服務(wù),有效改善人機協(xié)作過程中的用戶體驗。

3.3?/ 科學的認知量化方法

面對以智能制造為核心的產(chǎn)業(yè)和科技變革,制造企業(yè)應(yīng)積極采取行動,推動轉(zhuǎn)型升級,提高自動化、數(shù)字化水平。現(xiàn)階段,我國制造業(yè)仍存在自動化水平不高、手工依賴程度高的問題,工人面臨的操作任務(wù)愈發(fā)繁重。復雜的機電系統(tǒng)和長時間的人機協(xié)同作業(yè)容易對操作人員產(chǎn)生巨大的認知負荷。因此,形成對認知負荷的準確量化和有效均衡是保障人機協(xié)同安全穩(wěn)定的關(guān)鍵。

操作人員面對復雜系統(tǒng)時的主要任務(wù)是“信息獲取-判斷-決策-響應(yīng)”過程,屬于掌控系統(tǒng)運行狀態(tài)的腦力活動,因此人機協(xié)同作業(yè)時的工作負荷主要表現(xiàn)為認知負荷。徐小萍等[68]提出了基于認知的虛擬現(xiàn)實人機交互系統(tǒng)框架,并開展了交互通道與認知負荷的影響機制研究。認知負荷反映同時施加在工作記憶中所有智力活動的數(shù)量,任何認知加工活動均需消耗認知資源。不同交互通道帶來的認知負荷不同,如果在同一時間多任務(wù)并行處理產(chǎn)生的認知負荷超過個體所擁有的認知資源總量,將導致認知負荷超載,直接影響操作者的任務(wù)績效;另一方面,過低的任務(wù)需求通常會造成操作者參與不足,即認知負荷欠載,容易出現(xiàn)疲勞與自滿情緒,此時任務(wù)需求的突然增加、突發(fā)意外等情況會使操作者迅速進入高度緊張狀態(tài),影響操作者做出正確決策[69],即操作者表現(xiàn)與腦力負荷及大腦認知資源供需的倒U型關(guān)系模型[18]。因此,控制認知負荷的均衡可以有效提高人機協(xié)作效率。劉文等[70]分析了指揮控制系統(tǒng)界面認知負荷的來源及類型特點,形成了面向指揮控制系統(tǒng)界面認知負荷的均衡策略,主要包括圖像復雜度控制、用戶需求信息合理呈現(xiàn)、信息編碼與視覺搜尋匹配等。繆相林等[71]提出一種動態(tài)調(diào)整用戶認知負荷水平的智能空間增強現(xiàn)實系統(tǒng),根據(jù)用戶認知狀態(tài)動態(tài)調(diào)整空間增強現(xiàn)實系統(tǒng)的增強信息,使用戶處于最佳工作狀態(tài),提高工作效率,保證工作質(zhì)量。因此,從面向用戶認知的生理信息融合角度出發(fā),構(gòu)建認知負荷定量表達模型是完善人機協(xié)同系統(tǒng)、提高態(tài)勢感知、實現(xiàn)正確決策的重點。

人機協(xié)同認知負荷評估與均衡問題可從“科學評價、準確量化、有效均衡”三方面開展研究。通過生理參數(shù)的動態(tài)表征揭示操作人員認知負荷的演變機理,是神經(jīng)生理學和認知心理學領(lǐng)域具有挑戰(zhàn)性的科學難題。在多通道交互的情況下,生理指標的變化易受交互通道的選擇影響。同時,認知負荷水平的不確定性、抽象性、經(jīng)驗依賴性、個體差異性、學習遷移效應(yīng)等特征導致以生理參數(shù)量化描述認知負荷水平的變化存在技術(shù)難度。腦電、心電、肌肉電等多源生理信號的有效融合極大依賴操作任務(wù)與認知數(shù)據(jù),復雜作業(yè)任務(wù)產(chǎn)生大量認知活動及決策行為數(shù)據(jù),同時伴隨認知行為時序關(guān)聯(lián)、認知負荷的隱式干擾、認知狀態(tài)和變化順序等多層級耦合關(guān)系。由于生理參數(shù)敏感度不同、難以同步、存在競爭與互補效應(yīng)等問題,要從中提取不同生理信號與認知行為相對關(guān)系,結(jié)構(gòu)化學習信號特征,融合不同維度信號來反映增強現(xiàn)實環(huán)境下多通道交互過程中的認知負荷動態(tài)變化面臨較大難度。人機協(xié)同運維過程中,“人在回路”的行為決策是在人內(nèi)部認知空間與外部環(huán)境元素的共同作用下產(chǎn)生的,是環(huán)境信息要素與認知負荷的樞紐。揭示人機協(xié)同過程中的態(tài)勢元素、個體認知負荷、行為決策的關(guān)聯(lián)關(guān)系,是對認知負荷有效均衡的關(guān)鍵,對降低認知任務(wù)的復雜性及難度、提高人機協(xié)同的作業(yè)績效至關(guān)重要。

因此,明確主體多生理指標的認知負荷誘發(fā)策略與演變機理并對其進行科學量化表達,是揭示認知負荷水平變化的關(guān)鍵;建立相應(yīng)的人機協(xié)同認知負荷均衡機制,從而降低認知任務(wù)的復雜性,提高人機系統(tǒng)的作業(yè)績效。這對在新環(huán)境、新技術(shù)、新模式下開展人因工程相關(guān)研究,縮小人機交互鴻溝,推動人本智造的發(fā)展有著實際性的作用。

4

發(fā)展與建議

4.1?/ 學科發(fā)展

智能制造作為典型的系統(tǒng)工程,強調(diào)數(shù)字化智能設(shè)備、機器人、物聯(lián)網(wǎng)、人工智能等關(guān)鍵技術(shù)在制造系統(tǒng)中的集成,涉及機械工程、控制科學與工程、計算機科學與技術(shù)等多個學科。面向世界范圍的科技革命和產(chǎn)業(yè)變革,針對中國制造的發(fā)展需求,順應(yīng)“兩化融合”國家戰(zhàn)略,國內(nèi)多所高校相繼設(shè)立了智能制造工程等“新工科”專業(yè)。與此同時,國家自然科學基金委在2020年成立了交叉科學部,明確了強化學科交叉和尋求新的科研范式是未來科技快速發(fā)展的必由之路。人因工程作為典型的交叉學科,被列為交叉學部的重點研究方向之一。

在“新工科”專業(yè)與交叉學部的建設(shè)支持下,加強人才儲備和梯隊建設(shè),注重對智能制造專業(yè)人才進行人因工程等相關(guān)知識的教育。以人因工程的基礎(chǔ)理論與研究方法充分武裝掌握現(xiàn)代化機械、電子、智能生產(chǎn)與管理的專業(yè)知識和技能的智能制造專業(yè)人才,把人因融入系統(tǒng)設(shè)計、研制與運維等不同周期,解決智能制造發(fā)展過程中各個相關(guān)領(lǐng)域出現(xiàn)的典型人因問題。積極開展跨學科探索性研究,推動機械工程與認知科學、信息科學、心理學等相關(guān)學科的交叉融合,促進傳統(tǒng)學科與新型學科的交叉融合,為面向智能制造的人機交互與人因工程持續(xù)發(fā)展與深度應(yīng)用提供強大的科學儲備。

4.2?/ 研究方向

面對智能制造人機交互與人因工程的發(fā)展需求,從研究現(xiàn)狀看,在行為、意圖、認知三個層面解決HCPS的人與信息系統(tǒng)、物理系統(tǒng)之間的鴻溝問題,是未來智能制造中的人因工程需要著重探索的研究方向,這包括人與智能設(shè)備的交互、人-信息-物理三元虛實融合感知、量化的科學標準等方面。

(1)開展人與智能設(shè)備的交互友好性研究,重視智能設(shè)備在設(shè)計及信息呈現(xiàn)、行為反饋上的宜人性表達,實現(xiàn)智能設(shè)備與人的良性互動,解決智能制造系統(tǒng)中大量的智能設(shè)備給人的操作和認知帶來的不可避免的壓力問題,保障人對系統(tǒng)的準確態(tài)勢感知。

(2)實際生產(chǎn)場景、操作人員行為及產(chǎn)品虛擬模型之間的虛實融合感知機制是未來需要解決的關(guān)鍵科學問題。由于虛擬產(chǎn)品模型、實際生產(chǎn)現(xiàn)場與真實操作人員的物理屬性不同,導致虛擬世界與真實世界融合困難。此外,目前的增強現(xiàn)實技術(shù)僅支持虛擬信息的顯示與疊加,缺少實際的交互感知。因此,對虛擬世界與真實世界的智能標定與個性化交互方法展開研究:①研究產(chǎn)品的智能推送,建立輔助維修資源庫,實現(xiàn)從IETM的交互式維修手冊到AR手冊的智能化生成;②融合用戶畫像,通過意圖識別,構(gòu)建符合操作人員個性化特征的智能推送方法,將人的需求作為信息推送的驅(qū)動力,滿足操作人員的屬性多樣性及個性化需求;③分析人在使用AR系統(tǒng)時的認知負荷產(chǎn)生原因,結(jié)合腦電、眼動、手勢等多模態(tài)交互方式,提取人的潛意識形態(tài),智能化為用戶提供最舒適便捷的操作環(huán)境及方式,有效降低疲勞度和操作負荷,研究虛實信息的柔性化融合機理,從而實現(xiàn)人-信息-物理三元虛實融合。

(3)建立完善的人因工程研究規(guī)范與測評技術(shù),形成量化的科學標準,將定性問題轉(zhuǎn)化為可參考的定量指標,形成主客觀結(jié)合、定性定量綜合集成的人因評價標準,以解決人作為人因工程的主要研究對象,在面對不同作業(yè)需求、新型系統(tǒng)和復雜問題時產(chǎn)生的心理變化、認知思考和決策執(zhí)行能力存在多樣性及差異性的問題。

表2列舉的國際期刊中,多數(shù)已發(fā)布面向智能制造或工業(yè)4.0的人因工程特刊,以鼓勵相關(guān)研究。

↓ 表2 國際關(guān)注智能制造及人因工程領(lǐng)域期刊 Tab.2 The list of journals in related domains

5

結(jié)論

本文立足于智能制造發(fā)展過程中存在的實際問題，基于人-信息-物理系統(tǒng)理論與技術(shù)體系，討論了人機協(xié)同的必要性，以及人在智能制造系統(tǒng)中發(fā)揮的重要作用,梳理了人因工程在促進人本智造中的相關(guān)研究重點，針對學科發(fā)展與主要研究方向,提出了智能制造系統(tǒng)中人因工程的發(fā)展與建議，以期為我國新一代智能制造系統(tǒng)的發(fā)展提供建議與參考。

編輯：黃飛