作者：彭先濤，王　鵬 浙江恒逸集團(tuán)有限公司 浙江大學(xué)—恒逸全球未來先進(jìn)技術(shù)研究院

　　導(dǎo)讀

　　隨著智能制造的發(fā)展，工業(yè)機(jī)器人已成為工業(yè)場景中不可或缺的一部分，在生產(chǎn)現(xiàn)場發(fā)揮著巨大的作用。隨著應(yīng)用場景的深入、擴(kuò)大，對機(jī)器人的應(yīng)用也提出了更多的要求，通過為機(jī)器人配置傳感器等，可以讓機(jī)器人更加智能，能夠適應(yīng)更復(fù)雜的場景需求；同時，人工智能的發(fā)展也為工業(yè)機(jī)器人的發(fā)展提供了強(qiáng)有力的支撐。傳統(tǒng)人工智能部署到現(xiàn)場后，能夠高效的執(zhí)行，由于工業(yè)場景復(fù)雜多變，會出現(xiàn)未經(jīng)過訓(xùn)練的異常數(shù)據(jù)，導(dǎo)致無法識別輸出。人工智能大模型技術(shù)的出現(xiàn)，可使工業(yè)機(jī)器人能夠更加靈活的處理復(fù)雜的工業(yè)場景，進(jìn)一步提升檢測精度與效率，助力企業(yè)的數(shù)字化、智能化建設(shè)，推動制造業(yè)的轉(zhuǎn)型升級。

　　01

　　引言

　　工業(yè)機(jī)器人已經(jīng)成為工業(yè)生產(chǎn)中常見的、必不可少的重要設(shè)備之一，為工業(yè)的發(fā)展帶來了極大的便利。由于工業(yè)場景眾多，需求多樣，為滿足實際業(yè)務(wù)場景的需求，工業(yè)機(jī)器人在現(xiàn)場的形式由傳統(tǒng)的機(jī)械臂，逐步演變?yōu)槎ㄖ苹腁GV、龍門桁架機(jī)器人、AGV上搭載機(jī)械臂等多種形式。隨著新一代信息技術(shù)的賦能，工業(yè)機(jī)器人上搭載工業(yè)相機(jī)（面陣相機(jī)、線掃相機(jī)、3D相機(jī)等）、智能溫度傳感器、高靈敏度麥克風(fēng)等傳感器可解決更加復(fù)雜的需求，從而大幅提升工業(yè)機(jī)器人的利用率，產(chǎn)生更多的實際價值。 人工智能的主要應(yīng)用為將訓(xùn)練好的推理/檢測模型進(jìn)行部署，對實時傳輸?shù)膱D像等數(shù)據(jù)進(jìn)行處理，根據(jù)輸出結(jié)果執(zhí)行下一步的動作；該方式在固定場景中占有絕對優(yōu)勢。工業(yè)機(jī)器人在運(yùn)動過程中，若采集到其他異常數(shù)據(jù)，在模型未經(jīng)訓(xùn)練的情況下，該異常不會被識別到，存在一定的隱患。人工智能大模型的出現(xiàn)，在提升檢測的精度的同時，賦予了工業(yè)機(jī)器人更多的能力，對于制造業(yè)朝著智能制造的方向發(fā)展有很大的促進(jìn)作用。

　　02

　　人工智能大模型在工業(yè)機(jī)器人方面的規(guī)劃

　　工業(yè)機(jī)器人應(yīng)用較多的企業(yè)已具備良好的數(shù)字化基礎(chǔ)，結(jié)合實際需求，對人工智能大模型在工業(yè)機(jī)器人領(lǐng)域的應(yīng)用進(jìn)行整體設(shè)計規(guī)劃。

　　2.1　工業(yè)機(jī)器人層

　　部署在現(xiàn)場的工業(yè)機(jī)器人，目前有各種形式，如多關(guān)節(jié)機(jī)械臂、多自由度桁架機(jī)器人、搭載輕載機(jī)械臂的AGV等，以滿足各種作業(yè)需求。在工業(yè)機(jī)器人上搭載高清攝像頭，實現(xiàn)抓取精確定位、偏差糾正、缺陷檢測和尺寸測量等功能，是成熟且常見的解決方案；也可在工業(yè)機(jī)器人上搭載熱成像儀、光譜儀、氣體分析儀和麥克風(fēng)等，采集不同場景的數(shù)據(jù)，充分發(fā)揮工業(yè)機(jī)器人的能力。 工業(yè)機(jī)器人在我國的應(yīng)用面較廣，涵蓋流程、離散制造業(yè)的多個場景，非標(biāo)定制化工業(yè)機(jī)器人在國產(chǎn)化方面具備較為明顯的優(yōu)勢，定制化程度、靈活度高，但也存在一定的挑戰(zhàn)，如：整體長周期穩(wěn)定運(yùn)行，MTBF（Mean Time Between Failure，平均無故障工作時間）提升；控制器、高精度電機(jī)等核心部件國產(chǎn)替換；大規(guī)模調(diào)度系統(tǒng)工業(yè)軟件國產(chǎn)化；多關(guān)節(jié)高端機(jī)器人國產(chǎn)化突破等。

　　2.2　通信接口層

　　通信接口是工業(yè)現(xiàn)場的基礎(chǔ)需求，其穩(wěn)定性是第一位。該層的應(yīng)用設(shè)計水平差距較大，需對工業(yè)網(wǎng)絡(luò)、辦公網(wǎng)絡(luò)進(jìn)行統(tǒng)一規(guī)劃，建立相應(yīng)的安全措施，確保網(wǎng)絡(luò)的穩(wěn)定。常見的應(yīng)用效果較好的方案為：工業(yè)網(wǎng)絡(luò)采用工業(yè)級交換機(jī)（如西門子、菲尼克斯等工業(yè)品牌的網(wǎng)管型交換機(jī)）組件光纖環(huán)網(wǎng)，辦公網(wǎng)絡(luò)采用商用交換機(jī)（如H3C、華為等品牌）組件IT網(wǎng)絡(luò)，二者之間采用防火墻防護(hù)。 工業(yè)機(jī)器人、相機(jī)等傳感器通信協(xié)議眾多，該層需確保數(shù)據(jù)傳輸?shù)臏?zhǔn)確性、時效性，可考慮利用5G傳輸圖片、視頻等大尺寸數(shù)據(jù)，其他協(xié)議交互檢測結(jié)果、指令等數(shù)據(jù)。對于流程行業(yè)，采用RTU、5G等無線通信技術(shù)是較為實用穩(wěn)妥的方案。通信接口的穩(wěn)定性要兼顧高并發(fā)、可擴(kuò)展性、兼容性等。涉及到跨公司、跨平臺間的數(shù)據(jù)傳輸時，可考慮構(gòu)建工業(yè)互聯(lián)網(wǎng)平臺，加入區(qū)塊鏈、量子通信等技術(shù)以增強(qiáng)通信的安全性。

　　2.3　模型層

　　隨著計算機(jī)視覺、人工智能等的發(fā)展，為模型層提供了較為完整的理論，學(xué)者在此也做了諸多理論、應(yīng)用的研究。模型層應(yīng)用的關(guān)鍵步驟為搜集數(shù)據(jù)、處理數(shù)據(jù)、模型訓(xùn)練和部署模型，其核心是通過訓(xùn)練出的模型解決生產(chǎn)過程中“不變”的需求（因生產(chǎn)過程相對穩(wěn)定重復(fù)，對產(chǎn)品、設(shè)備等的檢測需求相對固定），如各種缺陷檢測模型、測量模型、預(yù)測模型等，最終應(yīng)用的模型是AI解決復(fù)雜問題的能力、產(chǎn)生價值的體現(xiàn)。對常用的幾種模型進(jìn)行簡介如下。

　?。?）CV模型　現(xiàn)場涉及圖像、視頻類的檢測/識別均為計算機(jī)視覺識別類，采用CV模型是可靠、成熟的解決方案。在工業(yè)現(xiàn)場實際應(yīng)用中，需要在檢測準(zhǔn)確性、節(jié)拍、穩(wěn)定性和性價比等方面進(jìn)行綜合考慮，確保AI 通過工程項目順利落地、穩(wěn)定運(yùn)行，才能產(chǎn)生價值。如尺寸偏大、結(jié)構(gòu)復(fù)雜的工業(yè)產(chǎn)品需進(jìn)行外觀缺陷檢測，理想的方案是對該產(chǎn)品抓取至空中進(jìn)行全方位無死角的拍攝與檢測，實際運(yùn)行時有兩個較大的風(fēng)險點(diǎn)：節(jié)拍較慢，會影響生產(chǎn)；動設(shè)備損耗大、故障率高、運(yùn)行成本高。根據(jù)經(jīng)驗，最優(yōu)工程解決方案為采用靜設(shè)備設(shè)計，對產(chǎn)品確實拍攝不到的部位的缺陷進(jìn)行評估，若缺陷發(fā)生概率低、影響較小，可以不予考慮，否則需對工藝、設(shè)備、管理等進(jìn)行改進(jìn)，降低缺陷頻發(fā)的情況。 對于只檢測有無缺陷的場景，可采用傳統(tǒng)算法，如灰度識別、SVM（Support Vector Machine，支持向量機(jī)）、SIFT（Scale-Invariant Feature Transform，尺度不變特征變換）、HOG（Histogram of Oriented Gradient，方向梯度直方圖）、ORB（Oriented FAST and Rotated BRIEF，快速特征點(diǎn)提取和描述）和 LBP（Local Binary Patterns，局部二值模式）等，以節(jié)約算力和投資。對于需要標(biāo)注出缺陷位置、缺陷種類、根據(jù)缺陷嚴(yán)重程度區(qū)分等級等的復(fù)雜任務(wù)，采用CNN神經(jīng)網(wǎng)絡(luò)算法是最優(yōu)的解決方案， 如YOLO、VGG、ResNet、AlexNet和RevNet 等。先采集樣本，再將處理后的樣本（標(biāo)注缺陷，加標(biāo)簽）通過算法模型進(jìn)行訓(xùn)練，模型達(dá)到預(yù)設(shè)的檢測精度后部署該模型使用。 通過框架使用相關(guān)算法模型進(jìn)行訓(xùn)練時，訓(xùn)練過程目前來說還是黑匣子（即難以解釋），樣本的質(zhì)量、數(shù)量對最終的檢測模型影響很大。在工程應(yīng)用中，增加實際樣本（來源于生產(chǎn)實際，非人為制造的樣本；標(biāo)注質(zhì)量要高）數(shù)量可顯著提升模型的訓(xùn)練結(jié)果。為使得算法按照預(yù)期效果輸出推理模型，學(xué)者做了諸多工作，其中構(gòu)建損失函數(shù)是較為常見且工程上較易實現(xiàn)的，如Berkan Demirel等提出新的元調(diào)損失函數(shù)，使得檢測結(jié)果有了顯著提升。在工程應(yīng)用中，結(jié)合實際情況設(shè)計損失函數(shù)會取得較好的效果。

　?。?）機(jī)器人預(yù)測模型　采集并獲取到工業(yè)機(jī)器人的運(yùn)行作業(yè)數(shù)據(jù)，如動作時長、負(fù)載量、電流、電壓、運(yùn)行軌跡、電池電量和充放電狀態(tài)等，采用Transformer或GNN等訓(xùn)練預(yù)測模型，對工業(yè)機(jī)器人的維護(hù)狀態(tài)、故障等進(jìn)行預(yù)測，實現(xiàn)工業(yè)機(jī)器人的全生命周期管理，合理規(guī)劃工業(yè)機(jī)器人及其備件的使用，避免帶病運(yùn)行，提升工業(yè)機(jī)器人的使用壽命與效率。

　?。?）機(jī)器人調(diào)度模型　結(jié)合排產(chǎn)任務(wù)、在機(jī)任務(wù)等生產(chǎn)數(shù)據(jù)對需要作業(yè)任務(wù)進(jìn)行預(yù)測，根據(jù)機(jī)器人的執(zhí)行任務(wù)情況、本身狀態(tài)、任務(wù)優(yōu)先級、動作距離等數(shù)據(jù)，對機(jī)器人的工作任務(wù)、AGV調(diào)度等進(jìn)行預(yù)排，將工業(yè)機(jī)器人與生產(chǎn)狀況進(jìn)行實時匹配，使得工業(yè)機(jī)器人的能力得以充分發(fā)揮、提升機(jī)器人的利用率，并能提升機(jī)器人在應(yīng)用時的靈活性、智能化。

　　2.4　大模型層

　　以ChatGPT為代表人工智能大模型帶動了一系列通用人工智能（Artificial General Intelligence，AGI）技術(shù)的迅速發(fā)展，AGI已經(jīng)掀起新一輪信息技術(shù)革命，成為一種先進(jìn)的生產(chǎn)力。人工智能大模型的快速發(fā)展也引起了工業(yè)界的關(guān)注，本文基于大模型相關(guān)的理論基礎(chǔ)與發(fā)展趨勢提出了其對工業(yè)機(jī)器發(fā)展的影響，以期為人工智能大模型在工業(yè)中落地貢獻(xiàn)力量。 大模型在工業(yè)中的核心是解決“變”——由于工業(yè)的復(fù)雜性，生產(chǎn)過程中會出現(xiàn)一些異常情況，如復(fù)雜設(shè)備的突發(fā)故障、產(chǎn)品異常等，需要有效的手段對這些“變數(shù)”進(jìn)行及時的處理，保證生產(chǎn)各項活動的安全平穩(wěn)進(jìn)行，實現(xiàn)降本增效。大模型層通過各個場景的數(shù)據(jù)持續(xù)訓(xùn)練，提升模型的檢測能力，構(gòu)建基于數(shù)據(jù)更進(jìn)一步的應(yīng)用場景，發(fā)揮數(shù)據(jù)的價值。人工智能大模型在工業(yè)領(lǐng)域的應(yīng)用探索處于初步階段，為數(shù)據(jù)驅(qū)動式，但可以預(yù)見，未來其發(fā)展會從行業(yè)龍頭企業(yè)率先開始，充分利用其積累的豐富場景的豐富數(shù)據(jù)，從單個場景大模型為突破點(diǎn)，實現(xiàn)行業(yè)大模型的全面發(fā)展。

　　（1）CV 大模型　計算機(jī)視覺（Computer Vision，CV）、大規(guī)模機(jī)器學(xué)習(xí)為工業(yè)機(jī)器人朝著更加智能化方向發(fā)展提供了理論支撐，結(jié)合AI技術(shù)、通過機(jī)器人搭載的傳感器采集的數(shù)據(jù)（如機(jī)器人運(yùn)動過程中可采集較為全面的場景的圖片、視頻數(shù)據(jù)），可探索工業(yè)行業(yè)機(jī)器視覺的應(yīng)用。對于工業(yè)行業(yè)CV大模型，核心內(nèi)容有兩點(diǎn)：數(shù)據(jù)的獲取、數(shù)據(jù)標(biāo)注的質(zhì)量、高效的訓(xùn)練。 對于CV大模型的圖像分類/識別任務(wù)，若依賴人工標(biāo)注，恐難以滿足訓(xùn)練數(shù)據(jù)的要求，SA（Segment Anything）的提出為CV大模型的實現(xiàn)提供了較為可靠的技術(shù)手段。

　?。?）知識大模型　工業(yè)現(xiàn)場場景眾多，工業(yè)機(jī)器人是其中的一環(huán)，涉及的關(guān)系型數(shù)據(jù)、非關(guān)系型數(shù)據(jù)眾多，數(shù)據(jù)蘊(yùn)含的價值較大。將工業(yè)現(xiàn)場的各種維度的數(shù)據(jù)建立聯(lián)系，構(gòu)建工業(yè)知識大模型，充分發(fā)揮數(shù)據(jù)的價值，讓數(shù)據(jù)來源于業(yè)務(wù)、反哺于業(yè)務(wù)，是一項有意義且有挑戰(zhàn)的工程，知識圖譜的發(fā)展為工業(yè)知識大模型的發(fā)展提供了理論與技術(shù)實現(xiàn)方法。 通過知識圖譜可建立深層次的關(guān)系，構(gòu)建企業(yè)的工業(yè)知識體系，將企業(yè)內(nèi)人員、工藝、設(shè)備、備品備件、物資、物流等相關(guān)數(shù)據(jù)與資源進(jìn)行整合關(guān)聯(lián)，通過一個點(diǎn)能夠提供直接聯(lián)的、潛在關(guān)聯(lián)的信息與知識，提升企業(yè)生產(chǎn)經(jīng)營效率。

　?。?）LLM 大模型　ChatGPT將人工智能對通用自然語言任務(wù)的理解與生成能力提升到新的高度，大量相關(guān)工作推動了LLM大模型的發(fā)展，其理論、應(yīng)用較為健全。在工業(yè)行業(yè)中，有了足夠的數(shù)據(jù)基礎(chǔ)與應(yīng)用后，可以實現(xiàn)類似ChatGPT的場景功能，能迅速提煉關(guān)鍵點(diǎn)、完成報表分析等常規(guī)作業(yè)。在LLM大模型的使用時，為確保每次生成語句的真實性，如 Amos Azaria等利用LLM的隱藏層激活來確定語句的真實性。

　　2.5　數(shù)據(jù)處理

　　工業(yè)現(xiàn)場存在一定的復(fù)雜性、隨機(jī)性與不確定性，會導(dǎo)致現(xiàn)場的圖片、聲音等存在背景噪聲，在訓(xùn)練前需要對數(shù)據(jù)進(jìn)行預(yù)處理以確保訓(xùn)練結(jié)果，為了避免復(fù)雜結(jié)構(gòu)的數(shù)據(jù)造成“維度災(zāi)難”，可先通過主成分分析（Principal Component Analysis，PCA）、等距映射、局部線性嵌入（Locally Linear Embedding，LLE）等方法對數(shù)據(jù)進(jìn)行降維處理，確保模型能提取到有效特征。在人工智能大模型訓(xùn)練時，對于某些場景可能會存在少樣本甚至零樣本的情況，該部分的研究有助于完善工業(yè)大模型。

　　2.6　IT系統(tǒng)層

　　IT系統(tǒng)支撐了企業(yè)各業(yè)務(wù)的運(yùn)行，如OA、SCM、SRM、MES、EAM與自動化設(shè)備配套集成的信息系統(tǒng)等，結(jié)合企業(yè)實際需求進(jìn)行規(guī)劃建設(shè)。IT系統(tǒng)建設(shè)是一項龐大、復(fù)雜的工程，存在項目周期長、項目成功率低、上線后使用率低等現(xiàn)場，實施時需以滿足業(yè)務(wù)需求為核心，對業(yè)務(wù)深入分析、考慮業(yè)務(wù)增量發(fā)展趨勢、系統(tǒng)性能余量、數(shù)據(jù)庫設(shè)計能力和系統(tǒng)融合擴(kuò)展能力等進(jìn)行較為全面的考慮與分析設(shè)計，確保項目能順利落地運(yùn)行。 IT系統(tǒng)是與企業(yè)的相關(guān)的業(yè)務(wù)需求緊密結(jié)合，定制化程度較高。隨著大模型的發(fā)展，未來，通過prompt輸入詳細(xì)的業(yè)務(wù)需求，大模型自動創(chuàng)建數(shù)據(jù)庫、自動編程實現(xiàn)功能、自動部署IT系統(tǒng)等，大幅降低IT系統(tǒng)實施的復(fù)雜度，更好的助力企業(yè)數(shù)字化轉(zhuǎn)型。

　　2.7　大數(shù)據(jù)層

　　數(shù)據(jù)來源于生產(chǎn)經(jīng)營各環(huán)節(jié)，通過大數(shù)據(jù)的應(yīng)用既能實時掌握生產(chǎn)經(jīng)營的情況，又能對生產(chǎn)經(jīng)營的異常情況及時的分析與指導(dǎo)改進(jìn)等。目前大數(shù)據(jù)的應(yīng)用水平也存在較大的差異，自動化、信息化、數(shù)字化方面建設(shè)建好的企業(yè)，已構(gòu)建自身的數(shù)據(jù)平臺并對大數(shù)據(jù)進(jìn)行了應(yīng)用。數(shù)據(jù)來源于生產(chǎn)經(jīng)營各環(huán)節(jié)，通過大數(shù)據(jù)的應(yīng)用既能實時掌握生產(chǎn)經(jīng)營的情況，又能對生產(chǎn)經(jīng)營的異常情況進(jìn)行及時預(yù)測、反饋與指導(dǎo)。

　　03

　　總結(jié)與展望

　　隨著工業(yè)數(shù)字化、智能化的建設(shè)，工業(yè)機(jī)器人、智能傳感器等的應(yīng)用廣度、集成深度上升，工業(yè)行業(yè)的數(shù)據(jù)維度、數(shù)據(jù)量均在增加，為工業(yè)行業(yè)大模型的發(fā)展構(gòu)建了基礎(chǔ)。本文對人工智能大模型在工業(yè)機(jī)器人的應(yīng)用提出了可落地的架構(gòu)，但由于其涉及的技術(shù)細(xì)節(jié)較多，其落地應(yīng)用還有一段路要走。隨著業(yè)務(wù)發(fā)展的需求、技術(shù)發(fā)展的助力，人工智能大模型將為制造業(yè)轉(zhuǎn)型升級提供重要的技術(shù)手段。

　　人工智能大模型在工業(yè)機(jī)器人的發(fā)展方向為工業(yè)機(jī)器人自身將集成模型算法、芯片等，提升自身性能、可靠性和易用性；通過千億或萬億級別的參數(shù)預(yù)訓(xùn)練模型，將語言理解、視覺感知、控制等多任務(wù)統(tǒng)一建模，提高機(jī)器人的語言理解和自主決策能力；結(jié)合視覺聽覺觸覺等多種感知方式，通過多模態(tài)學(xué)習(xí)和感知，實現(xiàn)對作業(yè)環(huán)境的多模態(tài)理解與融合；通過強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等算法使機(jī)器人在運(yùn)行中持續(xù)學(xué)習(xí)和優(yōu)化，使其能在不同任務(wù)和環(huán)境中快速適應(yīng)與遷移，提高機(jī)器人的自適應(yīng)和智能化水平，實現(xiàn)無縫人機(jī)協(xié)同安全作業(yè)。

　　未來人工智能大模型在工業(yè)機(jī)器人的應(yīng)用將朝著更加智能化、自適應(yīng)、多模態(tài)、易用性和強(qiáng)穩(wěn)定性等方向發(fā)展，不斷進(jìn)步，助力國產(chǎn)高端的突破，實現(xiàn)更加廣泛和深入的應(yīng)用。隨著工業(yè)數(shù)字化的推進(jìn)，在國家政策、市場需求等的推動下，相信我國在工業(yè)機(jī)器人軟硬件方面一定會逐步突破。各種形態(tài)的工業(yè)機(jī)器人在未來會朝著穩(wěn)定性高、使用便捷、智能化程度高等方向發(fā)展。

　　審核編輯：黃飛