項目簡介

01

項目背景

本課題來源于航天某公司實際項目需求，擬完成火箭燃料貯箱人孔口蓋的自動裝配。

人孔口為航空航天器儲箱上的開口，用于技術(shù)人員進(jìn)入航空器內(nèi)部進(jìn)行檢修。在火箭燃料加注完畢后需要人孔口蓋將所有人孔口進(jìn)行封鎖。

航空器中的每一個艙段均有人孔口和人孔口蓋，方便工人進(jìn)行在檢查和維修任務(wù)，從生產(chǎn)到運行到回收，這種人孔口和人孔口蓋都是必需的。所以高質(zhì)量地實現(xiàn)人孔口蓋與人孔的組裝是至關(guān)重要的。

為了減少人工操作，保證人孔口蓋裝配的穩(wěn)定性，需要實現(xiàn)人孔口蓋裝配系統(tǒng)自動化。

02

擬解決關(guān)鍵問題

壹

/自動巡航，尋找目標(biāo)位置。

人孔口蓋安裝的工廠面積較大，且人孔口蓋在9個位置有分布。需要選取適合本項目的自動巡航小車，搭載人孔口蓋裝配的核心系統(tǒng)，快速定位，自動運行到合適的安裝位置進(jìn)行自動化裝配。

貳

/利用機器視覺進(jìn)行工件位姿求取與定位

人孔法蘭與箱體軸線有不同的角度，所以需要對其進(jìn)行位姿和角度的識別，用于引導(dǎo)機械臂進(jìn)行后續(xù)操作。另外要實現(xiàn)人孔口蓋與人孔法蘭的對接需要獲取螺孔位置。這需要利用視覺系統(tǒng)進(jìn)行特征檢測，對圖像識別的算法進(jìn)行研究，還需要將結(jié)果轉(zhuǎn)化到機械臂坐標(biāo)系中。

叁

/利用可編程機械臂進(jìn)行工件抓取及安裝

裝配要求人孔口蓋安裝各邊間隙基本一致，按照對稱性原則對螺母逐級、對稱施加力矩。為滿足裝配要求，減輕工人負(fù)擔(dān)，提高裝配的精度和穩(wěn)定性，本項目將利用機械臂代替人工進(jìn)行裝配操作。

總體擬裝配動畫展示

這個視頻是根據(jù)裝配需求以及后續(xù)詳細(xì)介紹的總體方案制作的人孔口蓋自動裝配系統(tǒng)工作流程動畫。能夠幫助大家更好地了解這個系統(tǒng)，提高后續(xù)閱讀的流暢性。

自動裝配總體方案

01

總體結(jié)構(gòu)

本方案設(shè)計的火箭燃料貯箱人孔口蓋裝配系統(tǒng)，如圖所示，由自動巡航小車（AGV）、引導(dǎo)抓取視覺系統(tǒng)（簡稱視覺系統(tǒng)1）和螺孔精定位視覺系統(tǒng)（簡稱視覺系統(tǒng)2）、六軸機器人、機器人控制柜、電氣柜、工具快換架、抓具、擰緊工具、人孔口蓋閥門組件及工裝臺組成。

可將系統(tǒng)分為運動執(zhí)行系統(tǒng)、工作臺及視覺檢測系統(tǒng)。其中運動執(zhí)行系統(tǒng)以機器人及AGV系統(tǒng)為核心，執(zhí)行各種運動任務(wù)，如AGV搭載整體系統(tǒng)前往裝配位置，機器人抓取、裝配口蓋，擰緊螺母等。工作臺由靜置在AGV上的工具快換架、人孔口蓋工裝臺、電氣柜等組成，用于放置各種工具、人孔口蓋閥門組件及控制器等，方便收納器件，輔助機器人工作。

02

車間布局及裝配流程

車間布局

人孔口蓋的裝配任務(wù)將在車間進(jìn)行，為提高裝配效率需提前布局好火箭燃料貯箱的放置位置。將貯箱在裝配車間等間隔放置，AGV行進(jìn)軌道與貯箱所在軸平行或垂直且有一定距離，給機器人運動留足空間的同時保證人孔法蘭位置在機器人工作范圍內(nèi)。AGV沿導(dǎo)航磁條行進(jìn)至待裝配箱體以完成裝配任務(wù)?？傮w布局如上圖所示。

裝配流程

根據(jù)火箭燃料貯箱人孔口蓋自動裝配車間的總體布局及總體系統(tǒng)的機械模型，對裝配工作過程進(jìn)行詳細(xì)介紹，如下圖所示。

視覺檢測系統(tǒng)

經(jīng)過上面的介紹，大家對人孔口蓋自動裝配系統(tǒng)的大致組成和檢測原理有了初步的認(rèn)識。下面將著重介紹一下該系統(tǒng)中視覺檢測的部分。

01

視覺系統(tǒng)結(jié)構(gòu)

本方案配備兩個視覺系統(tǒng)，分別用于裝配前人孔口蓋與人孔法蘭位置及螺柱、螺孔信息的識別和人孔口蓋螺孔精準(zhǔn)位置識別。由于人孔口蓋為金屬材料，邊緣與裝配平面難以區(qū)分，常用在機器視覺中的三維雙目視覺系統(tǒng)不再適用。故采用高精度激光位移傳感器與機器人的數(shù)據(jù)傳輸進(jìn)行位姿的檢測與調(diào)整，使裝配面互相平行，再利用相機進(jìn)行圓心與螺柱2D位置數(shù)據(jù)的采集。下面是兩個視覺系統(tǒng)的機械結(jié)構(gòu)。

引導(dǎo)抓取視覺系統(tǒng)相機視覺系統(tǒng)、長距離點激光位移傳感器、高精度點激光位移傳感器、安裝支架等組成。

螺孔精定位視覺系統(tǒng)位于AGV上固定位置，由高精度點激光位移傳感器、相機視覺系統(tǒng)、安裝支架等組成。

02

引導(dǎo)視覺系統(tǒng)主要部件選型

1

相機

由于檢測靜止物體，故對于相機幀數(shù)要求不需要太高。根據(jù)待測物體最大直徑為580mm，選擇視場為600mm×600mm，檢測精度設(shè)為0.25mm，則

本方案選取的工業(yè)相機，幀率大于16fps，兩個方向分辨率為5496和3672均大于2400。

2

鏡頭

首先根據(jù)放大倍數(shù)選取合適的焦距，視場大小設(shè)為600mm×600mm，選取的工業(yè)相機的感光元件的尺寸為12.7mm×9.6mm，所以短邊為9.6mm，由于視場較大，為保證工作距離較小，選取焦距較短的鏡頭，綜合考慮與相機的匹配問題。選取焦距為8mm，2000萬像素級鏡頭。

3

長距離激光位移傳感器

激光位移傳感器是利用激光技術(shù)進(jìn)行測量的傳感器。它由激光器、激光檢測器和測量電路組成。激光傳感器是新型測量儀表。能夠精確非接觸測量被測物體的位置、位移、振動、距離、直徑等。激光有直線度好的優(yōu)良特性，同樣激光位移傳感器相對于我們已知的超聲波傳感器有更高的精度。

機器人抓取人孔口蓋后，根據(jù)預(yù)設(shè)的程序，機器人末端停在與燃料貯箱人孔口裝配平面大致平行的位置，此時需用長距離激光器探測燃料貯箱位置，由于艙體具有光反射性，故選用長距離回歸反射型不帶反射鏡型激光器，檢測距離高達(dá)4m。

4

高精度點激光位移傳感器

利用高精度點激光檢測貯箱人孔法蘭平面的平面位置，及法蘭圓心位置。人孔法蘭平面高出基準(zhǔn)弧面約15mm，又考慮到檢測法蘭圓心需較高精度，故本方選取光點類型為小光點型的高精度點激光位移傳感器，可以中和因表面粗糙物體的表面不規(guī)則性所產(chǎn)生的漫反射，防止數(shù)據(jù)波動，測量范圍為80±15mm。

相機

長距離激光位移傳感器

鏡頭

高精度點激光位移傳感器

·選取部件實物圖·

螺孔精定位視覺系統(tǒng)主要部件選型過程類似，就不在此贅述。

03

特征提取算法

本方案為避免相機位姿檢測帶來的誤差，采用激光位移傳感器檢測對接端面是否平行，機器人根據(jù)反饋信息調(diào)整姿態(tài)，直至對接端面平行。此時2D相機視覺系統(tǒng)采集圖像，進(jìn)行圖像處理。

在圖像采集過程中，很多外在因素會影響采集圖像的質(zhì)量，使其有噪聲干擾，為盡量避免圖像噪聲給檢測精度和準(zhǔn)度帶來的影響，可以尋找合適的光源強度、入射角度等以使采集圖像質(zhì)量達(dá)到較好效果。另外的圖像預(yù)處理過程中，針對特定的噪聲采取對應(yīng)的解決算法對圖像噪聲進(jìn)行處理，也可提高檢測精度。預(yù)處理包括小波降噪、Otsu二值化、形態(tài)學(xué)處理，在保留原信號的條件下盡可能減少噪聲，隨后進(jìn)行Canny邊緣檢測，對圖像輪廓進(jìn)行提取，并用空間矩求質(zhì)心的方法檢測圓心坐標(biāo)，下圖為視覺檢測流程圖。

1

小波閾值降噪

●模型圖像為RGB彩色圖像，為避免條帶失真，方便后續(xù)圖像處理，提高運算速度，將其轉(zhuǎn)化為灰度圖。本算法用cvtColor函數(shù)進(jìn)行灰度圖轉(zhuǎn)化。

經(jīng)過灰度處理后，進(jìn)行圖像降噪處理。本方案采用基于小波變換的去噪方法，它主要特性為在時頻域有多分辨率，所以適合去除圖像的高斯噪聲，同時保留圖像高頻信息。采用一種可調(diào)半軟閾值函數(shù)，見下式，在節(jié)省運算時間的同時，綜合軟閾值方法和硬閾值方法的優(yōu)勢。小波基選用Haar小波。

2

最大類間方差法(Otsu)圖像二值化

●最大類間方差法(Otsu)是將灰度圖像分為兩個部分，選取閾值T使前景和背景與圖像平均灰度的差值值達(dá)到最大，用類間方差表示

其中P0和P1分別為前景和背景的像素數(shù)量占比，u0和u1分別為前景和背景的平均灰度值，u為圖像全局平均灰度值。

3

圖像輪廓去除和填補

●經(jīng)過二值化處理后有一些小裂縫需要填補，且工件一些邊緣凸起輪廓和螺孔接近，需要去除。本算法采用形態(tài)學(xué)處理中的開、閉運算進(jìn)行微小輪廓線的去除和填補，關(guān)鍵函數(shù)為getStructuringElement。開運算用于消除小物體如物體表面的突起；閉運算用于除去小型黑洞。由于本設(shè)計中要檢測圓孔特征，故選取尺寸為3×3的圓形核進(jìn)行卷積操作，保證邊緣平滑，并保留螺孔及圓特征。

4

Canny算子邊緣檢測及輪廓提取

●前四步為圖像預(yù)處理，下面提取輪廓。首先進(jìn)行邊緣檢測，常見的邊緣提取算子有Canny、Sobel、Prewitt等，經(jīng)測試Canny算子的邊緣檢測效果最好。直接采用OpenCV庫中自帶的Canny函數(shù)進(jìn)行輪廓提取。

用findContours函數(shù)，對輪廓的檢索模式采用RETR_LIST模式，檢測內(nèi)圍、外圍所有輪廓，不建立等級關(guān)系，彼此獨立。采用CHAIN_APPROX_SIMPLE的表達(dá)方式，壓縮水平，垂直或斜的部分，只保存最后一個點。再利用drawContours和存儲有輪廓信息的自定義矩陣counter將輪廓繪制出來。

5

圓心坐標(biāo)提取

●繪制出輪廓后進(jìn)行最后一步，即圓心坐標(biāo)的提取。霍夫變換對噪音的魯棒性強，結(jié)果可行度高，常用于圓特征的提取，但是其計算量大，實用性差。由于最終得到的輪廓已經(jīng)過降噪處理且只保留了圓形部分，可直接提取輪廓中心即為圓心。圓具有中心對稱的特性，采用計算空間/幾何矩的方法來計算圓心，可以減小由圖像處理帶來的誤差，用到的函數(shù)為moments。

最終求得各螺柱孔的圓心坐標(biāo)及人孔法蘭和人孔口蓋的質(zhì)心坐標(biāo)，并顯示在圖中。

特征提取過程效果圖

下圖為利用3D打印的縮小版模型搭建的實驗室測試平臺，進(jìn)行完搭建和像素當(dāng)量標(biāo)定后，將人孔口蓋縮小版模型靠著互相垂直的兩個定位塊放置，使得兩切線的垂直線交于人孔口蓋模型圓心。進(jìn)入軟件的視覺檢測模塊加載像素當(dāng)量，打開相機進(jìn)行圖像采集和特征位置提取，獲得人孔口蓋縮小版模型中心的X、Y坐標(biāo)。人孔口蓋縮小版模型在實驗臺的理論值由游標(biāo)卡尺測得的定位塊距離及模型直徑獲得。測試15組數(shù)據(jù)后，從實驗結(jié)果得出X、方向定位的最大絕對誤差的絕對值為0.23mm，Y方向定位的最大絕對誤差的絕對值為0.27mm，均小于預(yù)設(shè)的視覺定位誤差。

火箭燃料貯箱人孔口蓋自動裝配中的視覺檢測技術(shù)研究

目前火箭燃料貯箱人孔口蓋自動裝配中的視覺檢測技術(shù)研究部分已形成文字，收錄在CTISC 2022 論文集中。大家感興趣的話可以前往EI進(jìn)行檢索，題目為：Research on Visual Inspection Technology in Automatic Assembly for Manhole Cover of Rocket Fuel Tank。或者點擊最下方閱讀原文查看。

結(jié) 語

實現(xiàn)火箭燃料貯箱人孔口蓋自動裝配是火箭成功發(fā)射的又一重要保障。本文介紹了裝配系統(tǒng)的總體設(shè)計，并著重介紹了其中的兩個視覺檢測系統(tǒng)，主要運用的傳感器為高精度點激光位移傳感器和工業(yè)相機?？梢詫崿F(xiàn)自動尋找艙體法蘭面、調(diào)平、螺孔螺柱位置提取、孔軸自動裝配等功能。該視覺系統(tǒng)稍加改進(jìn)也可運用到其他的自動檢測方案中。

我們團(tuán)隊還有很多的實際工程項目，其中各式的傳感器發(fā)揮著重要作用，以后小編會慢慢整理并發(fā)到公眾號上。今天的介紹就到這里了，大家還想要了解哪方面的科研實例或者傳感器應(yīng)用可以在評論區(qū)留言哦~

審核編輯：郭婷