針對(duì)提高視覺圖像特征與優(yōu)化控制之間契合度的問題，本文提出一種基于深度強(qiáng)化學(xué)習(xí)的機(jī)械臂視覺抓取控制優(yōu)化方法，可以自主地從與環(huán)境交互產(chǎn)生的視覺圖像中不斷學(xué)習(xí)特征提取，直接地將提取的特征應(yīng)用于機(jī)械臂抓取控制。通過不斷的抓取實(shí)驗(yàn)，優(yōu)化機(jī)械臂抓取策略，最終獲得優(yōu)秀的抓取策略。并且可以針對(duì)不同的抓取任務(wù)和抓取環(huán)境，學(xué)習(xí)相應(yīng)的機(jī)械臂抓取控制策略。

　　神經(jīng)網(wǎng)絡(luò)是人工智能研究領(lǐng)域的核心之一，其本質(zhì)是模擬人腦的學(xué)習(xí)系統(tǒng)，通過增加網(wǎng)絡(luò)的層數(shù)讓機(jī)器從數(shù)據(jù)中學(xué)習(xí)高層特征。近年來，由于神經(jīng)網(wǎng)絡(luò)優(yōu)異的算法性能，已經(jīng)廣泛應(yīng)用于圖像分析、目標(biāo)檢測(cè)等領(lǐng)域。

　　視覺圖像提供了豐富的特征信息，可以提供某個(gè)時(shí)刻對(duì)于研究問題所需要的環(huán)境的有效狀態(tài)信息。正因?yàn)槠渚哂械呢S富的特征信息量，視覺圖像被廣泛應(yīng)用于如機(jī)器人導(dǎo)航、機(jī)械臂控制等許多應(yīng)用上。純粹基于視覺圖像的抓取控制，其質(zhì)量極大地依賴于圖像的特征提取的準(zhǔn)確性和機(jī)械臂抓取控制的動(dòng)力學(xué)模型的準(zhǔn)確性。但是，傳統(tǒng)的視覺特征提取算法受環(huán)境動(dòng)態(tài)變化的影響，手工提取的特征往往費(fèi)時(shí)費(fèi)力，很難滿足機(jī)械臂抓取控制的需求。同時(shí)，機(jī)械臂運(yùn)動(dòng)軌跡的求解與規(guī)劃，正逆動(dòng)力學(xué)模型的建立往往也十分困難。

　　目前國(guó)內(nèi)外許多文章提出了不同的機(jī)械臂控制方法，近年來由于圖像識(shí)別技術(shù)的發(fā)展以及人工智能得到廣泛的運(yùn)用，出現(xiàn)了將兩者結(jié)合起來用于機(jī)械臂的控制，并且取得了良好的效果。將機(jī)械臂避障路徑規(guī)劃問題置于強(qiáng)化學(xué)習(xí)的框架當(dāng)中，采用深度Q 學(xué)習(xí)的方法訓(xùn)練策略以規(guī)劃路徑，使得機(jī)械臂能夠在空間中存在障礙物的情況下實(shí)現(xiàn)避障抓捕。對(duì)圖像進(jìn)行了預(yù)處理并提取了目標(biāo)邊緣，結(jié)合目標(biāo)特點(diǎn)對(duì)提取的邊緣進(jìn)行了橢圓擬合，并對(duì)橢圓擬合偏差進(jìn)行了分析。針對(duì)常規(guī)方法設(shè)計(jì)視覺控制器的不足，基于BP 神經(jīng)網(wǎng)絡(luò)對(duì)視覺控制器進(jìn)行了設(shè)計(jì)，考慮了不同網(wǎng)絡(luò)參數(shù)和訓(xùn)練算法對(duì)網(wǎng)絡(luò)訓(xùn)練效果的影響。深入分析了機(jī)械臂特性和目標(biāo)特性，在建立機(jī)械臂、相機(jī)和目標(biāo)的運(yùn)動(dòng)關(guān)系的基礎(chǔ)上，基于立體視覺實(shí)現(xiàn)了對(duì)空間目標(biāo)的位姿測(cè)量，控制機(jī)械臂進(jìn)行抓取預(yù)定位?？紤]立體相機(jī)的測(cè)量誤差和機(jī)械臂的控制精度因素，在抓取末階段采用單目相機(jī)，基于圖像的視覺伺服策略控制機(jī)械臂進(jìn)行精確位姿調(diào)整對(duì)目標(biāo)進(jìn)行抓取。以二自由度機(jī)械臂為基礎(chǔ)，用攝像機(jī)獲取機(jī)械臂運(yùn)動(dòng)區(qū)域的圖像，通過圖像分析，求解機(jī)械臂末端執(zhí)行器在直角坐標(biāo)空間的坐標(biāo)值，將該值作為系統(tǒng)的實(shí)際位置，并通過反饋與期望坐標(biāo)值相減，將所獲得的誤差作為機(jī)械臂控制系統(tǒng)的補(bǔ)償量，實(shí)現(xiàn)整個(gè)系統(tǒng)的全閉環(huán)控制，進(jìn)一步解決了原半閉環(huán)控制帶來的控制精度不高的問題。針對(duì)多自由度機(jī)械臂的神經(jīng)網(wǎng)絡(luò)控制問題，將控制系統(tǒng)根據(jù)自由度分為兩個(gè)子系統(tǒng)，提出全局神經(jīng)網(wǎng)絡(luò)與局部神經(jīng)網(wǎng)絡(luò)組合對(duì)機(jī)械臂系統(tǒng)進(jìn)行控制。

　　指出機(jī)械臂視覺抓取系統(tǒng)中基于深度學(xué)習(xí)的視覺識(shí)別可通過對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實(shí)現(xiàn)多目標(biāo)快速識(shí)別而不必更改識(shí)別算法。這需要搜集被檢測(cè)目標(biāo)的大量圖像制作標(biāo)準(zhǔn)的訓(xùn)練集，利用前述基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)識(shí)別算法對(duì)數(shù)據(jù)集進(jìn)行離線訓(xùn)練，將得到的模型用于在線識(shí)別。R-CNN 系列算法是目前主流的用于機(jī)械臂抓取的深度學(xué)習(xí)目標(biāo)檢測(cè)算法，但是速度上并不能滿足實(shí)時(shí)的要求。

　　機(jī)械臂視覺抓取在常規(guī)的機(jī)器人學(xué)、控制理論的基礎(chǔ)上，融合了計(jì)算機(jī)視覺理論、深度學(xué)習(xí)和人工智能等學(xué)科，具有重要的科研和應(yīng)用價(jià)值。

　　如何提高視覺圖像特征與優(yōu)化控制之間的契合度是現(xiàn)有技術(shù)需要解決的問題。針對(duì)現(xiàn)有技術(shù)的缺點(diǎn)，本文提出了一種結(jié)合深度強(qiáng)化學(xué)習(xí)［15］的機(jī)械臂視覺抓取控制優(yōu)化方法。在建立在人工智能算法深度強(qiáng)化學(xué)習(xí)的基礎(chǔ)上，能自主地學(xué)習(xí)視覺圖像的特征提取，并有效地規(guī)劃?rùn)C(jī)械臂的抓取控制軌跡。同時(shí)，根據(jù)不同的應(yīng)用環(huán)境和抓取目標(biāo)，自主地學(xué)習(xí)相應(yīng)的機(jī)械臂抓取控制策略，提高了算法的泛化能力。深度強(qiáng)化學(xué)習(xí)的應(yīng)用，避免了人為的特征提取和運(yùn)動(dòng)軌跡計(jì)算，提高了準(zhǔn)確度，簡(jiǎn)化了復(fù)雜度，從而提升實(shí)際機(jī)械臂抓取控制的效率。