基于動(dòng)作的評價(jià)值函數(shù)的再勵(lì)學(xué)習(xí)方法主要有三種：Q-學(xué)習(xí)、R-學(xué)習(xí)和優(yōu)勝學(xué)習(xí)。一般地,這些學(xué)習(xí)方法只能接受離散化的狀態(tài)輸入,產(chǎn)生離散值的控制動(dòng)作。但是,智能體所處的環(huán)境通常是空間連續(xù)的,對連續(xù)的狀態(tài)空間和動(dòng)作空間進(jìn)行離散化,會(huì)導(dǎo)致維數(shù)災(zāi)難問題。另一方面,經(jīng)典的模糊推理系統(tǒng),能夠完成簡單的學(xué)習(xí)任務(wù);但是,當(dāng)學(xué)習(xí)任務(wù)涉及復(fù)雜的多變量環(huán)境時(shí),這些方法就失去了效力。為完成具有離散時(shí)間和連續(xù)空間的復(fù)雜學(xué)習(xí)任務(wù),本文將基于動(dòng)作的評價(jià)值函數(shù)的再勵(lì)學(xué)習(xí)方法與Takagi-Sugeno模糊邏輯系統(tǒng)進(jìn)行了有機(jī)結(jié)合,提出了一種新的再勵(lì)學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),即競爭式T-S 模糊再勵(lì)學(xué)習(xí)網(wǎng)絡(luò)(以下簡稱CTSFRLN)。CTSFRLN
采用T-S 模糊神經(jīng)網(wǎng)絡(luò)表達(dá)智能體的結(jié)構(gòu),由于T-S 模糊推理系統(tǒng)只需少量的模糊規(guī)則,就能充分逼近多變量非線性函數(shù)。因此CTSFRLN 能夠利用這一優(yōu)勢處理多變量的復(fù)雜學(xué)習(xí)問題。針對CTSFRLN 結(jié)構(gòu),文中提出了一種高效的學(xué)習(xí)算法,即競爭式T-S 模糊Q-學(xué)習(xí)算法。
學(xué)習(xí)結(jié)束之后,CTSFRLN 從功能上將變?yōu)橐环NT-S 模糊變結(jié)構(gòu)控制器,能夠較大地改善系統(tǒng)的控制性能。本文對上述學(xué)習(xí)方法在倒立擺控制系統(tǒng)中的應(yīng)用進(jìn)行了仿真,結(jié)果令人滿意。