本研究以新一代飛機(jī)對機(jī)載軟件的高安全性和對預(yù)測與健康管理的需求為背景，針對實(shí)時(shí)嵌入式機(jī)載軟件的特點(diǎn)及其故障診斷與預(yù)測模型的復(fù)雜性，對基于軟件傳感器的采信信息源分類與獲取、故障診斷與預(yù)測方法進(jìn)行研究，并在其中加入分層強(qiáng)化學(xué)習(xí)算法，本文的主要工作是將一個(gè)因子狀態(tài)，層次和模型的新型聯(lián)合，從而解決了兩個(gè)重要問題。第一，它顯示了模型如何可以不被因子狀態(tài)破壞而和層次結(jié)合。算法展示了自由模型學(xué)習(xí)下的最優(yōu)樣本復(fù)雜性；第二，我們的方法的聯(lián)合保留了基于模型學(xué)習(xí)的多項(xiàng)式樣本復(fù)雜性。最終，我們展示了第一個(gè)最優(yōu)樣本和計(jì)算復(fù)雜性的因子狀態(tài)強(qiáng)化學(xué)習(xí)算法，并將該算法應(yīng)用到PHM故障診斷和預(yù)測系統(tǒng)中。

通過基于PHM的故障診斷系統(tǒng)的整體框架結(jié)構(gòu)，分別介紹了各個(gè)模塊的實(shí)現(xiàn)原理。將軟件傳感器應(yīng)用于數(shù)據(jù)采集中，提高了數(shù)據(jù)采集的效率，很大程度上減少了數(shù)據(jù)損失率。在故障診斷模塊中，提出了基于日志的故障診斷系統(tǒng)框架，介紹了分層強(qiáng)化學(xué)習(xí)算法在故障診斷系統(tǒng)的實(shí)現(xiàn)，對系統(tǒng)工作流程進(jìn)行了詳細(xì)的介紹。最終形成了DSHP分層強(qiáng)化學(xué)習(xí)的故障診斷的系統(tǒng)模型。并在bitflip域中對該分層強(qiáng)化學(xué)習(xí)算法進(jìn)行測試，測試結(jié)果顯示DSHP是唯一在計(jì)算和樣例復(fù)雜度上為多項(xiàng)式增長的算法，將其應(yīng)用與故障診斷模型中可以很好的完成故障診斷和識別。