近期，有不少報道強化學(xué)習(xí)算法在 GO、Dota 2 和 Starcraft 2 等一系列游戲中打敗了專業(yè)玩家的新聞。強化學(xué)習(xí)是一種機器學(xué)習(xí)類型，能夠在電子游戲、機器人、自動駕駛等復(fù)雜應(yīng)用中運用人工智能。在狀態(tài)和動作空間較大、環(huán)境信息不完善并且短期動作的長期回報不確定的游戲中，這些程序可以找出最佳動作。

不只是游戲王者，強化學(xué)習(xí)作為機器學(xué)習(xí)的一個分支，在真實系統(tǒng)設(shè)計中，它能幫助您針對復(fù)雜系統(tǒng)（如機器人和自主系統(tǒng)）實現(xiàn)控制器和決策系統(tǒng)。借助深度強化學(xué)習(xí)，您可以實現(xiàn)深度神經(jīng)網(wǎng)絡(luò)，這類網(wǎng)絡(luò)運用通過仿真模型動態(tài)生成的數(shù)據(jù)進(jìn)行訓(xùn)練，從而學(xué)習(xí)復(fù)雜行為。您只需準(zhǔn)備一個仿真模型來表示您正在與之交互并嘗試控制的環(huán)境，而無需提供標(biāo)注或者未標(biāo)注的預(yù)定義訓(xùn)練數(shù)據(jù)集。

MATLAB 和 Simulink 支持設(shè)計和部署基于強化學(xué)習(xí)的控制器的整套工作流。您可以：

通過簡單的控制系統(tǒng)、自主系統(tǒng)和機器人示例，初步了解強化學(xué)習(xí)

在常見強化學(xué)習(xí)算法間快速切換并加以評估和比較，只需對代碼稍加改動即可實現(xiàn)

使用深度神經(jīng)網(wǎng)絡(luò)，根據(jù)圖像、視頻和傳感器數(shù)據(jù)定義復(fù)雜強化學(xué)習(xí)策略

使用本地核心或云并行運行多個仿真，加速完成策略訓(xùn)練

將強化學(xué)習(xí)控制器部署到嵌入式設(shè)備

強化學(xué)習(xí)智能體（agent）

強化學(xué)習(xí)智能體由策略和算法構(gòu)成，策略用于執(zhí)行從輸入狀態(tài)到輸出動作的映射，算法負(fù)責(zé)更新策略。常見算法包括深度 Q 網(wǎng)絡(luò)、Actor-Critic 和深度確定性策略梯度。算法會更新策略，使之最大化環(huán)境提供的長期獎勵信號。策略可通過深度神經(jīng)網(wǎng)絡(luò)、多項式或查找表進(jìn)行表達(dá)。然后，您可以將內(nèi)置智能體和自定義智能體作為 MATLAB 對象或 Simulink 模塊加以實現(xiàn)。

在 MATLAB 和 Simulink 中進(jìn)行環(huán)境建模

強化學(xué)習(xí)算法訓(xùn)練是一個動態(tài)過程，因為智能體需要與周邊環(huán)境進(jìn)行交互。對于機器人和自主系統(tǒng)等應(yīng)用形式，在真實環(huán)境中使用實際硬件開展此類訓(xùn)練不僅代價高昂，還可能面臨危險。正因如此，人們傾向于采用通過仿真生成數(shù)據(jù)的虛擬環(huán)境模型來開展強化學(xué)習(xí)。您可以在 MATLAB 和 Simulink 中構(gòu)建環(huán)境模型，以此描述系統(tǒng)動態(tài)、智能體的行動對系統(tǒng)動態(tài)產(chǎn)生的影響，以及用于評估所采取行動優(yōu)度的獎勵。這些模型在本質(zhì)上可以是連續(xù)的或者離散的，可以采用不同的保真度來表示系統(tǒng)。此外，您也可以通過并行仿真來加快訓(xùn)練。在某些情況下，您還可以重用現(xiàn)有的 MATLAB 和 Simulink 系統(tǒng)模型，只需稍加改動即可將其用于強化學(xué)習(xí)。