強化學習（RL）能通過獎勵或懲罰使智能體實現(xiàn)目標，并將它們學習到的經(jīng)驗轉移到新環(huán)境中。但強化學習存在眾所周知的缺陷：由于數(shù)據(jù)科學家在它們接受訓練的環(huán)境中對這個系統(tǒng)進行基準測試，所以產(chǎn)生了過擬合，即訓練數(shù)據(jù)擬合程度過當?shù)那闆r。非營利性人工智能研究公司OpenAI正在通過人工智能訓練環(huán)境（CoinRun）來解決這個問題，該環(huán)境為智能體將其經(jīng)驗轉移到不熟悉的場景的能力提供了一項衡量指標，它本質上就像一個擁有敵人、目標和不同難度關卡等完備信息的經(jīng)典平臺游戲。

OpenAI表示CoinRun在復雜性方面取得了理想的平衡效果，其訓練環(huán)境比《刺猬索尼克》等傳統(tǒng)游戲平臺簡單得多，但它仍然對最先進的算法提出了一個有價值的泛化問題。CoinRun的訓練級別是程序生成的，可為智能體提供大量易于量化的訓練數(shù)據(jù)。

正如OpenAI所解釋的那樣，之前在強化學習環(huán)境中所做的工作主要集中在程序生成的迷宮、像一般電子游戲AI框架這樣的社區(qū)項目以及像《刺猬索尼克》這樣的游戲上，通過在不同等級上的訓練和測試智能體來衡量泛化效果。相比之下，CoinRun在每個等級訓練結束時都會為智能體提供一個獎勵。

在傳統(tǒng)的訓練中，AI智能體必須應對碰撞以后會導致死亡的固定或者移動的障礙。當收集完硬幣，或者走1000步之后，訓練就結束了。

似乎這還不夠，所以OpenAI開發(fā)了兩個額外的環(huán)境來探索過擬合的問題：CoinRun-Platforms和RandomMazes。CoinRun-Platforms包括隨機分散在平臺上的幾個硬幣，促使智能體積極探索關卡并時不時做一些回溯。RandomMazes是一個簡單的迷宮導航任務。

為了驗證CoinRun、CoinRun-Platforms和RandomMazes，OpenAI培訓了9個智能體，每個智能體具有不同數(shù)量的訓練等級。前8個接受了100到16000個等級的訓練，最后一個接受了不受限制的等級訓練——實際上大約是200萬個——這樣它就不會兩次看到相同的等級。

智能體在4000訓練等級處出現(xiàn)了過擬合，甚至在16000的訓練等級處也是這樣。表現(xiàn)最佳的智能體竟然是那些受到無限制水平訓練的。在CoinRun-Platforms和RandomMazes中，智能體在所有情況下都過擬合了。

OpenAI稱，使用程序生成的CoinRun環(huán)境可以精確地量化這種過擬合，可以更好地評估關鍵架構和算法決策。OpenAI相信從這種環(huán)境中汲取的經(jīng)驗教訓將適用于更復雜的環(huán)境，也希望利用這一基準，以及其他類似的基準來迭代開發(fā)更通用的智能體。