一種新的算法使Atari視頻游戲的掌握速度比最先進(jìn)的AI快10倍，并且采用了突破性的解決問題的方法。設(shè)計可以協(xié)商規(guī)劃問題的人工智能，尤其是獎勵不是很明顯的人工智能，是推動該領(lǐng)域最重要的研究挑戰(zhàn)之一。一項著名的2015年研究顯示，Google DeepMind AI學(xué)會了將視頻彈球等Atari視頻游戲發(fā)揮到人性化水平，但由于游戲的復(fù)性，臭名昭著的未能通過20世紀(jì)80年代電子游戲Montezuma's Revenge的第一把關(guān)鍵路徑。在澳大利亞墨爾本皇家墨爾本理工大學(xué)開發(fā)的新方法中，計算機(jī)設(shè)置為自主玩蒙特祖瑪?shù)膹?fù)仇從錯誤中學(xué)習(xí)并確定子目標(biāo)比谷歌DeepMind快10倍完成游戲。

來自皇家墨爾本理工大學(xué)的Fabio Zambetta副教授于本周五在美國第33屆AAAI人工智能會議上公布了這種新方法。

該方法是與RMIT的John Thangarajah教授和Michael Dann合作開發(fā)的，它將“胡蘿卜加大棒”強(qiáng)化學(xué)習(xí)與內(nèi)在激勵方法結(jié)合起來，獎勵人工智能，使其好奇并探索其環(huán)境。

“真正智能的AI需要能夠?qū)W會在模糊的環(huán)境中自主完成任務(wù)，”Zambetta說。

“我們已經(jīng)證明，正確的算法可以使用更智能的方法來改善結(jié)果，而不是純粹粗暴地在非常強(qiáng)大的計算機(jī)上端到端地解決問題。

“我們的研究結(jié)果表明，如果我們希望在這一領(lǐng)域取得實質(zhì)性進(jìn)展，我們能夠更加接近自主AI，并且可能成為一個重要的調(diào)查線。”

Zambetta的方法獎勵系統(tǒng)自主探索有用的子目標(biāo)，例如“攀爬那個階梯”或“跳過那個坑”，這對于計算機(jī)而言，在完成更大任務(wù)的背景下可能并不明顯。

其他最先進(jìn)的系統(tǒng)需要人工輸入來識別這些子目標(biāo)，否則決定下一步隨機(jī)做什么。

“不僅我們的算法在玩Montezuma's Revenge時自動識別相關(guān)任務(wù)的速度比Google DeepMind大約快10倍，他們還表現(xiàn)出相對類似人類的行為，”Zambetta說。

“例如，在你可以進(jìn)入游戲的第二個屏幕之前，你需要確定一些子任務(wù)，例如爬梯子，跳過一個敵人，然后最終拿起鑰匙，大致按照這個順序。

“這最終會在很長一段時間后隨機(jī)發(fā)生，但在我們的測試中如此自然地發(fā)生了某種意圖。

“這使我們成為第一個完全自主的面向目標(biāo)的代理商，與這些游戲中最先進(jìn)的代理商真正競爭。”

Zambetta表示，當(dāng)提供原始視覺輸入時，該系統(tǒng)可以在視頻游戲之外的各種任務(wù)中工作。

“創(chuàng)建一個可以完成視頻游戲的算法可能聽起來微不足道，但我們設(shè)計的一個可以應(yīng)對歧義的事實，同時從任意數(shù)量的可能行??動中選擇是一個關(guān)鍵的進(jìn)步。

“這意味著，隨著時間的推移，這項技術(shù)對于實現(xiàn)現(xiàn)實世界的目標(biāo)將是有價值的，無論是在自動駕駛汽車中還是在自然語言識別中作為有用的機(jī)器人助手，”他說。

將于2019年2月1日在夏威夷檀香山舉行的第33屆AAAI人工智能會議上，自主推導(dǎo)子目標(biāo)以加速稀疏獎勵領(lǐng)域的學(xué)習(xí)(附件)。