谷歌的DeepMind詢問AI失敗意味著什么谷歌的DeepMind一直在努力解決如何使神經(jīng)網(wǎng)絡(luò)“健壯”的問題，但即使理解失敗意味著什么，仍有許多工作要做。有一點(diǎn)可能有所幫助：人類更多地指定成功和失敗的角色。關(guān)于如何使人工智能“強(qiáng)大”地進(jìn)行攻擊并且不易發(fā)生故障的問題已經(jīng)進(jìn)行了多年的研究。然而，正如本周一篇來自谷歌DeepMind部門的博客文章所指出的那樣，人工智能實(shí)際意味著失敗的領(lǐng)域仍然存在。缺失的元素對(duì)于某些人來說似乎是顯而易見的：如果有更多的人參與設(shè)置神經(jīng)網(wǎng)絡(luò)應(yīng)該如何運(yùn)作的邊界條件，那將真的有幫助。

研究人員Pushmeet Kohli，Sven Gowal，Krishnamurthy，Dvijotham和Jonathan Uesato一直在研究這個(gè)問題，他們確定了許多仍有待完成的工作，他們總結(jié)為“走向強(qiáng)大且經(jīng)過驗(yàn)證的AI：規(guī)范測(cè)試，強(qiáng)大的培訓(xùn)”和正式驗(yàn)證。“

計(jì)算機(jī)程序的驗(yàn)證測(cè)試歷史悠久，但這些方法“并不適合現(xiàn)代深度學(xué)習(xí)系統(tǒng)”。

為什么?在很大程度上，因?yàn)榭茖W(xué)家們?nèi)栽诹私馍窠?jīng)網(wǎng)絡(luò)遵循為其規(guī)定的“規(guī)范”意味著什么。并不總是清楚規(guī)范甚至是什么。

作者寫道：“在AI系統(tǒng)中捕獲'正確'行為的規(guī)范通常很難準(zhǔn)確地說明。”

Google的DeepMind提出了一種方法來設(shè)置神經(jīng)網(wǎng)絡(luò)可以產(chǎn)生的輸出類型，以防止它做錯(cuò)事。

DeepMind研究人員觀察到，“規(guī)范”的概念來自軟件世界。它是計(jì)算機(jī)系統(tǒng)的預(yù)期功能。

正如作者在12月的一篇文章中所寫，在AI中，可能不會(huì)只有一個(gè)規(guī)范，可能至少有三個(gè)。有一個(gè)“理想”規(guī)范，系統(tǒng)的創(chuàng)造者想象它可以做什么。然后是“設(shè)計(jì)”規(guī)范，明確針對(duì)神經(jīng)網(wǎng)絡(luò)優(yōu)化的“目標(biāo)函數(shù)”。而且，最后，還有“顯示”規(guī)范，即實(shí)際執(zhí)行的方式。他們稱這三個(gè)規(guī)格，彼此之間可能有很大差異，包括愿望，設(shè)計(jì)和行為。

設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)可以看作如何縮小愿望，設(shè)計(jì)和行為之間的差距。正如他們?cè)?2月的文章中寫道的那樣，“當(dāng)理想規(guī)范與顯示的規(guī)范不匹配時(shí)，即當(dāng)人工智能系統(tǒng)沒有做我們希望它做的事情時(shí)，就會(huì)出現(xiàn)規(guī)范問題。”

他們提出了各種測(cè)試和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的途徑，這些網(wǎng)絡(luò)對(duì)錯(cuò)誤更加健壯，并且可能更忠實(shí)于規(guī)范。

一種方法是使用AI本身來弄清楚AI的困惑。這意味著使用像Google的AlphaGo這樣的強(qiáng)化學(xué)習(xí)系統(tǒng)，找到另一種強(qiáng)化學(xué)習(xí)系統(tǒng)失敗的最壞方法?

作者在12月發(fā)表的一篇論文中做到了這一點(diǎn)。“我們學(xué)習(xí)了一種對(duì)抗價(jià)值函數(shù)，它根據(jù)經(jīng)驗(yàn)預(yù)測(cè)哪種情況最有可能導(dǎo)致代理人失敗。”在這種情況下，代理是指強(qiáng)化學(xué)習(xí)代理。

“然后我們使用這種學(xué)習(xí)函數(shù)進(jìn)行優(yōu)化，將評(píng)估重點(diǎn)放在最有問題的輸入上。”他們聲稱該方法導(dǎo)致強(qiáng)化學(xué)習(xí)系統(tǒng)“對(duì)隨機(jī)測(cè)試的大幅改進(jìn)”。

另一種方法是訓(xùn)練神經(jīng)網(wǎng)絡(luò)以避免整個(gè)輸出范圍，以防止它完全脫離軌道并做出非常糟糕的預(yù)測(cè)。作者聲稱，“簡(jiǎn)單邊界技術(shù)”，稱為“區(qū)間界限傳播”，能夠訓(xùn)練“可驗(yàn)證的魯棒”神經(jīng)網(wǎng)絡(luò)。這項(xiàng)工作在去年的NeurIPS大會(huì)上為他們贏得了“最佳論文”獎(jiǎng)。

他們現(xiàn)在正在超越僅僅測(cè)試和訓(xùn)練神經(jīng)網(wǎng)絡(luò)以避免災(zāi)難，他們也開始為保證穩(wěn)健性找到理論基礎(chǔ)。他們認(rèn)為這是一個(gè)“優(yōu)化問題，試圖找到被核實(shí)財(cái)產(chǎn)的最大違規(guī)行為”。

盡管取得了這些成就，但最終還是“需要做很多工作”，作者寫道“構(gòu)建自動(dòng)化工具以確?，F(xiàn)實(shí)世界中的AI系統(tǒng)能夠做出”正確的事情“。

其中一些工作是設(shè)計(jì)能夠更強(qiáng)烈地測(cè)試和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的算法。但其中一些可能涉及人的因素。它是關(guān)于為人類所需的AI設(shè)定目標(biāo) - 目標(biāo)函數(shù)。

“需要建立能夠使用部分人工規(guī)范并從評(píng)估反饋中學(xué)習(xí)更多規(guī)范的系統(tǒng)，”他們寫道，“因?yàn)槲覀冋诮⒛軌蛘宫F(xiàn)復(fù)雜行為并在非結(jié)構(gòu)化環(huán)境中行動(dòng)的越來越智能的代理。”