Sam Altman 的致辭發(fā)生在6月10日智源大會(huì)的AI安全與對(duì)齊分論壇上?,F(xiàn)場(chǎng)座無(wú)虛席,這位OpenAI CEO在屏幕上出現(xiàn)時(shí),現(xiàn)場(chǎng)響起掌聲,幾乎所有人都舉起手機(jī)對(duì)著屏幕拍照。
不過(guò)Altman本人顯得十分平靜,甚至是謹(jǐn)慎。這是去年ChatGPT攪動(dòng)全球AI熱潮以來(lái),Sam Altman 首度在中國(guó)背景的場(chǎng)合公開(kāi)發(fā)表意見(jiàn)。
事實(shí)上當(dāng)天他也在離中國(guó)不遠(yuǎn)的地方,此前他剛剛抵達(dá)首爾,見(jiàn)了韓國(guó)。在對(duì)話(huà)中他自己提到,上一次來(lái)中國(guó)是2016年。在發(fā)表演講后,他還與智源研究院理事長(zhǎng)張宏江進(jìn)行了一對(duì)一問(wèn)答。以下為要點(diǎn)及實(shí)錄。
要點(diǎn):
以下為演講實(shí)錄:
今天,我想談?wù)勎磥?lái)。具體來(lái)說(shuō),就是我們?cè)谌斯ぶ悄苣芰Ψ矫婵吹降脑鲩L(zhǎng)速度。我們現(xiàn)在需要做什么,為它們引入世界做好負(fù)責(zé)任的準(zhǔn)備,科學(xué)史教會(huì)我們,技術(shù)進(jìn)步遵循指數(shù)曲線(xiàn)。我們已經(jīng)能從歷史中看到這一點(diǎn),從農(nóng)業(yè)、工業(yè)到計(jì)算革命。人工智能令人震撼的不僅是它的影響力,還有它的進(jìn)步速度。它拓展了人類(lèi)想象力的邊界,并且以快速的步伐進(jìn)行著。
想象一下,在未來(lái)十年里,通常被稱(chēng)為通用人工智能(AGI)的系統(tǒng),在幾乎所有領(lǐng)域都超越了人類(lèi)的專(zhuān)業(yè)水平。這些系統(tǒng)最終可能超過(guò)我們最大公司的集體生產(chǎn)力。這里面潛藏著巨大的上升空間。人工智能革命將創(chuàng)造共享財(cái)富,并使提高每個(gè)人生活水平成為可能,解決共同挑戰(zhàn),如氣候變化和全球衛(wèi)生安全,并以無(wú)數(shù)其他方式提高社會(huì)福祉。
我深信這個(gè)未來(lái),為了實(shí)現(xiàn)它并享受它,我們需要共同投資于AGI安全,并管理風(fēng)險(xiǎn)。如果我們不小心,一個(gè)不符合目標(biāo)的AGI系統(tǒng),可能會(huì)通過(guò)提供沒(méi)有根據(jù)的建議,破壞整個(gè)醫(yī)療系統(tǒng)。同樣地,一個(gè)旨在優(yōu)化農(nóng)業(yè)實(shí)踐的AGI系統(tǒng)可能會(huì)由于缺乏對(duì)長(zhǎng)期可持續(xù)性的考慮而無(wú)意中耗盡自然資源或破壞生態(tài)系統(tǒng),影響食品生產(chǎn)和環(huán)境平衡。
我希望我們都能同意,推進(jìn)AGI安全是我們最重要的領(lǐng)域之一。我想把我剩下的講話(huà)重點(diǎn)放在我認(rèn)為我們可以從哪里開(kāi)始的地方。
一個(gè)領(lǐng)域是AGI治理,這是一項(xiàng)具有全球影響的技術(shù)。魯莽開(kāi)發(fā)和部署造成的成本將影響我們所有人。
在這方面,有兩個(gè)關(guān)鍵要素:
首先,我們需要建立國(guó)際規(guī)范和標(biāo)準(zhǔn),并通過(guò)包容的過(guò)程,在所有國(guó)家為AGI的使用制定平等統(tǒng)一的保護(hù)措施。在這些保護(hù)措施之內(nèi),我們相信人們有充分的機(jī)會(huì)做出自己的選擇。
其次,我們需要國(guó)際合作來(lái)建立對(duì)日益強(qiáng)大的人工智能系統(tǒng)安全開(kāi)發(fā)的全球信任,以可驗(yàn)證的方式。這不是一件容易的事情。我們需要作為國(guó)際社會(huì)投入持續(xù)而重要的關(guān)注,才能做好這件事。道德經(jīng)提醒我們,千里之行始于足下。我們認(rèn)為在這里采取最有建設(shè)性的第一步是與國(guó)際科技界合作。
特別是,我們應(yīng)該促進(jìn)增加透明度和知識(shí)共享的機(jī)制,關(guān)于AGI安全方面的技術(shù)進(jìn)展。發(fā)現(xiàn)新出現(xiàn)安全問(wèn)題的研究人員應(yīng)該為了更大的利益分享他們的見(jiàn)解。我們需要認(rèn)真考慮如何在尊重和保護(hù)知識(shí)產(chǎn)權(quán)權(quán)利的同時(shí),鼓勵(lì)這種規(guī)范。
如果我們做好了這一點(diǎn),它將為我們打開(kāi)新的大門(mén),讓我們能夠加深合作。更廣泛地說(shuō),我們應(yīng)該投資、促進(jìn)和引導(dǎo)對(duì)目標(biāo)和安全研究的投資。
在OpenAI,我們今天的目標(biāo)研究主要集中在技術(shù)問(wèn)題上,即如何讓人工智能系統(tǒng)作為一個(gè)有用和安全的助手,在我們當(dāng)前的系統(tǒng)中行動(dòng)。這可能意味著,我們?nèi)绾斡?xùn)練ChatGPT,使它不會(huì)發(fā)出暴力威脅或協(xié)助用戶(hù)進(jìn)行有害活動(dòng)。
但是隨著我們更接近AGI,任何不符合目標(biāo)的潛在影響和程度都將呈指數(shù)增長(zhǎng)。為了提前解決這些挑戰(zhàn),我們努力將未來(lái)災(zāi)難性結(jié)果的風(fēng)險(xiǎn)降到最低。對(duì)于當(dāng)前系統(tǒng),我們主要使用來(lái)自人類(lèi)反饋的強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練我們的模型,使其作為一個(gè)有用和安全的助手行動(dòng)。
這是后期訓(xùn)練目標(biāo)技術(shù)中的一個(gè)例子,我們也在忙于開(kāi)發(fā)新的技術(shù)。要做好這件事情需要很多艱苦的工程工作。從GPT-4完成預(yù)訓(xùn)練到部署它,我們花了8個(gè)月的時(shí)間來(lái)做這件事??偟膩?lái)說(shuō),我們認(rèn)為我們?cè)谶@方面走在了正確的軌道上。GPT-4比我們以前的任何模型都更符合目標(biāo)。
然而,對(duì)于更先進(jìn)的系統(tǒng)來(lái)說(shuō),目標(biāo)仍然是一個(gè)未解決的問(wèn)題,我們認(rèn)為這需要新的技術(shù)方法,以及更多的治理和監(jiān)督。想象一下,一個(gè)未來(lái)的AGI系統(tǒng)提出了10萬(wàn)行二進(jìn)制代碼。人類(lèi)監(jiān)督者不太可能檢測(cè)到這樣一個(gè)模型是否在做一些邪惡的事情。
所以我們正在投資一些新的和互補(bǔ)的研究方向,我們希望能夠取得突破。一個(gè)是可擴(kuò)展的監(jiān)督。我們可以嘗試使用人工智能系統(tǒng)來(lái)協(xié)助人類(lèi)監(jiān)督其他人工智能系統(tǒng)。例如,我們可以訓(xùn)練一個(gè)模型來(lái)幫助人類(lèi)監(jiān)督者發(fā)現(xiàn)其他模型輸出中的缺陷。第二個(gè)是可解釋性。我們想嘗試更好地理解這些模型內(nèi)部發(fā)生了什么。
我們最近發(fā)表了一篇論文,使用GPT-4來(lái)解釋GPT-2中的神經(jīng)元。在另一篇論文中,我們使用模型內(nèi)部信息來(lái)檢測(cè)模型何時(shí)在說(shuō)謊。雖然我們還有很長(zhǎng)的路要走,但我們相信先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們產(chǎn)生解釋的能力。
最終,我們的目標(biāo)是訓(xùn)練人工智能系統(tǒng)來(lái)幫助目標(biāo)研究本身。這種方法的一個(gè)有希望的方面是,它隨著人工智能發(fā)展的步伐而擴(kuò)展。隨著未來(lái)模型變得越來(lái)越聰明和有用作為助手,我們將找到更好的技術(shù),實(shí)現(xiàn)AGI的非凡利益,同時(shí)減輕風(fēng)險(xiǎn),是我們這個(gè)時(shí)代最重要的挑戰(zhàn)之一。
以下為對(duì)話(huà)實(shí)錄:
張宏江:我們離人工智能還有多遠(yuǎn)?風(fēng)險(xiǎn)是不是很緊迫,還是我們離它還很遙遠(yuǎn)?無(wú)論是安全的人工智能,還是潛在的不安全的人工智能。
Sam Altman :這個(gè)問(wèn)題很難準(zhǔn)確預(yù)測(cè)時(shí)間,因?yàn)樗枰碌难芯克悸?,而這些思路并不總是按照規(guī)定的日程來(lái)發(fā)展的。它可能很快就會(huì)發(fā)生,也可能需要更長(zhǎng)的時(shí)間。我認(rèn)為很難用任何程度的確定性來(lái)預(yù)測(cè)。但我確實(shí)認(rèn)為,在未來(lái)十年內(nèi),我們可能會(huì)擁有非常強(qiáng)大的人工智能系統(tǒng)。在這樣的世界里,我認(rèn)為解決這個(gè)問(wèn)題是重要而緊迫的,這就是為什么我呼吁國(guó)際社會(huì)共同合作來(lái)解決這個(gè)問(wèn)題。歷史上確實(shí)給我們提供了一些新技術(shù)比許多人想象的更快地改變世界的例子。我們現(xiàn)在看到的這些系統(tǒng)的影響和加速度,在某種意義上是前所未有的。所以我認(rèn)為做好準(zhǔn)備,讓它盡快發(fā)生,并且解決好安全性方面的問(wèn)題,考慮到它們的影響和重要性,是非常有意義的。
張宏江:你感覺(jué)到了一種緊迫感嗎?
Sam Altman:是的,我感覺(jué)到了。我想強(qiáng)調(diào)一下,我們并不真正知道。而且人工智能的定義也不同,但是我認(rèn)為在十年內(nèi),我們應(yīng)該為一個(gè)擁有非常強(qiáng)大系統(tǒng)的世界做好準(zhǔn)備。
張宏江:你在剛才的演講中也提到了幾次全球合作。我們知道世界在過(guò)去六七十年里面臨過(guò)很多危機(jī)。不過(guò)對(duì)于其中的很多危機(jī),我們?cè)O(shè)法建立了共識(shí)和全球合作。你也正在進(jìn)行一次全球之旅。你正在推動(dòng)什么樣的全球合作?你對(duì)目前收到的反饋感覺(jué)如何?
Sam Altman:是的,我對(duì)目前收到的反饋非常滿(mǎn)意。我認(rèn)為人們非常認(rèn)真地對(duì)待人工智能帶來(lái)的風(fēng)險(xiǎn)和機(jī)遇。我認(rèn)為在過(guò)去六個(gè)月里,這方面的討論已經(jīng)有了很大進(jìn)步。人們真正致力于找出一個(gè)框架,讓我們能夠享受這些好處,同時(shí)共同合作來(lái)減輕風(fēng)險(xiǎn)。我認(rèn)為我們處于一個(gè)非常有利的位置來(lái)做這件事。全球合作總是很困難的,但我認(rèn)為這是一種機(jī)會(huì)和威脅,可以讓世界團(tuán)結(jié)起來(lái)。我們可以制定一些框架和安全標(biāo)準(zhǔn),來(lái)指導(dǎo)這些系統(tǒng)的開(kāi)發(fā),這將是非常有幫助的。
張宏江:在這個(gè)特定的話(huà)題上,你提到了高級(jí)人工智能系統(tǒng)的對(duì)齊是一個(gè)未解決的問(wèn)題。我也注意到OpenAI在過(guò)去幾年里投入了很多精力。你還提到了GPT-4是對(duì)齊方面的最佳例子。你認(rèn)為我們能否通過(guò)對(duì)齊來(lái)解決人工智能安全問(wèn)題?或者這個(gè)問(wèn)題比對(duì)齊更大?
Sam Altman :我認(rèn)為對(duì)齊這個(gè)詞有不同的用法。我認(rèn)為我們需要解決的是如何實(shí)現(xiàn)安全人工智能系統(tǒng)的整個(gè)挑戰(zhàn)。對(duì)齊在傳統(tǒng)意義上是指讓模型按照用戶(hù)的意圖行事,這當(dāng)然是其中的一部分。但我們還需要回答其他一些問(wèn)題,比如我們?nèi)绾悟?yàn)證系統(tǒng)是否做了我們想要它們做的事情,以及我們要根據(jù)誰(shuí)的價(jià)值觀(guān)來(lái)對(duì)齊系統(tǒng)。但我認(rèn)為重要的是要看到實(shí)現(xiàn)安全人工智能所需要的全貌。
張宏江:是的,如果我們看看GPT-4所做的事情,在很大程度上,它仍然是從技術(shù)角度來(lái)看的。但除了技術(shù)之外,還有許多其他因素。這是一個(gè)非常復(fù)雜的問(wèn)題。通常復(fù)雜問(wèn)題是系統(tǒng)性的。人工智能安全可能也不例外。除了技術(shù)方面之外,你認(rèn)為還有哪些因素和問(wèn)題對(duì)人工智能安全至關(guān)重要?我們應(yīng)該如何應(yīng)對(duì)這些挑戰(zhàn)?特別是我們大多數(shù)人都是科學(xué)家,我們應(yīng)該做什么?
Sam Altman:這當(dāng)然是一個(gè)非常復(fù)雜的問(wèn)題。我會(huì)說(shuō)沒(méi)有技術(shù)解決方案,其他一切都很難。我認(rèn)為把很多精力放在確保我們解決了安全方面的技術(shù)問(wèn)題上是非常重要的。正如我提到的,弄清楚我們要根據(jù)什么樣的價(jià)值觀(guān)來(lái)對(duì)齊系統(tǒng),這不是一個(gè)技術(shù)問(wèn)題。它需要技術(shù)輸入,但它是一個(gè)需要全社會(huì)深入討論的問(wèn)題。我們必須設(shè)計(jì)出公平、有代表性和包容性的系統(tǒng)。而且,正如你指出的,我們不僅要考慮人工智能模型本身的安全性,還要考慮整個(gè)系統(tǒng)的安全性。所以建立安全分類(lèi)器和檢測(cè)器,可以在模型之上運(yùn)行,可以監(jiān)控使用策略的遵守情況,這也很重要。然后,我也認(rèn)為很難任何技術(shù)會(huì)出現(xiàn)什么問(wèn)題。所以從真實(shí)世界中學(xué)習(xí)和迭代地部署,看看當(dāng)你把模型放到現(xiàn)實(shí)中時(shí)會(huì)發(fā)生什么,并改進(jìn)它,并給人們和社會(huì)時(shí)間去學(xué)習(xí)和更新,并思考這些模型將如何以好的和壞的方式影響他們的生活。這也很重要。
張宏江:你剛才提到了全球合作。你已經(jīng)訪(fǎng)問(wèn)了很多國(guó)家,你提到了中國(guó)。但你能否分享一些你在合作方面取得的成果?你對(duì)下一步有什么計(jì)劃或想法?從這次世界之旅中,從你與各種政府、機(jī)構(gòu)、機(jī)構(gòu)之間的互動(dòng)中?
Sam Altman:我認(rèn)為通常需要很多不同的視角和人工智能安全。我們還沒(méi)有得到所有的答案,這是一個(gè)相當(dāng)困難和重要的問(wèn)題。
此外,正如所提到的,這不是一個(gè)純粹的技術(shù)問(wèn)題,使人工智能安全和有益的。涉及在非常不同的背景下了解不同國(guó)家的用戶(hù)偏好。我們需要很多不同的投入才能實(shí)現(xiàn)這一目標(biāo)。中國(guó)擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說(shuō),我認(rèn)為,考慮到解決高級(jí)人工智能系統(tǒng)對(duì)齊的困難,需要來(lái)自世界各地的最好的頭腦。所以我真的希望中國(guó)的人工智能研究人員在這里做出巨大的貢獻(xiàn)。
張宏江:我明白今天的論壇是關(guān)注AI安全的,因?yàn)槿藗儗?duì)OpenAI很好奇,所以我有很多關(guān)于OpenAI的問(wèn)題,不僅僅是AI安全。我這里有一個(gè)觀(guān)眾的問(wèn)題是,OpenAI有沒(méi)有計(jì)劃重新開(kāi)源它的模型,就像在3.0版本之前那樣?我也認(rèn)為開(kāi)源有利于AI安全。
Sam Altman:我們有些模型是開(kāi)源的,有些不是,但隨著時(shí)間的推移,我認(rèn)為你應(yīng)該期待我們將來(lái)會(huì)繼續(xù)開(kāi)源更多的模型。我沒(méi)有一個(gè)具體的模型或時(shí)間表,但這是我們目前正在討論的事情。
張宏江:我們把所有的努力都投入到了開(kāi)源中,包括模型本身、開(kāi)發(fā)模型的算法、優(yōu)化模型和數(shù)據(jù)之間關(guān)系的工具。我們相信有必要分享,并讓用戶(hù)感覺(jué)到他們控制了自己所使用的東西。你是否有類(lèi)似的反饋?或者這是你們?cè)贠penAI中討論的內(nèi)容?
Sam Altman:是的,我認(rèn)為開(kāi)源在某種程度上確實(shí)有一個(gè)重要的作用。最近也有很多新的開(kāi)源模型出現(xiàn)。我認(rèn)為API模型也有一個(gè)重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類(lèi)型的微調(diào)。如果某件事情不起作用,你可以收回它。在當(dāng)前模型的規(guī)模下,我不太擔(dān)心這個(gè)問(wèn)題。但是隨著模型變得像我們期望的那樣強(qiáng)大,如果我們對(duì)此是正確的,我認(rèn)為開(kāi)源一切可能不是最佳路徑,盡管有時(shí)候它是正確的。我認(rèn)為我們只需要仔細(xì)地平衡一下。
張宏江:關(guān)于GPT-4和AI安全方面的后續(xù)問(wèn)題是,我們是否需要改變整個(gè)基礎(chǔ)設(shè)施或整個(gè)AGI模型的架構(gòu),以使其更安全、更容易被檢查?你對(duì)此有什么想法?
Sam Altman:這肯定有可能,我們需要一些非常不同的架構(gòu),無(wú)論是從能力還是從安全性方面來(lái)看。我認(rèn)為我們將能夠在可解釋性方面取得一些進(jìn)展,在當(dāng)前類(lèi)型的模型上,并讓它們更好地向我們解釋它們?cè)谧鍪裁匆约盀槭裁?。但是,如果在變換器之后還有另一個(gè)巨大的飛躍,那也不會(huì)讓我感到驚訝。而且實(shí)際上我們已經(jīng)在原始的變換器之后,架構(gòu)已經(jīng)發(fā)生了很大的變化。
張宏江:作為一個(gè)研究人員,我也很好奇,下一步的AGI研究方向是什么?在大模型、大語(yǔ)言模型方面,我們會(huì)不會(huì)很快看到GPT-5?下一個(gè)前沿是不是在具身模型上?自主機(jī)器人是不是OpenAI正在或者準(zhǔn)備探索的領(lǐng)域?
Sam Altman:我也很好奇下一步會(huì)發(fā)生什么,我最喜歡做這項(xiàng)工作的原因之一就是在研究的前沿,有很多令人興奮和驚訝的事情。我們還沒(méi)有答案,所以我們?cè)谔剿骱芏嗫赡艿男路妒?。?dāng)然,在某個(gè)時(shí)候,我們會(huì)嘗試做一個(gè)GPT-5模型,但不會(huì)是很快。我們不知道具體什么時(shí)候。我們?cè)贠penAI剛開(kāi)始的時(shí)候就做過(guò)機(jī)器人方面的工作,我們對(duì)此非常感興趣,但也遇到了一些困難。我希望有一天我們能夠回到這個(gè)領(lǐng)域。
張宏江:聽(tīng)起來(lái)很棒。你在演講中也提到了你們是如何用GPT-4來(lái)解釋GPT-2的工作原理,從而使模型更安全的例子。這種方法是可擴(kuò)展的嗎?這種方向是不是OpenAI未來(lái)會(huì)繼續(xù)推進(jìn)的?
Sam Altman:我們會(huì)繼續(xù)推進(jìn)這個(gè)方向。
張宏江:那你認(rèn)為這種方法可以應(yīng)用到生物神經(jīng)元上嗎?因?yàn)槲覇?wèn)這個(gè)問(wèn)題的原因是,有一些生物學(xué)家和神經(jīng)科學(xué)家,他們想借鑒這個(gè)方法,在他們的領(lǐng)域里研究和探索人類(lèi)神經(jīng)元是如何工作的。
Sam Altman:在人工神經(jīng)元上觀(guān)察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認(rèn)為這種方法對(duì)于人工神經(jīng)網(wǎng)絡(luò)是有效的。我認(rèn)為使用更強(qiáng)大的模型來(lái)幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個(gè)方法應(yīng)用到人類(lèi)大腦上。
張宏江:好的,謝謝你。既然我們談到了AI安全和AGI控制,那么我們一直在討論的一個(gè)問(wèn)題是,如果這個(gè)世界上只有三個(gè)模型,那么會(huì)不會(huì)更安全?這就像核控制一樣,你不想讓核武器擴(kuò)散。我們有這樣的條約,我們?cè)噲D控制能夠獲得這項(xiàng)技術(shù)的國(guó)家數(shù)量。那么控制模型數(shù)量是不是一個(gè)可行的方向?
Sam Altman:我認(rèn)為對(duì)于世界上有少數(shù)模型還是多數(shù)模型更安全,有不同的觀(guān)點(diǎn)。我認(rèn)為更重要的是,我們是否有一個(gè)系統(tǒng),能夠讓任何一個(gè)強(qiáng)大的模型都經(jīng)過(guò)充分的安全測(cè)試?我們是否有一個(gè)框架,能夠讓任何一個(gè)創(chuàng)造出足夠強(qiáng)大的模型的人,既有資源,也有責(zé)任,來(lái)確保他們創(chuàng)造出的東西是安全和對(duì)齊的?
張宏江:昨天在這個(gè)會(huì)議上,MIT未來(lái)生命研究所的Max教授提到了一種可能的方法,就是類(lèi)似于我們控制藥物開(kāi)發(fā)的方式??茖W(xué)家或者公司開(kāi)發(fā)出新藥,你不能直接上市。你必須經(jīng)過(guò)這樣的測(cè)試過(guò)程。這是不是我們可以借鑒的?
Sam Altman:我絕對(duì)認(rèn)為,我們可以從不同行業(yè)發(fā)展出來(lái)的許可和測(cè)試框架中借鑒很多東西。但我認(rèn)為從根本上說(shuō),我們已經(jīng)有了一些可以奏效的方法。
張宏江:非常感謝你,Sam。謝謝你抽時(shí)間來(lái)參加這次會(huì)議,雖然是虛擬的。我相信還有很多問(wèn)題,但考慮到時(shí)間,我們不得不到此為止。希望下次你有機(jī)會(huì)來(lái)中國(guó),來(lái)北京,我們可以有更深入的討論。非常感謝你。