AIGC觀察專欄

7min read

引用《道德經(jīng)》，談大國(guó)分歧，Sam Altman最新演講：AI 安全始于足下

Li Yuan2023/06/11

摘要

大國(guó)之間分歧常有，但在重要大事上需要合作協(xié)調(diào)。

OpenAI 創(chuàng)始人 Sam Altman 的環(huán)球之旅已經(jīng)進(jìn)行到第四周，在此期間，他已經(jīng)去到五個(gè)大洲的近20個(gè)國(guó)家，與學(xué)生、開(kāi)發(fā)人員和國(guó)家元首會(huì)面。今天，北京時(shí)間上午9點(diǎn)20分，Sam 以視頻連線的方式現(xiàn)身于中國(guó)北京舉辦的2023智源人工智能大會(huì)，發(fā)布了演講，并接受了院士張宏江的訪談對(duì)話。

演講依然圍繞近期他所呼吁的 AI 安全問(wèn)題的關(guān)注。Sam 指出，當(dāng)下，AI 正以極快的速度發(fā)展并擴(kuò)展人類(lèi)想象的畫(huà)布。在此過(guò)程中，潛在紅利與危機(jī)是并存的。隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。考慮到 AI 未來(lái)所帶來(lái)的問(wèn)題（如醫(yī)療、農(nóng)業(yè)領(lǐng)域的應(yīng)用）之嚴(yán)峻性，從當(dāng)下開(kāi)始重視、推進(jìn) AI 安全是刻不容緩的。

Sam 特別提到，大國(guó)之間分歧常有，但在重要的大事上，還是需要協(xié)調(diào)與合作，尋找共同利益點(diǎn)。他特別引用了老子《道德經(jīng)》中的話：千里之行，始于足下。他認(rèn)為，當(dāng)下可以邁出的最有建設(shè)性的一步，是國(guó)際科技界間的通力合作，特別是推動(dòng)建立提高 AI 安全技術(shù)進(jìn)步方面的透明度和知識(shí)共享的機(jī)制。

值得注意的是，此前在周游列國(guó)時(shí)，在AI安全和治理方面，Sam 的主要觀點(diǎn)是：目前AI系統(tǒng)還沒(méi)有強(qiáng)大到威脅社會(huì)安全的地步，因此不必對(duì)正在研究的AI系統(tǒng)進(jìn)行嚴(yán)格監(jiān)管，這無(wú)疑在減緩創(chuàng)新。此次在中國(guó)的演講，Sam 的演講未曾涉及監(jiān)管的討論。但他提出，人們的確需要為迎接超出想象強(qiáng)大的AI系統(tǒng)進(jìn)行監(jiān)管和安全上的討論。

極客公園全程觀看了這場(chǎng)演講，以下內(nèi)容經(jīng)整理編輯后發(fā)布。

精彩摘要：

1. 當(dāng)下人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進(jìn)展的速度。這同時(shí)帶來(lái)紅利和風(fēng)險(xiǎn)。
2. AI 帶來(lái)的潛在紅利是巨大的。但我們必須共同管理風(fēng)險(xiǎn)，才能達(dá)到用其提升生產(chǎn)力和生活水平的目的。
3. 隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。大國(guó)意見(jiàn)分歧在歷史上常有，但在一些重要的大事上，必須進(jìn)行合作和協(xié)調(diào)。推進(jìn) AGI 安全是我們需要找到共同利益點(diǎn)的最重要的領(lǐng)域之一。
4. 對(duì)齊仍然是一個(gè)未解決的問(wèn)題。想象一下，未來(lái)的AGI系統(tǒng)或許具有10萬(wàn)行二進(jìn)制代碼，人類(lèi)監(jiān)管人員不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。
5. GPT-4花了八個(gè)月的時(shí)間完成對(duì)齊方面的工作。但相關(guān)的研究還在升級(jí)，主要分為擴(kuò)展性和可解釋性兩方面。

演講全文：

每次我訪問(wèn)中國(guó)，我遇到的技術(shù)人才都能使我驚奇和振奮。正如你前面提到的，我現(xiàn)在正處于環(huán)世界之旅的第四個(gè)星期。我已經(jīng)去了在五個(gè)大洲的近20個(gè)國(guó)家，與學(xué)生、開(kāi)發(fā)人員和國(guó)家元首會(huì)面。這次旅行對(duì)我是一種激勵(lì)。我們看到了世界各地的人們都已經(jīng)在使用 AI 技術(shù)，以令人難以置信的方式改變生活。我們也收到了來(lái)自用戶的寶貴反饋，告訴我們?nèi)绾文苁惯@些工具變得更好。

我們還有機(jī)會(huì)與外國(guó)領(lǐng)導(dǎo)人進(jìn)行有意義的對(duì)話，討論需要建立的監(jiān)管安全措施，以確保安全和可靠地部署日益強(qiáng)大的人工智能系統(tǒng)。

整個(gè)世界現(xiàn)在都在集中注意力，想要解決當(dāng)今的人工智能問(wèn)題，這也是非常正確的、值得我們努力解決的重要議題。我們還有很多工作要做，但鑒于我們已經(jīng)取得的進(jìn)展，我相信我們一定會(huì)達(dá)到目標(biāo)。

今天，我想談一談未來(lái)。具體來(lái)說(shuō)，我想談?wù)勎覀兛吹降?AI 能力的增長(zhǎng)速度，以及我們現(xiàn)在需要做什么，才能為將它們部署到世界做負(fù)責(zé)任的準(zhǔn)備。

科學(xué)史告訴我們，技術(shù)進(jìn)步遵循的是一條指數(shù)型曲線。我們?cè)趲浊陙?lái)的農(nóng)業(yè)革命、工業(yè)革命和計(jì)算革命中都看到了這一點(diǎn)。

但是，我們現(xiàn)在正在見(jiàn)證的人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進(jìn)展的速度。它正在擴(kuò)展人類(lèi)想象力的畫(huà)布，并以極快的速度這樣做。

想象一下未來(lái)十年的世界，通用人工智能系統(tǒng)，通常稱為 AGI ，在幾乎每個(gè)領(lǐng)域?qū)I(yè)技能都超過(guò)了人類(lèi)。這些系統(tǒng)產(chǎn)生的生產(chǎn)力最終可以超過(guò)我們最大公司所能產(chǎn)出的集體生產(chǎn)力。

潛在的紅利是巨大的。人工智能革命可以創(chuàng)造我們共享的財(cái)富，而且可能大幅提高每個(gè)人的生活水平。但我們必須共同管理風(fēng)險(xiǎn)，才能達(dá)到這個(gè)目的。

我非常了解，大國(guó)之間有時(shí)可能會(huì)有它們的分歧。從古至今都是如此。但即使在最困難的時(shí)期，大國(guó)們也找到了在最重要的事情上進(jìn)行合作的方法。大國(guó)之間的合作促進(jìn)了關(guān)鍵的醫(yī)療和科學(xué)進(jìn)步，如根除脊髓灰質(zhì)炎和天花等疾病，全球也共同努力減弱了氣候變化風(fēng)險(xiǎn)。

隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之大。如果我們不小心行事、建立一個(gè)瞄向改善公共衛(wèi)生成果的 AI 系統(tǒng)的宗旨，可能因?yàn)閷?duì)齊出現(xiàn)問(wèn)題，向人們提供沒(méi)有根據(jù)的醫(yī)療建議，反而破壞了整個(gè)醫(yī)療體系。同樣，一個(gè)旨在優(yōu)化農(nóng)業(yè)實(shí)踐的 AI 系統(tǒng)可能會(huì)由于缺乏對(duì)影響糧食生產(chǎn)和環(huán)境平衡的長(zhǎng)期可持續(xù)性的考慮，而無(wú)意中耗盡自然資源或破壞生態(tài)系統(tǒng)。我真心希望我們都能同意，推進(jìn) AGI 安全是我們需要找到共同利益點(diǎn)的最重要的領(lǐng)域之一。

我想在接下來(lái)的發(fā)言中重點(diǎn)談?wù)勎艺J(rèn)為我們可以從哪里開(kāi)始。

第一個(gè)領(lǐng)域是 AGI 治理。AGI 是一種從根本上改變我們文明的強(qiáng)大力量，這意味著有意義的國(guó)際合作和協(xié)調(diào)是極其必要的。如果國(guó)際間能夠合作治理，那么我們每一個(gè)人都能受益。

如果我們安全和負(fù)責(zé)任地對(duì)其進(jìn)行治理，AGI系統(tǒng)可以為全球經(jīng)濟(jì)創(chuàng)造無(wú)與倫比的經(jīng)濟(jì)財(cái)富，能夠解決像氣候變化、健康、安全這樣的共同挑戰(zhàn)，并以無(wú)數(shù)其他方式改善社會(huì)。我非常相信這樣的未來(lái)將會(huì)到來(lái)。而我們所有居住在這個(gè)星球的人，需要共同投資于 AGI 的安全措施，才能到達(dá)、享受這樣的未來(lái)。要做到這一點(diǎn)，需要大家認(rèn)真合作。AGI是一個(gè)全球性的科技，也有著全球范圍內(nèi)的影響力。出現(xiàn)或者不負(fù)責(zé)任地發(fā)展，其代價(jià)會(huì)影響我們所有人。

國(guó)際合作中，我認(rèn)為有兩個(gè)關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國(guó)際規(guī)范和標(biāo)準(zhǔn)，并注意過(guò)程中注重包容性。在任何國(guó)家使用AGI系統(tǒng)，都應(yīng)平等而一致地遵循這樣的國(guó)際標(biāo)準(zhǔn)和規(guī)范。在這些安全護(hù)欄內(nèi)，我們相信人們有足夠的機(jī)會(huì)做出自己的選擇。

第二，我們需要國(guó)際合作，以可核查的方式建立對(duì)安全開(kāi)發(fā)日益強(qiáng)大的 AI 系統(tǒng)的國(guó)際間信任。我并不妄想這是一件容易的事，需要投入大量和持續(xù)的關(guān)注。

道教之書(shū)教育我們，千里之行，始于足下。我們認(rèn)為，我們可以邁出的最有建設(shè)性的一步是與國(guó)際科技界合作，特別是推動(dòng)建立提高 AGI 安全技術(shù)進(jìn)步方面的透明度和知識(shí)共享的機(jī)制。當(dāng)研究人員發(fā)現(xiàn)新出現(xiàn)的安全問(wèn)題時(shí)，他們應(yīng)為了人類(lèi)更大的利益分享他們的發(fā)現(xiàn)。我們需要認(rèn)真思考如何在尊重和保護(hù)知識(shí)產(chǎn)權(quán)的同時(shí)，鼓勵(lì)這樣的規(guī)范。這可以為我們深化合作打開(kāi)新的大門(mén)。

更廣泛地說(shuō)，我們應(yīng)該在促進(jìn)和引導(dǎo) AI 對(duì)齊和安全研究方向進(jìn)行投資。在 OpenAI ，在如何讓人工智能系統(tǒng)成為一個(gè)更安全有用的系統(tǒng)的技術(shù)問(wèn)題上，我們進(jìn)行 AI 對(duì)齊研究。這可能指向，我們?cè)撊绾斡?xùn)練 ChatGPT ，使其不進(jìn)行暴力威脅或協(xié)助用戶進(jìn)行有害的活動(dòng)。

但隨著我們?nèi)找娼咏?AGI 的時(shí)代，沒(méi)有對(duì)齊的 AI 系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長(zhǎng)?，F(xiàn)在積極主動(dòng)地解決這些挑戰(zhàn)，能將未來(lái)出現(xiàn)災(zāi)難性結(jié)果的風(fēng)險(xiǎn)降到最低。

對(duì)于目前的系統(tǒng)，我們主要利用人類(lèi)反饋進(jìn)行強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練我們的模型，使其成為一個(gè)有幫助的安全助手。這只是各種訓(xùn)練后調(diào)整技術(shù)中的一個(gè)例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從GPT4完成預(yù)培訓(xùn)到我們部署它，我們專門(mén)花了8個(gè)月的時(shí)間來(lái)進(jìn)行對(duì)齊方面的工作?？偟膩?lái)說(shuō)，我們認(rèn)為我們?cè)谶@方面做得很好。GPT4比我們以前的任何模型都更加與人類(lèi)對(duì)齊。

然而，對(duì)于更先進(jìn)的系統(tǒng)，對(duì)齊仍然是一個(gè)未解決的問(wèn)題，我們認(rèn)為這需要新的技術(shù)方法，同時(shí)增強(qiáng)治理和監(jiān)督。 我們想象一下，未來(lái)的AGI系統(tǒng)或許具有10萬(wàn)行二進(jìn)制代碼，人類(lèi)監(jiān)管人員不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。因此，我們正在致力于研究一些新的和互補(bǔ)的研究方向，希望能實(shí)現(xiàn)突破。

其中一個(gè)是可擴(kuò)展監(jiān)督。我們可以嘗試使用 AI 系統(tǒng)來(lái)協(xié)助人類(lèi)監(jiān)督其他 AI 系統(tǒng)。例如，我們可以訓(xùn)練一個(gè)模型來(lái)幫助人類(lèi)監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷。

第二個(gè)是可解釋性。我們想嘗試更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來(lái)解釋 GPT-2 中的神經(jīng)元。 在另一篇論文中，我們使用 Model Internals 來(lái)檢測(cè)一個(gè)模型何時(shí)在說(shuō)謊。我們還有很長(zhǎng)的路要走。我們相信，先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們解釋的能力。

最終，我們的目標(biāo)是訓(xùn)練 AI 系統(tǒng)來(lái)幫助進(jìn)行對(duì)齊研究。這種方法的好處在于，它它可以隨著 AI 的發(fā)展速度而擴(kuò)展。

獲得 AGI 帶來(lái)的非凡好處，同時(shí)降低風(fēng)險(xiǎn)，是我們這個(gè)時(shí)代的開(kāi)創(chuàng)性挑戰(zhàn)之一。我們看到中美兩國(guó)和世界各地的研究人員有很大的潛力共同實(shí)現(xiàn)共同的目標(biāo)，并致力于努力解決 AGI 對(duì)齊帶來(lái)的突出技術(shù)挑戰(zhàn)。

如果我們這樣做，我相信我們將能夠利用 AGI 來(lái)解決世界上最重要的問(wèn)題，并極大地改善人類(lèi)的生活質(zhì)量。非常感謝。

openAI