本文系基于公開資料撰寫，僅作為信息交流之用，不構(gòu)成任何投資建議。

周末都在談?wù)搒am altman演講。我們做了一個紀(jì)要。

一、Sam Altman——規(guī)范

目前，世界各地的人已經(jīng)開始嘗試用AI改變生活。我們也和外國領(lǐng)導(dǎo)人就監(jiān)管進(jìn)行了談話。監(jiān)管是確保未來安全可靠地部署人工智能系統(tǒng)的前提。今天我來討論一下目前AI技術(shù)的發(fā)展速度，以及現(xiàn)在需要做什么來為引入人工智能做準(zhǔn)備。

歷史證明科學(xué)技術(shù)遵循指數(shù)增長，但目前AI的增長不止在其規(guī)模，還在其發(fā)展的速度。AI能快速發(fā)揮人們的想象力?？赡芪磥硎旰?，AGI在每個領(lǐng)域都能超越人類的專業(yè)知識，它的生產(chǎn)力能夠超越最大的公司。所以人工智能革命的潛力是巨大的，但前提是要有足夠的風(fēng)險管理，而大國合作是其中的關(guān)鍵。

隨著日益強(qiáng)大的人工智能系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之高：一個旨在改善公共衛(wèi)生結(jié)果的人工智能系統(tǒng)，可能會提供沒有根據(jù)的建議，從而擾亂整個醫(yī)療保健系統(tǒng)。同樣，為優(yōu)化農(nóng)業(yè)生產(chǎn)而設(shè)計的人工智能系統(tǒng)可能會無意中耗盡自然資源或破壞生態(tài)系統(tǒng)，因為缺乏對糧食生產(chǎn)可持續(xù)性的考慮（對環(huán)境平衡的考慮）。因此，推進(jìn)AGI安全是我們需要共同努力的最重要領(lǐng)域。

我們要從以下幾點入手：

1、AGI治理。AGI是一項具有全球影響力的技術(shù)。它能從根本上成改變我們的文明，這也是國際合作和協(xié)調(diào)的意義和必要性。每個人都會從合作治理中受益。而不計后果的開發(fā)和部署所造成的成本也將影響到所有人。如果我們安全、負(fù)責(zé)地駕馭這條道路，AGI系統(tǒng)可以為全球創(chuàng)造經(jīng)濟(jì)繁榮，解決氣候變化和健康安全等共同挑戰(zhàn)，并提高社會福祉。未來我們也需要在AGI安全方面進(jìn)行投資。

國際合作有兩個最重要的方面：

（1）我們需要建立國際規(guī)范和標(biāo)準(zhǔn)，并要注重包容性。在任何國家使用AGI系統(tǒng)，都應(yīng)平等一致地遵循國際標(biāo)準(zhǔn)和規(guī)范。

（2）我們需要國際合作，在安全開發(fā)AI系統(tǒng)方面，以可核查的方式建立國際間信任。這不是一件容易的事，需要投入大量和持續(xù)的關(guān)注。國際合作的第一步是國際科學(xué)和技術(shù)界之間的合作。

而且，我們應(yīng)該（在推動技術(shù)進(jìn)步方面）增加透明度和知識共享的機(jī)制。在AGI安全方面，發(fā)現(xiàn)新安全問題的研究員應(yīng)該分享他們的見解。在考慮如何制定這種鼓勵機(jī)制的同時，也要尊重和保護(hù)知識產(chǎn)權(quán)，這樣才能實現(xiàn)深化合作。更廣泛地來講，我們應(yīng)該投資于對AI對齊和安全的研究。

目前，OpenAI的研究主要集中在技術(shù)問題，讓AI充當(dāng)一個更有用且安全的角色。通過訓(xùn)練使其不產(chǎn)生暴力威脅或協(xié)助用戶進(jìn)行有害活動。但隨著我們?nèi)找娼咏麬GI的時代，缺少對齊的AI系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長?，F(xiàn)在積極主動地解決這些挑戰(zhàn)，能把未來的風(fēng)險降到最低。

目前我們主要利用人類反饋來進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練模型，使其成為安全的工作助手。這是調(diào)整模型的一種方法。我們也在努力研究新技術(shù)。

從GPT4完成預(yù)訓(xùn)練到部署，我們專門花了8個月的時間來進(jìn)行對齊方面的工作?？偟膩碚f，我們認(rèn)為GPT4在這方面做得很好。它比我們以前的任何模型都更加與人類對齊。

然而，對于更先進(jìn)的系統(tǒng)，對齊仍然是一個未解決的問題。我們認(rèn)為這需要新的技術(shù)方法，同時增強(qiáng)治理和監(jiān)督。未來的AGI系統(tǒng)，它可能需要10萬行二進(jìn)制代碼。人類監(jiān)督者不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。所以我們正在投資一些新的、互補(bǔ)的研究方向，希望能夠?qū)崿F(xiàn)突破。

2、訓(xùn)練AI系統(tǒng)來幫助進(jìn)行對齊研究。這種方法的好處在于，它可以隨著AI的發(fā)展而擴(kuò)展。我們可以嘗試使用人工智能系統(tǒng)來協(xié)助人類監(jiān)督其他人工智能系統(tǒng)。

1）我們可以訓(xùn)練一個模型來幫助人類監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷

2）也可以用模型來增強(qiáng)其他模型的解釋力，更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用GPT-4來解釋GPT-2中的神經(jīng)元。在另一篇論文中，我們使用ModelInternals來檢測一個模型何時在說謊。我們相信，先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高解釋能力。

獲得AGI帶來的好處，同時降低風(fēng)險，是我們這個時代的開創(chuàng)性挑戰(zhàn)之一。我們看到中國、美國以及世界各地的研究人員有很大的潛力來共同解決對齊的技術(shù)挑戰(zhàn)。如果這樣做，相信我們將能夠利用AGI來解決世界上最重要的問題，并極大地改善人類的生活質(zhì)量。

二、Q&A環(huán)節(jié)

Q: 我們距離通用人工智能（AGI）還有多遠(yuǎn)？風(fēng)險是不是很緊迫，還是我們離它也很遙遠(yuǎn)？

A：這很難評估具體時間。很可能未來十年我們會有非常強(qiáng)大的AI系統(tǒng)。新技術(shù)從根本上改變世界的速度可能比我們想象的快。因此我認(rèn)為把這件事（AI安全規(guī)則）做好是重要且緊迫的，這就是為什么我呼吁國際社會共同努力的原因。

不止是AGI，我們現(xiàn)在看到的新技術(shù)的加速和對系統(tǒng)的影響是前所未有的。所以我認(rèn)為要為即將發(fā)生的事情做好準(zhǔn)備，并了解有關(guān)安全的問題。

Q:您剛才在前期的介紹中也提到了幾次，需要進(jìn)行全球合作，目前進(jìn)展如何？

A：是的，我對到目前為止大家的反應(yīng)和回答都非常滿意。我認(rèn)為人們非常認(rèn)真地對待AGI的風(fēng)險和機(jī)遇。我認(rèn)為在過去的6個月里，對于安全的討論已經(jīng)取得了相當(dāng)大的進(jìn)展。人們似乎真的致力于找出一種結(jié)構(gòu)，讓我們能夠享受這些好處，同時在全球范圍內(nèi)共同努力降低風(fēng)險。我認(rèn)為我們非常適合做這件事。全球合作總是困難的，但我認(rèn)為這是一種將世界團(tuán)結(jié)在一起的機(jī)會和威脅。我們可以為這些系統(tǒng)提出一個框架和安全標(biāo)準(zhǔn)，這將非常有幫助。

Q:我們可以僅通過對齊來解決AGI的安全問題嗎？

A：我認(rèn)為對齊這個詞有不同的理解方式，而我們需要解決的是整個人工智能系統(tǒng)中的所有挑戰(zhàn)。傳統(tǒng)意義上的對齊是讓模型的行為符合用戶的意圖，這是挑戰(zhàn)的一部分。但還會有其他問題，比如我們?nèi)绾悟炞C系統(tǒng)正在做什么，我們希望它們做什么，以及我們?nèi)绾握{(diào)整系統(tǒng)的價值。最重要的是要全面了解如何實現(xiàn)安全的AGI。

Q:除了技術(shù)方面，還有哪些因素和問題對人工智能安全至關(guān)重要？我們應(yīng)該如何應(yīng)對這些挑戰(zhàn)？

A：這無疑是一個非常復(fù)雜的問題。雖然弄清楚價值觀不是技術(shù)問題，但如果沒有技術(shù)解決方案，一切都很難解決。這同時也是一個值得全社會深入討論的問題。我們必須設(shè)計公平、具有代表性和包容性的系統(tǒng)。而且我們需要考慮的不僅僅是人工智能模型本身的安全性，而是整個系統(tǒng)的安全性。

因此，可以構(gòu)建在系統(tǒng)上運行的安全分類器和檢測器很重要，它們可以監(jiān)控對AI的使用是否符合規(guī)范。我認(rèn)為很難未來會出現(xiàn)的所有問題。因此，從現(xiàn)實世界的使用中學(xué)習(xí)并迭代部署也非常重要。

Q: 在AGI中，不同國家分別有哪些優(yōu)勢來解決AGI問題，如何將這些優(yōu)勢結(jié)合到一起？

A：我認(rèn)為人工智能安全需要很多不同的視角。我們還沒有得到所有的答案，這是一個相當(dāng)困難和重要的問題。使人工智能安全和有益也不是一個純粹技術(shù)問題，這涉及不同背景不同國家的用戶偏好。我們需要各個方面的投入才能實現(xiàn)這一目標(biāo)。中國擁有一些世界上最優(yōu)秀的人工智能人才，希望他們能做出貢獻(xiàn)。

Q：目前國際合作的進(jìn)展和下一步目標(biāo)？

A：制定安全開發(fā)高級人工智能系統(tǒng)的國際標(biāo)準(zhǔn)是非常重要的。我們也在考慮如何在訓(xùn)練后測試，如何構(gòu)建反映全球價值觀和偏好的數(shù)據(jù)庫，以及如何用開壇分享AI安全研究，這是三件最具體的事情。

Q: OpenAI有沒有計劃重新開源它的模型，就像在3.0版本之前那樣？

A：我們有些模型是開源的，有些不是，但隨著時間的推移。我們將來也會繼續(xù)開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。

Q: 模型開源相關(guān)的討論？

A：開源確實有重要作用，同時API模型也有一個重要的作用：它為我們提供了額外的安全控制。它阻止某些用途、阻止某些類型的微調(diào)。如果阻止不起作用也收回模型。在當(dāng)前模型的規(guī)模下，我不太擔(dān)心這個問題。但是隨著模型變得像我們期望的那樣強(qiáng)大，我認(rèn)為開源一切可能不是最佳路徑，盡管有時候它是有好處的。我需要仔細(xì)平衡。

Q：我們是否有可能需要更改AGI模型的整個基礎(chǔ)架構(gòu)或整個體系結(jié)構(gòu)，使它更安全，更容易被檢查？

A：無論是從功能角度還是從安全角度來看，我們確實需要一些非常不同的架構(gòu)，這是完全可能的。我認(rèn)為我們將在解釋目前各種模型的能力方面取得良好進(jìn)展，了解他們在做什么以及為什么。如果在Transformer之后有另一個巨大的飛躍，我也不會感到驚訝。自從最初的Transformer以來，我們已經(jīng)改變了很多架構(gòu)。

Q: 作為一個研究人員，我也很好奇，下一步的OpenAI研究方向是什么？

A：我也很好奇下一步會發(fā)生什么。我們也在探索很多可能的新范式。當(dāng)然，我們可能會嘗試做一個GPT-5模型，但不會很快。我們在OpenAI剛開始的時候就做過機(jī)器人方面的工作。我們對此非常感興趣，但也遇到了一些困難。希望有一天我們能夠回到這個領(lǐng)域。

Q：用GPT-4來解釋GPT-2，從而使模型更安全，這種方法是可擴(kuò)展的嗎？OpenAI未來會繼續(xù)推進(jìn)的？

A：是的。我們會繼續(xù)推進(jìn)這個方向。

Q: 有一些生物學(xué)家和神經(jīng)科學(xué)家想借鑒這個方法探索人類神經(jīng)元是如何工作的。你認(rèn)為這種方法可以應(yīng)用到生物神經(jīng)元上嗎？

A：在人工神經(jīng)元上觀察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認(rèn)為這種方法對于人工神經(jīng)網(wǎng)絡(luò)是有效的，但不太確定是否能應(yīng)用到人類大腦上。

Q: 如果這個世界上只有三個模型會不會更安全？就像核控制一樣控制模型的數(shù)量（類似控制國家的數(shù)量）？

A：我認(rèn)為對于世界上有少數(shù)模型還是多數(shù)模型更安全，有不同的觀點。我認(rèn)為更重要的是，是否有一個系統(tǒng)，能夠讓任何一個強(qiáng)大的模型都經(jīng)過充分的安全測試；以及是否有一個框架，能夠讓任何一個創(chuàng)造出強(qiáng)大模型的人，負(fù)責(zé)確保他們創(chuàng)造出的東西是安全和對齊的。

Q: 能否通過類似于控制藥物開發(fā)的方式，模型必須經(jīng)過測試才能投入使用？

A：肯定可以。我們可以從不同行業(yè)發(fā)展出來的許可和測試框架中借鑒很多東西。但我認(rèn)為從根本上說，我們已經(jīng)有了一些可以奏效的方法。（來源：小熊跑的快 ）