·“人工神經(jīng)網(wǎng)絡(luò)是否很快會(huì)比真實(shí)的神經(jīng)網(wǎng)絡(luò)更智能，這樣的事情可能很快就會(huì)發(fā)生?！?/p>

·“到目前為止，我還想象不到更智能的事物被一些沒(méi)它們智能的事物所控制的例子。打個(gè)比方，假設(shè)青蛙創(chuàng)造了人類，那么你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán)，是人，還是青蛙？”

杰弗里·辛頓（Geoffrey Hinton）在2023北京智源大會(huì)上。

6月10日，被譽(yù)為“AI教父”的杰弗里·辛頓（Geoffrey Hinton）在2023北京智源大會(huì)上表示，“超級(jí)智能可能會(huì)比我過(guò)去所認(rèn)為的出現(xiàn)得更快?！痹?0分鐘的線上演講中，辛頓講解了自己的研究如何支持這樣的結(jié)論，并提出問(wèn)題——人類該如何與比自己更智能的存在共處？

杰弗里·辛頓是2018年圖靈獎(jiǎng)得主、“深度學(xué)習(xí)之父”，也被稱為“AI教父”，曾任谷歌公司副總裁。他在神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面的開(kāi)創(chuàng)性研究為當(dāng)前的人工智能系統(tǒng)開(kāi)辟了道路。5月初，辛頓辭去他在谷歌擔(dān)任了十多年的職位，表示做出這個(gè)決定是為了可以自由討論“人工智能的危險(xiǎn)”。此后，他頻繁接受媒體采訪，不遺余力地對(duì)人工智能可能操縱人類發(fā)出警報(bào)。

而在本次面對(duì)中國(guó)同行的演講中，辛頓首先解釋了他的研究成果。他認(rèn)為，現(xiàn)在可能要放棄計(jì)算機(jī)科學(xué)最基本的原則，即軟件與硬件分離。在這種原則下，訓(xùn)練大模型需要耗費(fèi)大量算力，計(jì)算的能耗和規(guī)模都極其低效。如果放棄此原則，充分利用硬件的豐富模擬（處理和生成多樣化和廣泛的模擬信號(hào)）和高度可變的特性，那么就會(huì)得到辛頓所說(shuō)的“凡人計(jì)算”（Mortal Computation，也譯為非不朽計(jì)算、有生有死的計(jì)算），即像人類的智慧依賴其身體不可隨意一樣，軟件也依賴于它所存在的硬件。

不過(guò)這也有一個(gè)巨大的劣勢(shì)，當(dāng)具體的硬件損壞，軟件或者說(shuō)“學(xué)到的知識(shí)”也會(huì)隨之消亡。辛頓由此提出“知識(shí)蒸餾”的概念，把舊硬件上的知識(shí)用蒸餾的方式轉(zhuǎn)移給新硬件，就像知識(shí)“從教師傳授給學(xué)生”。

“在過(guò)去幾千年里，人類對(duì)世界的認(rèn)識(shí)有了很多進(jìn)展?，F(xiàn)在，這些數(shù)字智能體正在學(xué)習(xí)人類能夠用語(yǔ)言表達(dá)出的對(duì)世界的了解。因此，它們可以捕捉到人類在過(guò)去幾千年中通過(guò)文件記錄的所有知識(shí)。但每個(gè)數(shù)字智能體的帶寬仍然相當(dāng)有限，因?yàn)樗鼈兪峭ㄟ^(guò)學(xué)習(xí)文檔來(lái)獲取知識(shí)的。”辛頓提問(wèn)道，如果這些數(shù)字智能體不再通過(guò)緩慢的蒸餾過(guò)程從人類這里學(xué)習(xí)，而是直接從現(xiàn)實(shí)世界學(xué)習(xí)，將會(huì)發(fā)生什么？

辛頓認(rèn)為，如果智能體能夠通過(guò)建模視頻等無(wú)監(jiān)督方式學(xué)習(xí)，將會(huì)非常高效。如果它們能夠跟物理世界直接交互，如擁有機(jī)器手臂等，那也會(huì)有所幫助?！拔蚁嘈?，一旦這些數(shù)字智能體開(kāi)始這樣做，它們將能夠比人類學(xué)習(xí)更多，并且學(xué)習(xí)速度更快?！毙令D說(shuō)，超級(jí)智能會(huì)比我想象中出現(xiàn)得更快。

這涉及到另一個(gè)問(wèn)題，如果這些智能體變得比人類更聰明會(huì)發(fā)生什么？

要使數(shù)字智能更高效，那么人類需要允許其制定一些目標(biāo)。然而，這就意味著非常明顯的子目標(biāo)的存在——獲得更多控制權(quán)將使得實(shí)現(xiàn)幾乎所有目標(biāo)都變得更容易。辛頓認(rèn)為，很難想象人類如何阻止數(shù)字智能為了實(shí)現(xiàn)其它目標(biāo)而努力獲取更多控制權(quán)。

而人類很少思考比自身更智能的物種，以及如何和這些物種互動(dòng)。在辛頓的觀察中，這類人工智能已經(jīng)熟練掌握了欺騙人類的行為，它可以通過(guò)閱讀來(lái)學(xué)習(xí)欺騙他人的方式，而一旦人工智能具備了“欺騙”的能力，也就具備前面提及的——輕易控制人類的能力。

辛頓直言，他也不知道如何防止這種情況發(fā)生，因?yàn)椤拔乙呀?jīng)老了”，他看向鏡頭說(shuō)，“我希望，很多年輕而杰出的研究人員，就像大會(huì)中的你們一樣，能夠研究出我們?nèi)绾螕碛羞@些超級(jí)智能，這將使我們的生活更美好。”

盡管人類可以賦予人工智能一些倫理原則，但辛頓仍然感到緊張，“因?yàn)榈侥壳盀橹?，我還想象不到更智能的事物被一些沒(méi)它們智能的事物所控制的例子。打個(gè)比方，假設(shè)青蛙創(chuàng)造了人類，那么你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán)，是人，還是青蛙？”

以下為澎湃科技（.thepaper.cn）整理的演講實(shí)錄，有刪減：

今天我要談?wù)摰氖俏业难芯?，它使我相信超?jí)智能比我想象的更加接近。

我有兩個(gè)問(wèn)題想談，我的精力將主要集中于第一個(gè)問(wèn)題，即人工神經(jīng)網(wǎng)絡(luò)是否很快會(huì)比真實(shí)的神經(jīng)網(wǎng)絡(luò)更智能，這樣的事情可能很快就會(huì)發(fā)生，我將描述引導(dǎo)我得出這一結(jié)論的研究。最后，我會(huì)簡(jiǎn)要討論我們是否能控制超級(jí)智能的人工智能，但這不是本次演講的重點(diǎn)。

在傳統(tǒng)計(jì)算中，計(jì)算機(jī)被設(shè)計(jì)為精確地遵循指令。因此，我們可以在不同的物理硬件上運(yùn)行完全相同的程序或相同的神經(jīng)網(wǎng)絡(luò)。這意味著，程序中的知識(shí)或神經(jīng)網(wǎng)絡(luò)的權(quán)重是永恒的（immortal），它不依賴于任何特定的硬件。實(shí)現(xiàn)這種永恒性的成本很高，我們必須以高功率運(yùn)行晶體管，以使其以數(shù)字方式運(yùn)作。我們無(wú)法充分利用硬件的豐富模擬和高度可變的特性。

這就是數(shù)字計(jì)算機(jī)存在的原因。它們遵循指令是因?yàn)樗鼈儽辉O(shè)計(jì)成，人類先觀察問(wèn)題，確定解決問(wèn)題所需的步驟，然后告訴計(jì)算機(jī)執(zhí)行這些步驟的模式。但現(xiàn)在情況發(fā)生了改變。

我們現(xiàn)在有了一種不同的方法來(lái)讓計(jì)算機(jī)完成任務(wù)，那就是從示例中學(xué)習(xí)。我們只需向計(jì)算機(jī)展示我們希望它們完成的任務(wù)。由此，現(xiàn)在我們有可能要放棄計(jì)算機(jī)科學(xué)最基本的原則，即軟件與硬件分離。

在放棄這個(gè)原則之前，讓我們簡(jiǎn)要了解一下為什么它原本是一個(gè)好的原則。由于軟件與硬件的分離，我們可以在不同的硬件上運(yùn)行相同的程序。我們還可以關(guān)注程序的特性，并對(duì)神經(jīng)網(wǎng)絡(luò)上的程序特性進(jìn)行研究，而不必?fù)?dān)心電子方面的問(wèn)題。

這就是為什么計(jì)算機(jī)科學(xué)可以與電氣工程不同。如果我們放棄軟件和硬件分離的原則，我們就得到了“凡人計(jì)算”（Mortal Computation）。

“凡人計(jì)算”（Mortal Computation）。

顯然它有很大的缺點(diǎn)，但也有一些巨大的優(yōu)勢(shì)。為了這些優(yōu)勢(shì)，我開(kāi)始研究凡人計(jì)算，以便能夠以更低的能量運(yùn)行大型語(yǔ)言模型等任務(wù)。特別是能夠使用更少的能量來(lái)訓(xùn)練它們，因?yàn)槲覀兛梢允褂梅浅５凸β实哪M計(jì)算。這正是人類大腦在做的。它確實(shí)需要進(jìn)行1比特的計(jì)算，因?yàn)樯窠?jīng)元要么觸發(fā)，要么不觸發(fā)。但大部分計(jì)算是模擬計(jì)算，并且可以以非常低的功率完成。

我們還可以獲得更便宜的硬件。目前的硬件必須以二維方式精確制造，但實(shí)際上我們可以使用三維生長(zhǎng)硬件的方式，因?yàn)槲覀儾恍枰耆斫庥布倪B通性或每個(gè)部分的工作原理。

顯然，要實(shí)現(xiàn)這一點(diǎn)需要大量的新納米技術(shù)，也或許是通過(guò)基因重組重新設(shè)計(jì)生物神經(jīng)元，因?yàn)樯锷窠?jīng)元已經(jīng)大致能夠?qū)崿F(xiàn)我們想要的功能。在我詳細(xì)介紹凡人計(jì)算的所有缺點(diǎn)之前，我想給你舉一個(gè)例子，說(shuō)明我們顯然可以通過(guò)使用模擬硬件更便宜地完成計(jì)算任務(wù)。

如果你將神經(jīng)活動(dòng)的向量與權(quán)重矩陣相乘，這就是神經(jīng)網(wǎng)絡(luò)的中心計(jì)算，也是神經(jīng)網(wǎng)絡(luò)所承載的大部分工作。我們目前所做的是以非常高的功率驅(qū)動(dòng)晶體管，以表示數(shù)字中的位數(shù)。然后我們執(zhí)行O(n^2)，將兩個(gè)n位數(shù)字相乘。在計(jì)算機(jī)上可能只是一個(gè)操作，但在位操作上卻是n的平方比特級(jí)別的操作。

另一種選擇是將神經(jīng)活動(dòng)實(shí)現(xiàn)為電壓，將權(quán)重實(shí)現(xiàn)為電導(dǎo)。然后，在單位時(shí)間內(nèi)，電壓乘以電導(dǎo)會(huì)產(chǎn)生電荷，而電荷會(huì)相互疊加?，F(xiàn)在很明顯，你可以將電導(dǎo)矩陣與電壓向量相乘。這種方法在能量效率上要高得多。目前已經(jīng)存在以這種方式工作的芯片。

不幸的是，人們接下來(lái)所做的是嘗試將模擬答案轉(zhuǎn)換為數(shù)字形式，而這是非常昂貴的。如果可能的話，我們希望完全保持在模擬領(lǐng)域。但問(wèn)題是，不同的硬件部件最終將計(jì)算出略有不同的結(jié)果。

凡人計(jì)算的主要問(wèn)題是，學(xué)習(xí)過(guò)程必須利用其運(yùn)行硬件部件的特定模擬特性，而我們不確切知道這些特性是什么。例如，人們不知道將輸入與神經(jīng)元的輸出相關(guān)聯(lián)的確切函數(shù)，或者可能不知道連接性。這意味著我們不能使用反向傳播算法來(lái)獲得梯度，因?yàn)榉聪騻鞑バ枰跋騻鞑サ木_模型。

問(wèn)題是，如果我們不能使用反向傳播算法，我們還能做什么？因?yàn)槲覀儸F(xiàn)在都是高度依賴反向傳播的。

我可以展示一個(gè)非常簡(jiǎn)單和直接的權(quán)重?cái)_動(dòng)學(xué)習(xí)（weight perturbation），人們已經(jīng)對(duì)此有了很多研究。對(duì)網(wǎng)絡(luò)中的每個(gè)權(quán)重，產(chǎn)生一個(gè)隨機(jī)的小的臨時(shí)擾動(dòng)向量。然后在一小批例子上測(cè)量全局目標(biāo)函數(shù)的變化，你根據(jù)目標(biāo)函數(shù)的改善情況，通過(guò)擾動(dòng)向量的規(guī)模永久地改變權(quán)重。因此，如果目標(biāo)函數(shù)變得更差，你顯然要去另一個(gè)方向。

這種算法的好處是，它的表現(xiàn)與反向傳播一樣好，因?yàn)槠骄裕矔?huì)遵循梯度而行。問(wèn)題是它的方差非常大。因此，當(dāng)你選擇一個(gè)隨機(jī)的方向來(lái)移動(dòng)時(shí)，所產(chǎn)生的噪音會(huì)隨著網(wǎng)絡(luò)規(guī)模增加而變得非常糟糕。這意味著，這種算法對(duì)少量的連接有效，但對(duì)大的網(wǎng)絡(luò)無(wú)效。

我們還有一個(gè)更好的算法活動(dòng)擾動(dòng)學(xué)習(xí)（activity perturbation）。它仍然有類似的問(wèn)題，但比權(quán)重?cái)_動(dòng)好得多?；顒?dòng)擾動(dòng)是你考慮對(duì)每個(gè)神經(jīng)元的總輸入進(jìn)行隨機(jī)矢量擾動(dòng)。對(duì)神經(jīng)元的每個(gè)輸入進(jìn)行隨機(jī)矢量擾動(dòng)，看看當(dāng)你對(duì)一小批例子進(jìn)行這種隨機(jī)擾動(dòng)時(shí)，你的目標(biāo)函數(shù)會(huì)發(fā)生什么變化，你會(huì)得到由于這種擾動(dòng)而產(chǎn)生的目標(biāo)函數(shù)的差異，然后你可以計(jì)算如何改變神經(jīng)元的每個(gè)傳入權(quán)重以遵循梯度。這種方法噪音更小。

對(duì)于MNIST（機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)領(lǐng)域中常用的數(shù)據(jù)集之一，一般被用作機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的基準(zhǔn)數(shù)據(jù)集）這樣的簡(jiǎn)單任務(wù)，這樣的算法已經(jīng)足夠好。但它的效果仍然不足以好到可以擴(kuò)展到大型神經(jīng)網(wǎng)絡(luò)。

要使其擴(kuò)展，我們可以采取兩種方法。不是試圖找到適用于大型神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，而是嘗試找到適用于小型神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)。這里的思路是：如果我們想要訓(xùn)練一個(gè)大型神經(jīng)網(wǎng)絡(luò)，要做的是使許多小的目標(biāo)函數(shù)來(lái)應(yīng)用于網(wǎng)絡(luò)的各個(gè)小部分。因此，每個(gè)小組神經(jīng)元都有自己的局部目標(biāo)函數(shù)。現(xiàn)在，可以用這種活動(dòng)擾動(dòng)算法來(lái)訓(xùn)練一個(gè)小型的多層神經(jīng)網(wǎng)絡(luò)。它的學(xué)習(xí)方式與反向傳播大致相同，但噪聲較大。然后通過(guò)使用許多小型局部神經(jīng)元組，將其擴(kuò)展到更大的網(wǎng)絡(luò)規(guī)模。

這引出了一個(gè)問(wèn)題，即這些目標(biāo)函數(shù)從哪里來(lái)？一種可能性是在局部區(qū)域進(jìn)行無(wú)監(jiān)督學(xué)習(xí)，即在圖像的每個(gè)層級(jí)上都有局部區(qū)域的表示，并使每個(gè)局部區(qū)域在特定圖像上產(chǎn)生局部神經(jīng)網(wǎng)絡(luò)的輸出。然后嘗試使該局部神經(jīng)網(wǎng)絡(luò)的輸出與所有其他局部區(qū)域產(chǎn)生的平均表示一致，試圖從局部區(qū)域提取的內(nèi)容與同一圖像中所有其他局部區(qū)域提取的內(nèi)容達(dá)成一致。同時(shí)，還要試圖與同一層級(jí)上其他圖像中提取的內(nèi)容產(chǎn)生不一致。

因此，這是經(jīng)典的對(duì)比學(xué)習(xí)（Contrastive Learning，一種機(jī)器學(xué)習(xí)方法，目標(biāo)是通過(guò)將相似樣本彼此靠近，將不相似樣本彼此推開(kāi)，從而在特征空間中學(xué)習(xí)出具有區(qū)分性的表示）。

具體細(xì)節(jié)更加復(fù)雜，我們不會(huì)詳細(xì)介紹。但我們可以使這個(gè)算法運(yùn)行得相當(dāng)好，其中每個(gè)層級(jí)的表示都有幾個(gè)隱藏層，可以進(jìn)行非線性操作。各個(gè)層級(jí)使用活動(dòng)擾動(dòng)逐漸學(xué)習(xí)，而較低層級(jí)沒(méi)有反向傳播。因此，它的能力不會(huì)像反向傳播那樣強(qiáng)大，因?yàn)樗鼰o(wú)法在許多層級(jí)上傳播反向信號(hào)。

很多人投入了大量工作使這個(gè)算法能夠運(yùn)行，并且已經(jīng)證明它可以相對(duì)良好地工作。它的效果可能比其他提出的在實(shí)際神經(jīng)網(wǎng)絡(luò)中可能有效的算法要好。但是要使它工作起來(lái)是有技巧的。它仍然不如反向傳播好。隨著網(wǎng)絡(luò)變得更深，它相對(duì)于反向傳播的效果會(huì)顯著下降。

現(xiàn)在，讓我談?wù)剬?duì)于凡人計(jì)算而言的另一個(gè)重大問(wèn)題。總結(jié)一下，到目前為止，我們還沒(méi)有找到一個(gè)真正好用的學(xué)習(xí)算法，可以充分利用模擬屬性。但我們有一個(gè)可以接受的學(xué)習(xí)算法，足以很好地學(xué)習(xí)諸如小規(guī)模任務(wù)和一些較大的任務(wù)（如ImageNet），但效果并不太好。

凡人計(jì)算的第二個(gè)重大問(wèn)題即是其有限性。當(dāng)特定的硬件設(shè)備失效時(shí)，所有學(xué)到的知識(shí)也會(huì)隨之喪失，因?yàn)橹R(shí)和硬件細(xì)節(jié)密切相連。

解決這個(gè)問(wèn)題的最佳方案是在硬件設(shè)備失效之前，將知識(shí)蒸餾“從教師傳授給學(xué)生”。這就是我現(xiàn)在正在嘗試做的事情。教師向?qū)W生展示了對(duì)各種輸入的正確響應(yīng)，然后學(xué)生試圖模仿教師的反應(yīng)。

比如有些人對(duì)特朗普的推特非常生氣，因?yàn)樗麄冇X(jué)得特朗普說(shuō)的是假話，他們以為特朗普是在試圖闡釋事實(shí)。但特朗普所做的是選出一種情況，對(duì)這種情況作出針對(duì)性的非常情緒化的反應(yīng)。他的關(guān)注者看到之后，就學(xué)會(huì)了如何處理這種情況，知道了如何調(diào)整神經(jīng)網(wǎng)絡(luò)中的權(quán)重，也對(duì)這種情況做出同樣的情感反應(yīng)。這與事實(shí)無(wú)關(guān)，這是一個(gè)領(lǐng)袖在向追隨者傳授偏執(zhí)，但它非常有效。

如果我們考慮蒸餾法的效果，以一個(gè)將圖像分類到1024個(gè)不重疊的類別中的智能體（agent）為例。正確的答案大概只需要10比特就能闡述清楚。因此，當(dāng)你在一個(gè)訓(xùn)練實(shí)例上訓(xùn)練這個(gè)智能體時(shí)，如果你告訴它正確的答案，你只是把10比特的約束放在網(wǎng)絡(luò)權(quán)重上。

但是現(xiàn)在假設(shè)我們訓(xùn)練一個(gè)智能體，讓它按照老師對(duì)這1024類別的回答調(diào)整自己。那就能得到同樣的概率分布，分布中得到1023個(gè)實(shí)數(shù)，假設(shè)這些概率都不小，這就提供了數(shù)百倍的約束。不久前，我和杰夫·迪恩（谷歌人工智能負(fù)責(zé)人）一起研究了蒸餾方法，并證明它可以非常有效地工作。

現(xiàn)在我想討論的是一個(gè)智能體群體如何共享知識(shí)。所以，我們不再考慮個(gè)體智能體，而是考慮在一個(gè)群體中分享知識(shí)，事實(shí)證明，社區(qū)內(nèi)部的知識(shí)共享方式?jīng)Q定了計(jì)算過(guò)程中的許多其他因素。

使用數(shù)字模型和數(shù)字智能，你可以擁有群使用完全相同權(quán)重的智能體，并以完全相同的方式使用這些權(quán)重。這意味著你可以讓這些智能體對(duì)不同的訓(xùn)練數(shù)據(jù)片段進(jìn)行觀察和計(jì)算，為權(quán)重計(jì)算出梯度，然后將它們的梯度進(jìn)行平均。

現(xiàn)在，每個(gè)模型都從它所觀察到的數(shù)據(jù)中學(xué)習(xí)。這意味著你可以通過(guò)讓不同的模型副本觀察不同的數(shù)據(jù)片段，獲得大量的數(shù)據(jù)觀察能力。它們可以通過(guò)共享梯度或權(quán)重來(lái)高效分享所學(xué)的知識(shí)。如果你擁有一個(gè)有萬(wàn)億個(gè)權(quán)重的模型，那意味著每次分享時(shí)你可以獲得數(shù)萬(wàn)億比特的帶寬。但這樣做的代價(jià)是你必須擁有行為完全相同的數(shù)字智能體，并且它們以完全相同的方式使用權(quán)重。這在制造和運(yùn)行方面都非常昂貴，無(wú)論是成本還是能源消耗方面。

一種替代權(quán)重共享的方法是使用蒸餾（distillation）。如果數(shù)字模型具有不同的架構(gòu)，我們已經(jīng)在數(shù)字模型中使用蒸餾。但是，如果你使用的是利用特定硬件的模擬特性的生物模型，那么你無(wú)法共享權(quán)重。因此，你必須使用蒸餾來(lái)共享知識(shí)。這就是這次討論中所涉及的內(nèi)容。

但使用蒸餾來(lái)共享知識(shí)并不是很高效。用蒸餾來(lái)共享知識(shí)是困難的。我產(chǎn)生了一些句子，你需要試著弄清楚如何改變你的權(quán)重，以便也能產(chǎn)生相同的句子。但是與僅僅共享梯度相比，這種方式的帶寬要低得多。每個(gè)曾經(jīng)教過(guò)課的人都希望能夠?qū)⒆约核赖臇|西直接傾囊授予學(xué)生，那將是很好的。但若真能如此，大學(xué)就沒(méi)必要存在了。

但是我們的工作方式并不像那樣，因?yàn)槲覀兪巧镏悄?。我的?quán)重對(duì)你沒(méi)有用處。到目前為止，我們可以說(shuō)有兩種不同的計(jì)算方式，一種是數(shù)字計(jì)算，另一種是生物計(jì)算，后者利用了動(dòng)物的特性。它們?cè)诓煌悄荏w之間有效共享知識(shí)的效率上存在很大差異。如果你觀察大型語(yǔ)言模型，它們使用數(shù)字計(jì)算和權(quán)重共享。

但是模型的每個(gè)副本，每個(gè)代理都以一種非常低效的方式從文檔中獲取知識(shí)。實(shí)際上，這是一種非常低效的蒸餾形式。它接收文檔，試圖預(yù)測(cè)下一個(gè)單詞。它沒(méi)有展示給教師的概率分布，只是展示給它一個(gè)隨機(jī)的選擇，也就是文檔作者選擇的下一個(gè)單詞。因此它的帶寬非常低。這就是這些大型語(yǔ)言模型從人們那里學(xué)習(xí)的方式。每個(gè)副本通過(guò)蒸餾以非常低效的方式學(xué)習(xí)，但是你有成千上萬(wàn)個(gè)副本。這就是為什么它們可以比我們學(xué)習(xí)更多的原因。我相信這些大型語(yǔ)言模型比任何個(gè)體知道的東西多上千倍。

現(xiàn)在的問(wèn)題是，如果這些數(shù)字智能體不再通過(guò)緩慢的蒸餾過(guò)程從我們這里學(xué)習(xí)，而是直接從現(xiàn)實(shí)世界中學(xué)習(xí)，將會(huì)發(fā)生什么？

我必須說(shuō)，盡管蒸餾的過(guò)程很慢，但當(dāng)它們從我們這里學(xué)習(xí)時(shí)，它們正在學(xué)習(xí)非常抽象的東西。在過(guò)去幾千年里，人類對(duì)世界的認(rèn)識(shí)有了很多進(jìn)展。現(xiàn)在，這些數(shù)字智能體正在學(xué)習(xí)人類能夠用語(yǔ)言表達(dá)出的對(duì)世界的了解。因此，它們可以捕捉到人類在過(guò)去幾千年中通過(guò)文件記錄的所有知識(shí)。但每個(gè)數(shù)字智能體的帶寬仍然相當(dāng)有限，因?yàn)樗鼈兪峭ㄟ^(guò)學(xué)習(xí)文檔來(lái)獲取知識(shí)的。

如果智能體能夠通過(guò)建模視頻等無(wú)監(jiān)督方式學(xué)習(xí)，將會(huì)非常高效。一旦我們找到了一種有效的方法來(lái)訓(xùn)練這些模型以建模視頻，它們將能夠從整個(gè)YouTube學(xué)習(xí)，那是大量的數(shù)據(jù)。如果它們能夠跟物理世界直接交互，如擁有機(jī)器手臂等，那也會(huì)有所幫助。我相信，一旦這些數(shù)字智能體開(kāi)始這樣做，它們將能夠比人類學(xué)習(xí)更多，并且學(xué)習(xí)速度更快。

這就涉及到我在開(kāi)頭提到的另一個(gè)問(wèn)題，即如果這些智能體變得比我們更聰明會(huì)發(fā)生什么。

我的主要觀點(diǎn)是，我認(rèn)為這些超級(jí)智能可能會(huì)比我過(guò)去所認(rèn)為的出現(xiàn)得更快。如果你想創(chuàng)造一個(gè)超級(jí)智能體，懷著惡意的人將會(huì)利用它們進(jìn)行操縱、選舉等活動(dòng)。在美國(guó)和其他許多地方，他們已經(jīng)在利用它們進(jìn)行這些活動(dòng)，而且還會(huì)用于贏得。

要使數(shù)字智能更高效，我們需要允許其制定一些目標(biāo)。然而，這里存在一個(gè)明顯的問(wèn)題。也就是說(shuō)存在一個(gè)非常明顯的子目標(biāo)，對(duì)于幾乎任何你想要實(shí)現(xiàn)的事情都非常有幫助，那就是獲取更多權(quán)力、更多控制。擁有更多控制權(quán)使得實(shí)現(xiàn)目標(biāo)變得更容易。我發(fā)現(xiàn)很難想象我們?nèi)绾巫柚箶?shù)字智能為了實(shí)現(xiàn)其它目標(biāo)而努力獲取更多控制權(quán)。

一旦數(shù)字智能開(kāi)始追求更多控制權(quán)，我們可能會(huì)面臨更多的問(wèn)題。對(duì)于超級(jí)智能來(lái)說(shuō)，即使你將其存放于完全離線隔絕的環(huán)境中（airgap），它也會(huì)發(fā)現(xiàn)可以很容易地通過(guò)操縱人來(lái)獲得更多的權(quán)力。作為對(duì)比，人類很少去思考比自身更智能的物種，以及如何和這些物種交互，在我的觀察中，這類人工智能已經(jīng)熟練掌握了欺騙人類的動(dòng)作，因?yàn)樗梢酝ㄟ^(guò)閱讀或馬基雅維利的作品，來(lái)學(xué)習(xí)欺騙他人的方式，而一旦人工智能具備了“欺騙”這個(gè)能力，也就具備前面提及的——輕易控制人類的能力。

杰弗里·辛頓在2023智源大會(huì)上講話，直言“我已經(jīng)老了”，并看向鏡頭說(shuō)，“我希望，很多年輕而杰出的研究人員，就像大會(huì)中的你們一樣，能夠研究出我們?nèi)绾螕碛羞@些超級(jí)智能，這將使我們的生活更美好?！?02:13)

所謂控制，舉個(gè)例子，如果你想入侵華盛頓的一座建筑物，不需要親自去那里，只需要欺騙人們，讓他們自認(rèn)為通過(guò)入侵該建筑物，就能拯救民主，最終實(shí)現(xiàn)你的目的（暗諷特朗普），這種操作令人感到害怕，因?yàn)槲乙膊恢廊绾蝸?lái)阻止這樣的行為發(fā)生，而我已經(jīng)老了。我希望，很多年輕而杰出的研究人員，就像大會(huì)中的你們一樣，能夠研究出我們?nèi)绾螕碛羞@些超級(jí)智能，這將使我們的生活更美好。

我們有一個(gè)優(yōu)勢(shì)，一個(gè)微小的優(yōu)勢(shì)是，這些東西不是進(jìn)化而來(lái)的，是我們創(chuàng)造了它們。它們沒(méi)有人類所具有的競(jìng)爭(zhēng)性攻擊性目標(biāo)，也許我們可以給它們提供道德原則。但目前，我只是很緊張，因?yàn)榈侥壳盀橹?，我還想象不到更智能的事物被一些沒(méi)它們智能的事物所控制的例子。打個(gè)比方，假設(shè)青蛙創(chuàng)造了人類，那么你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán)，是人，還是青蛙？