整理 | 明明如月 責(zé)編 | 屠敏

出品 | CSDN（ID：CSDNnews）

ChatGPT 風(fēng)靡全球，引得無(wú)數(shù)大廠競(jìng)折腰。在過(guò)去六個(gè)月間，究竟是什么讓 ChatGPT 于一夕之間爆紅？其背后蘊(yùn)藏著哪些技術(shù)實(shí)現(xiàn)？如果想要復(fù)刻 ChatGPT 的成功，又需要滿足哪些條件？中國(guó)有機(jī)會(huì)做出自己的 ChatGPT 嗎？我們距離通用人工智能（AGI）還有多遠(yuǎn)？

懷揣著種種疑問(wèn)，在最新的一期《開(kāi)談》欄目中，我們邀請(qǐng)到了長(zhǎng)期耕耘于知識(shí)圖譜、自然語(yǔ)言領(lǐng)域的360人工智能算法的專(zhuān)家劉煥勇，同濟(jì)大學(xué)百人計(jì)劃專(zhuān)家、特聘研究員、博士生導(dǎo)師王昊奮，達(dá)觀數(shù)據(jù)副總裁、高級(jí)工程師王文廣，齊聚線上，圍繞 ChatGPT 這一現(xiàn)象級(jí)應(yīng)用，進(jìn)行了深入探討，也希望通過(guò)這一場(chǎng)酣暢淋漓的分享，為身處在 AI 新時(shí)代中的工程師、開(kāi)發(fā)者帶來(lái)一些思考。

CSDN 付費(fèi)下載自視覺(jué)中國(guó)

ChatGPT 為什么會(huì)引起轟動(dòng)？

王文廣：ChatGPT 是去年11月底發(fā)布的，發(fā)布之后引起了“蝴蝶效應(yīng)”，在人工智能領(lǐng)域激起千層浪，幾乎每個(gè)行業(yè)都在談?wù)?ChatGPT。那么，它在技術(shù)和應(yīng)用上到底踩中了什么節(jié)點(diǎn)，能夠讓全世界各領(lǐng)域的人為之興奮。不管是大模型還是聊天機(jī)器人都不是新的東西，那么 ChatGPT 到底有什么過(guò)人之處，能夠使它在這個(gè)節(jié)點(diǎn)爆發(fā)？

王昊奮：GPT 大火的現(xiàn)象類(lèi)似于2016年的 AlphaGo。這次的 GPT 能夠?qū)⑦^(guò)去幾年的一些冷淡或進(jìn)展性較弱的工作推向新的高度，成為人們討論的熱門(mén)話題。特別是大模型，這里特指一些預(yù)訓(xùn)練模型，包括語(yǔ)言模型、圖像模型和多模態(tài)模型等，一直在持續(xù)推進(jìn)。對(duì)話系統(tǒng)也不斷發(fā)展，從早期的個(gè)人助手助理，到問(wèn)答引擎，再到聊天機(jī)器人和智能音箱，也在持續(xù)發(fā)展。

為什么這次 ChatGPT 能夠引起如此大的關(guān)注？其中原因有幾個(gè)。

首先，它的能力非常強(qiáng)，之前我們都是在垂直領(lǐng)域內(nèi)進(jìn)行對(duì)話，而在開(kāi)放領(lǐng)域內(nèi)表現(xiàn)不佳。之前的模型理解能力存在很大局限性，一個(gè)特別明顯的問(wèn)題就是，問(wèn)著問(wèn)著就會(huì)回答說(shuō)“我不懂你在說(shuō)什么” 或者 “我不知道什么意思”。ChatGPT 在回復(fù)過(guò)程中，它的回復(fù)內(nèi)容非常長(zhǎng)且多樣化，甚至可以拒絕回答一些敏感話題。它能夠根據(jù)人的干預(yù)和反饋進(jìn)行優(yōu)化動(dòng)態(tài)調(diào)整回復(fù)內(nèi)容，這使得用戶體驗(yàn)得到了很大的提升。

各行各業(yè)都在談?wù)?ChatGPT 的原因有很多：首先，GPT 具有類(lèi)似于一個(gè)行走的百科全書(shū)的特點(diǎn)，對(duì)各行各業(yè)的知識(shí)有一定的了解。此外，除了能夠做簡(jiǎn)單的問(wèn)答聊天外，GPT 還可以完成自然語(yǔ)言任務(wù)以及生成代碼等工作。它開(kāi)啟了一個(gè) AIGC 新時(shí)代。AIGC 就是讓人工智能來(lái)生成一些內(nèi)容。之前可以用文本生成圖片，現(xiàn)在也可以用文本生成文本、用文本生成代碼或其他任意形式的數(shù)據(jù)。

GPT 的成功也得益于大量的數(shù)據(jù)和預(yù)訓(xùn)練，這使得它的性能得到了大幅提升，參數(shù)量呈現(xiàn)出指數(shù)級(jí)的增長(zhǎng)。此外，大模型達(dá)到一定規(guī)模之后，從量變達(dá)到質(zhì)變，產(chǎn)生涌現(xiàn)現(xiàn)象也使得 GPT 具有了復(fù)雜推理和新任務(wù)處理的能力。這些能力使得 GPT 可以在少量示例下完成任務(wù)，類(lèi)似于人類(lèi)的舉一反三的能力，對(duì)應(yīng)到 In-Context Learning 的能力，甚至無(wú)樣本的直接開(kāi)掛能力。

GPT 引入了大規(guī)模強(qiáng)化學(xué)習(xí)，使得它可以與人的價(jià)值觀和偏好進(jìn)行對(duì)齊，進(jìn)一步提升了生成的質(zhì)量和多樣性。從而能夠達(dá)到一個(gè)至少初步看來(lái)，可以使用的效果。這是 GPT 能夠成功的技術(shù)方面的原因。

營(yíng)銷(xiāo)也是 GPT 模型引起轟動(dòng)的重要原因之一。首先，OpenAI 本身非常善于營(yíng)銷(xiāo)，像 Sam Altman 等人都在這方面做得非常出色。在這個(gè)過(guò)程中，他們非常了解互聯(lián)網(wǎng)上存在的饑渴營(yíng)銷(xiāo)方式，這包括微軟 Bing 的 waiting list （候補(bǔ)名單）策略，這些策略在很多方面都能夠讓用戶產(chǎn)生期望感。其次，GPT 模型可以通過(guò)收集用戶的提問(wèn)，以一種 prompt 的提示形式來(lái)進(jìn)一步優(yōu)化模型和發(fā)現(xiàn)新的場(chǎng)景，從而進(jìn)一步提高運(yùn)營(yíng)效率。這種策略可以形成一個(gè)類(lèi)似于互聯(lián)網(wǎng)的部署飛輪，從而使得 GPT 模型可以快速吸引更多的用戶，形成更多的線上真實(shí)情況和輸入數(shù)據(jù)，進(jìn)一步拉大與后來(lái)者的差距，這與谷歌在搜索引擎領(lǐng)域的成功有著相似之處。GPT 模型還有其他技術(shù)方面的優(yōu)勢(shì)，具體內(nèi)容可以進(jìn)一步探討。

劉煥勇：我認(rèn)為 ChatGPT 之所以能夠引起轟動(dòng)，主要有六個(gè)方面的原因：

? 第一，GPT 已經(jīng)完全超越了 UIE（信息抽取的大一統(tǒng)模型）的范疇，真正實(shí)現(xiàn)了以深度學(xué)習(xí)的方式將多個(gè)模型大一統(tǒng)。對(duì)于工業(yè)界的落地應(yīng)用而言，這是一個(gè)重大的突破。在使用 GPT 之前，曾使用過(guò)一種很火的叫 UIE 的工具，該工具將多個(gè)任務(wù)處理為一個(gè)統(tǒng)一的處理方式。然而，GPT 的出現(xiàn)將這種處理方式擴(kuò)展到了一個(gè)更高的層面，成為了一個(gè)“全能”的工具，可以用于編寫(xiě)代碼、發(fā)送電子郵件、制作表格、對(duì)話等等，甚至可以解決數(shù)學(xué)問(wèn)題和編寫(xiě)公式。

? 第二，GPT 是從自然語(yǔ)言處理 (NLP）領(lǐng)域發(fā)展而來(lái)，實(shí)現(xiàn)了從垂直領(lǐng)域到開(kāi)放領(lǐng)域的轉(zhuǎn)變，開(kāi)放期域需要標(biāo)注很多語(yǔ)料去做，現(xiàn)在我們給 ChatGPT 少量的 promot 它就能做得很好，對(duì)于企業(yè)或個(gè)人在開(kāi)放領(lǐng)域的落地應(yīng)用具有推動(dòng)作用，能夠節(jié)約成本，尤其是大家比較關(guān)注的標(biāo)注成本。

? 第三，GPT 能夠以問(wèn)答（QA）的方式進(jìn)行對(duì)話，回答流暢自然，這主要得益于 GPT 對(duì)上下文的管理。在使用中我們發(fā)現(xiàn)，它上下文特別流暢，它在理解語(yǔ)境和上下文刻畫(huà)方面做得非常好。甚至你調(diào)戲 ChatGPT 時(shí)，你說(shuō)它錯(cuò)了，它不但不認(rèn)為自己錯(cuò)了，還會(huì)為自己辯解，這其實(shí)說(shuō)明它已經(jīng)具備一定的思辨能力。

? 第四，GPT 預(yù)示了生成模型的大爆發(fā)時(shí)代已經(jīng)來(lái)臨，它已經(jīng)能夠解決許多任務(wù)。

? 第五，GPT 實(shí)現(xiàn)了更好地與人類(lèi)的互動(dòng)，有優(yōu)點(diǎn)類(lèi)似于馬斯克的機(jī)器人那種更好地和人類(lèi)互動(dòng)的反饋。

? 第六，從使用者的角度來(lái)看 ChatGPT 能夠打動(dòng)用戶的是它實(shí)現(xiàn)了從企業(yè)到個(gè)人助手的轉(zhuǎn)變，ChatGPT 可以作為助手解決用戶的問(wèn)題。這種平民化的服務(wù)吸引了許多人，即使在社區(qū)中，許多人的家人也在使用 ChatGPT 來(lái)解決問(wèn)題。

ChatGPT 會(huì)不會(huì)產(chǎn)生自我意識(shí)？

王文廣：在這種趨勢(shì)下，ChatGPT 是否會(huì)產(chǎn)生自我意識(shí)？

劉煥勇：關(guān)于意識(shí)這個(gè)問(wèn)題，有一篇來(lái)自一個(gè)國(guó)外的學(xué)術(shù)機(jī)構(gòu)的很火的文章。該文章認(rèn)為，語(yǔ)言模型已經(jīng)具備了意識(shí)。

但是，在回答這個(gè)問(wèn)題之前，我們需要先定義什么是意識(shí)，對(duì)于人而言，它可以感知周?chē)氖挛锊⑦M(jìn)行思考。然而，像這種語(yǔ)言模型，雖然在現(xiàn)象級(jí)的意識(shí)表現(xiàn)上接近，但從本質(zhì)上來(lái)說(shuō)，它只是一個(gè)模仿人類(lèi)語(yǔ)言的模型。

在生產(chǎn)過(guò)程中，它只是在根據(jù)給定的語(yǔ)料逐詞生成文本。雖然它內(nèi)部使用了技術(shù)搜索算法，但它仍然停留在語(yǔ)言概率性問(wèn)題的層面。因此，與我們真正意義上的意識(shí)相比，它仍有很大的差距。

王昊奮：首先，關(guān)于“意識(shí)”，行業(yè)并沒(méi)有一個(gè)明確定義，因?yàn)檫@個(gè)問(wèn)題涉及到多個(gè)學(xué)科的交叉。

目前，人工智能是以數(shù)據(jù)驅(qū)動(dòng)為主的，而深度學(xué)習(xí)則是當(dāng)前人工智能時(shí)代的主要技術(shù)。除此之外，神經(jīng)科學(xué)和認(rèn)知科學(xué)等學(xué)科也在探討意識(shí)的機(jī)理和基礎(chǔ)理論，但是實(shí)踐和實(shí)驗(yàn)遠(yuǎn)遠(yuǎn)領(lǐng)先于理論，因此我們看到的更多是現(xiàn)象。雖然我們不能下結(jié)論說(shuō)這些現(xiàn)象就代表了 ChatGPT 已經(jīng)具有意識(shí)，但是對(duì)于探索意識(shí)這個(gè)問(wèn)題仍然非常有意義。

在人工智能方面，即使是無(wú)監(jiān)督學(xué)習(xí)也可能引發(fā)某種形式的智能體或觸發(fā)意識(shí)的迸發(fā)，從而實(shí)現(xiàn)通用人工智能（AGI）。對(duì)于大型語(yǔ)言模型的出現(xiàn)，它的基礎(chǔ)是簡(jiǎn)單的自監(jiān)督任務(wù)，通過(guò)預(yù)測(cè)下一個(gè) token 或者下一個(gè)詞的方式來(lái)不斷地進(jìn)行自回歸模型訓(xùn)練。這種模型可以從互聯(lián)網(wǎng)上獲得大量的語(yǔ)料庫(kù)，包括各種代碼。這種簡(jiǎn)單統(tǒng)一的自監(jiān)督范式使得這個(gè)模型可以完成大量數(shù)據(jù)的訓(xùn)練，這是向前邁出的一步，相比之前非常依賴(lài)監(jiān)督的技術(shù)來(lái)說(shuō)進(jìn)步非常顯著。

其次，需要探討意識(shí)是怎樣形成的，GPT 里面用的是 alignment，這就用到了大規(guī)模的強(qiáng)化學(xué)習(xí)，包括本身的獎(jiǎng)勵(lì)評(píng)分和策略?xún)?yōu)化的算法。如果大家有機(jī)會(huì)用到 New Bing 你就會(huì)發(fā)現(xiàn)它在所謂的觀察方面更加出色。無(wú)監(jiān)督學(xué)習(xí)或自監(jiān)督學(xué)習(xí)，打下了很強(qiáng)的基礎(chǔ)，強(qiáng)化學(xué)習(xí)面對(duì)外部環(huán)境的反饋，和人交互的時(shí)候，更加擬人化，并形成各種人設(shè)和表現(xiàn)。這是因?yàn)樗哂猩舷挛睦斫獾哪芰?，可以刻?huà)非常長(zhǎng)距離的上下文。

在這個(gè)過(guò)程中，GPT 模型的變化會(huì)隨著不同的輸入和反饋而發(fā)生變化。從觀察來(lái)看，它是一個(gè)無(wú)監(jiān)督或自監(jiān)督的基礎(chǔ)基座，加上強(qiáng)化學(xué)習(xí)優(yōu)化后好像具有了一定的意識(shí)。但是，這種意識(shí)是如何形成的還需要進(jìn)一步研究，需要腦科學(xué)和其他科學(xué)家的幫助來(lái)解讀和揭示其背后的真正可解釋。與此同時(shí)，GPT 模型基于2017年谷歌的 “Attention is all you need” 的 Transformer 模型，其多頭自注意機(jī)制和跨層協(xié)同對(duì)應(yīng)到歸納、、挖掘各種模式、改寫(xiě)等能力，這些能力可能讓其產(chǎn)生類(lèi)似于涌現(xiàn)的意識(shí)。但目前這方面的研究還相對(duì)初期，需要更多地探究和解釋。

因此，我們還需要更多的研究來(lái)了解什么是意識(shí)，以及 GPT 模型是否有意識(shí)。

強(qiáng)化學(xué)習(xí)和大模型結(jié)合如何擦出更多火花？

王文廣：大規(guī)模強(qiáng)化學(xué)習(xí)說(shuō)起來(lái)很容易，但是做起來(lái)非常難。強(qiáng)化學(xué)習(xí)上一次獲得較大關(guān)注還是在 AlphaGo 那會(huì)。AlphaGo 是基于強(qiáng)化學(xué)習(xí)和圍棋規(guī)則的輸入，通過(guò)自我對(duì)弈不斷學(xué)習(xí)成長(zhǎng)，最終演變成AlphaZero，能夠擊敗全世界最頂尖的圍棋選手的 AI 系統(tǒng)。說(shuō)明強(qiáng)化學(xué)習(xí)非常強(qiáng)大，但是在自然語(yǔ)言處理方面以往的研究很多，但是真正發(fā)揮效果的不多。但是這次 ChatGPT 出來(lái)以后，人們發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)和大模型結(jié)合起來(lái)，能夠產(chǎn)生非常驚艷的效果。

這里面有沒(méi)有一些值得學(xué)習(xí)的點(diǎn)和未來(lái)的研究方向是什么?

王昊奮：強(qiáng)化學(xué)習(xí)是人工智能中的一個(gè)分支，相較于傳統(tǒng)的有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)更為復(fù)雜。在強(qiáng)化學(xué)習(xí)的過(guò)程中，需要定義智能體、環(huán)境以及獎(jiǎng)勵(lì)等概念，這也是訓(xùn)練強(qiáng)化學(xué)習(xí)模型的難點(diǎn)。強(qiáng)化學(xué)習(xí)在游戲領(lǐng)域得到了廣泛應(yīng)用，例如象棋、德?lián)?、麻將等等，還有一些游戲公司使用強(qiáng)化學(xué)習(xí)模型來(lái)做決策或協(xié)同。然而，對(duì)于非游戲領(lǐng)域的應(yīng)用，如何評(píng)價(jià)模型的恢復(fù)好壞是一個(gè)挑戰(zhàn)，因?yàn)閳?chǎng)景相對(duì)復(fù)雜、主觀性較強(qiáng)。為了解決這個(gè)問(wèn)題，需要建立一個(gè)評(píng)價(jià)模型，并且該評(píng)價(jià)模型依賴(lài)于大量高質(zhì)量的訓(xùn)練數(shù)據(jù)。雖然 ChatGPT 在技術(shù)細(xì)節(jié)上沒(méi)有公開(kāi)，但是可以參考其前身 InstructGPT。

關(guān)于問(wèn)答語(yǔ)料的獎(jiǎng)勵(lì)函數(shù)模型，有許多需要注意的細(xì)節(jié)。首先，可以參考之前的一個(gè)變種版本—— InstructGPT，這個(gè)過(guò)程中有很多工作，包括對(duì)獎(jiǎng)勵(lì)模型中分?jǐn)?shù)或獎(jiǎng)勵(lì)函數(shù)的相關(guān)性、流暢度、安全性等指標(biāo)的控制。由于生成模型本身具有一定的隨機(jī)性，可以通過(guò)調(diào)整溫度等參數(shù)獲得多個(gè)結(jié)果進(jìn)行排序，但其排序結(jié)果的一致性和打分需要依賴(lài)于受訓(xùn)練過(guò)的人和相關(guān)的標(biāo)注規(guī)范。

然而，在過(guò)去的訓(xùn)練中，這些方面的工作做得不夠好，導(dǎo)致了一些問(wèn)題的出現(xiàn)。例如，由于暴露偏見(jiàn)的問(wèn)題，一些策略可能只是局部最優(yōu)解，難以訓(xùn)練出一個(gè)好的策略，很容易訓(xùn)練出不好的策略，回答特別機(jī)械或者胡說(shuō)八道。此外，在保持混淆度低、相關(guān)性好的同時(shí)，涉及到的一些敏感問(wèn)題使得模型更難訓(xùn)練。從算法、數(shù)據(jù)標(biāo)注以及工程等方面，這個(gè)模型都需要做出很多突破。雖然它使用的技術(shù)不是最新的，但它善用了以前的強(qiáng)化學(xué)習(xí)技術(shù)，在很多方面都取得了成功。因此，我們需要從中思考并借鑒相關(guān)的經(jīng)驗(yàn)。

劉煥勇：強(qiáng)化學(xué)習(xí)是一個(gè)通過(guò)獎(jiǎng)懲機(jī)制不斷試錯(cuò)的過(guò)程，它的應(yīng)用在游戲 AI 等領(lǐng)域已經(jīng)有了一定的成果。

不過(guò)，強(qiáng)化學(xué)習(xí)目前還存在兩個(gè)主要問(wèn)題：

• 其一是難以訓(xùn)練，即使使用 GitHub 上面的代碼進(jìn)行訓(xùn)練，都很難收斂。

• 其二是數(shù)據(jù)標(biāo)注的質(zhì)量問(wèn)題，包括標(biāo)簽的設(shè)定和數(shù)值等方面。

為了解決這些問(wèn)題，像 OpenAI 這樣的公司雇用廉價(jià)的非洲勞動(dòng)力來(lái)標(biāo)注數(shù)據(jù)。目前 OpenAI 精確的數(shù)據(jù)標(biāo)注量還沒(méi)有公開(kāi)，我們預(yù)估這個(gè)量應(yīng)該會(huì)很大。對(duì)于國(guó)內(nèi)的相關(guān)研究人員來(lái)說(shuō)，如果使用強(qiáng)化學(xué)習(xí)進(jìn)行算法研究時(shí)，也會(huì)面臨這些問(wèn)題。尤其是隨著強(qiáng)化學(xué)習(xí)的代碼公開(kāi)，門(mén)檻降低，各大公司將競(jìng)爭(zhēng)獎(jiǎng)勵(lì)機(jī)制的數(shù)據(jù)標(biāo)注和定義規(guī)范，以及評(píng)估標(biāo)注數(shù)據(jù)的質(zhì)量等方面。因此，強(qiáng)化學(xué)習(xí)在未來(lái)的發(fā)展中仍需要解決這些問(wèn)題。

中國(guó)有沒(méi)有機(jī)會(huì)做出自己的 ChatGPT？

王文廣：想做出 ChatGPT 并不是一件容易的事情。它是一個(gè) AI 的大工程，并不是三兩個(gè)算法同學(xué)外加幾臺(tái)服務(wù)器就可以搞定的。到了 ChatGPT 的時(shí)代，它本身是一個(gè)非常大的工程。為了幫助模型訓(xùn)練，微軟專(zhuān)門(mén)給 OpenAI 提供了他們的超級(jí)集群，OpenAI 的算法工程師需要在集群基礎(chǔ)上把各種算法組合起來(lái)。很多算法也不是 OpenAI 自己搞出來(lái)的，Deep Mind 在強(qiáng)化學(xué)習(xí)方法做的也非常深，但是 OpenAI 將這些都融合在一起。還包括從非洲找廉價(jià)勞動(dòng)力進(jìn)行數(shù)據(jù)標(biāo)注，還可能有一些在公共渠道中無(wú)法獲取的其他信息。這些組合起來(lái)就是一個(gè)非常大的工程，對(duì)我們做出媲美 ChatGPT 的模型來(lái)說(shuō)是一個(gè)很大的挑戰(zhàn)。

中國(guó)在其他領(lǐng)域做出很多成功的大工程，比如“兩彈一星”、高鐵等，那么在 AI 領(lǐng)域中國(guó)是否能夠延續(xù)這樣的神話？中國(guó)有可能做出媲美或超越像 ChatGPT 這樣的 AI 出來(lái)？

劉煥勇：回答這個(gè)問(wèn)題時(shí)需要考慮多個(gè)因素。比如，我們?cè)谧隽炕治鰰r(shí)會(huì)使用多因子模型。這個(gè)問(wèn)題包括很多因素，其中最重要的兩個(gè)因素是外部和內(nèi)部環(huán)境。

在外部環(huán)境方面，比如我們現(xiàn)在做知識(shí)圖譜方面，國(guó)外有 Palantir，而國(guó)內(nèi)也有很多公司在做和 Palantir 類(lèi)似的研究，但是由于外部環(huán)境的問(wèn)題，這個(gè)問(wèn)題實(shí)際上具有一定的風(fēng)險(xiǎn)性。

另一個(gè)因素是內(nèi)部環(huán)境，一般來(lái)說(shuō)，我們會(huì)從數(shù)據(jù)、算法和算力這三個(gè)方面去考慮。

• 在算法方面，特別是在近幾年來(lái)的開(kāi)源浪潮下，有更多的開(kāi)源代碼被發(fā)布，包括一些公益的和科研機(jī)構(gòu)的代碼，這使得算法的問(wèn)題不大。此外，中國(guó)也在這方面投入了很多，包括科研機(jī)構(gòu)的開(kāi)放和強(qiáng)大的編碼能力。

• 在算力方面，雖然需要花費(fèi)大量資金，但是這個(gè)問(wèn)題也可以得到解決。然而，硬件方面的算力可能會(huì)過(guò)濾掉一些公司，只有有一定資歷的公司才有能力去做這樣的事情。

• 除了算法和算力，數(shù)據(jù)也是一個(gè)重要的因素。例如，從 GPT-1到 GPT-2、GPT-3再到 ChatGPT，國(guó)外的這些模型的效果非常好，我們可以看到現(xiàn)象級(jí)的涌現(xiàn)效果。中國(guó)的智源、浪潮等公司也做了很多模型，但與 GPT 它們?cè)谟脩趔w驗(yàn)上的差距仍然很大。這個(gè)問(wèn)題實(shí)際上源于數(shù)據(jù)，因?yàn)樵谏疃葘W(xué)習(xí)中，有一些規(guī)律需要遵守，例如我們需要準(zhǔn)備什么樣的數(shù)據(jù)來(lái)訓(xùn)練模型。由于數(shù)據(jù)的困難程度很高，這成為了一個(gè)巨大的壁壘。數(shù)據(jù)多樣性及規(guī)模是中國(guó)企業(yè)在進(jìn)工智能領(lǐng)域時(shí)需要攻克的主要難題。大規(guī)模數(shù)據(jù)的積累是企業(yè)進(jìn)工智能領(lǐng)域的首要條件之一，而多樣性數(shù)據(jù)則是關(guān)鍵之二。以 GPT 模型為例，它幾乎什么都能干，該模型訓(xùn)練時(shí)所使用的數(shù)據(jù)分布十分廣泛，包括書(shū)籍、對(duì)聯(lián)、網(wǎng)上對(duì)話以及論文等不同來(lái)源的數(shù)據(jù)。而這種廣泛的數(shù)據(jù)來(lái)源保證了模型在多個(gè)領(lǐng)域中的應(yīng)用能力。對(duì)于中國(guó)企業(yè)而言，如何解決數(shù)據(jù)多樣性問(wèn)題也將成為其發(fā)展人工智能的重要挑戰(zhàn)之一。

數(shù)據(jù)的質(zhì)量對(duì)于人工智能技術(shù)的發(fā)展至關(guān)重要。在如何防止生成有害或敏感信息方面，我認(rèn)為，首先，在模型訓(xùn)練前需要加入一套固定機(jī)制進(jìn)行過(guò)濾，而訓(xùn)練完成后，還需要通過(guò)一次過(guò)濾來(lái)確保模型生成的信息符合規(guī)范。

中國(guó)企業(yè)在發(fā)展人工智能技術(shù)時(shí)需要關(guān)注外部環(huán)境和內(nèi)部環(huán)境兩個(gè)大方向。在政策方面，政策支持可以幫助企業(yè)營(yíng)造良好的生態(tài)環(huán)境，同時(shí)，企業(yè)也需要通過(guò)提高算力、算法和數(shù)據(jù)方面的能力，需要解決數(shù)據(jù)質(zhì)量問(wèn)題。對(duì)于中國(guó)企業(yè)而言是有機(jī)會(huì)做出媲美或超越像 ChatGPT 這樣的人工智能工具的。

王昊奮：隨著科技的不斷發(fā)展，大型工程的復(fù)雜度也變得更高。在人工智能時(shí)代，由于從機(jī)械到電子再到信息數(shù)據(jù)時(shí)代，變量也變得更多，因此優(yōu)化問(wèn)題也變得更加復(fù)雜。在工程領(lǐng)域，大家都關(guān)注國(guó)外的一些公司，例如 OpenAI 以及其他一些制造大型模型的國(guó)外公司，它們都在使用分布式的機(jī)器學(xué)習(xí)訓(xùn)練框架。而對(duì)于大數(shù)據(jù)時(shí)代，過(guò)去有 Spark 和 DataBricks 等公司。現(xiàn)在又出現(xiàn)了一些新的公司，推出了如 Ray 這種開(kāi)源的分布式機(jī)器學(xué)習(xí)框架。這些框架的使用雖然簡(jiǎn)單，但是要在系統(tǒng)層面實(shí)現(xiàn)優(yōu)化卻非常困難，因?yàn)樵诙鄼C(jī)多卡的情況下，不僅需要考慮數(shù)據(jù)的并行，還需要考慮模型的并行、MoE 的變形等復(fù)雜因素。此外，在機(jī)器學(xué)習(xí)的過(guò)程中還需要考慮 pipeline 流水線等優(yōu)化，這也是一項(xiàng)重要的工作。在智源青園會(huì)中，潞晨科技推出了一個(gè)名為 Colossal 系統(tǒng)，它也是一個(gè)開(kāi)源的項(xiàng)目。通過(guò)這個(gè)系統(tǒng)，可以將顯存的使用量降低，從而減少使用卡的數(shù)量，同時(shí)仍然可以進(jìn)行訓(xùn)練。這需要對(duì)體系結(jié)構(gòu)進(jìn)行優(yōu)化，以及對(duì)存儲(chǔ)和計(jì)算進(jìn)行優(yōu)化，這也是很多老師們正在研究的方向。

在如今的人工智能系統(tǒng)中，單純講算法已經(jīng)不再具有太大的意義。對(duì)于人工智能系統(tǒng)而言，底層的一些框架、異構(gòu)計(jì)算等都非常重要。因此，未來(lái)的工程師需要掌握的知識(shí)點(diǎn)也會(huì)越來(lái)越多?，F(xiàn)在一些公司已經(jīng)從最初的做 AI 轉(zhuǎn)向做 AI 系統(tǒng)。在這個(gè) AI 系統(tǒng)中，很多底層的技術(shù)都非常重要。這些技術(shù)包括之前使用的各種開(kāi)發(fā)框架，例如 Torch 等，以及曾經(jīng)非常熱門(mén)的異構(gòu)計(jì)算，即神經(jīng)網(wǎng)絡(luò)的虛擬機(jī)。

此外，在大模型時(shí)代中，分布式機(jī)器學(xué)習(xí)框架和優(yōu)化策略也非常重要。這些技術(shù)需要軟硬件結(jié)合，而且很多都是從機(jī)器學(xué)習(xí)領(lǐng)域的很多優(yōu)化策略中演化而來(lái)的。對(duì)于大模型來(lái)說(shuō)，如何高效地訓(xùn)練模型和部署模型也是非常關(guān)鍵的問(wèn)題。在微調(diào)模型方面，近年來(lái)，像 Stable Diffusion 這樣的高效方式已經(jīng)使得微調(diào)變得更加容易。這種技術(shù)的發(fā)展不僅在圖像領(lǐng)域有很多應(yīng)用，而且也會(huì)逐漸滲透到大規(guī)模語(yǔ)言模型領(lǐng)域中。除了微調(diào)和精調(diào)，人工智能技術(shù)的發(fā)展還需要解決強(qiáng)化學(xué)習(xí)的價(jià)值觀的問(wèn)題。

隨著人工智能技術(shù)的發(fā)展，ChatGPT 成為了人們關(guān)注的熱點(diǎn)話題。然而，對(duì)于想要進(jìn)入這個(gè)領(lǐng)域的人來(lái)說(shuō)，并不是所有人都適合從事通用的 GPT 模型的研究。相反，更多的人可能會(huì)從事垂域的類(lèi) GPT 模型的研究。在這種情況下，模型特化變得尤為重要。因此，我們需要大量的基礎(chǔ)軟件來(lái)配合計(jì)算力，例如操作系統(tǒng)、編譯器、數(shù)據(jù)庫(kù)等。

同時(shí)，數(shù)據(jù)也成為了人工智能領(lǐng)域中非常重要的元素。從以模型為中心的 AI 轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的 AI，已經(jīng)成為了人工智能發(fā)展的趨勢(shì)。在 ToB 領(lǐng)域，如果我們沒(méi)有足夠的數(shù)據(jù)或者無(wú)法獲取數(shù)據(jù)，那么如何更新模型、優(yōu)化模型、發(fā)現(xiàn)問(wèn)題以及快速部署都將成為難題。此外，云計(jì)算和邊緣計(jì)算的協(xié)同也會(huì)在這個(gè)過(guò)程中發(fā)揮重要作用。為了解決數(shù)據(jù)量不足的問(wèn)題，我們可以采用數(shù)據(jù)增廣或者數(shù)據(jù)合成的方法。對(duì)于大模型來(lái)說(shuō)，模型規(guī)模的增大會(huì)導(dǎo)致互聯(lián)網(wǎng)數(shù)據(jù)被消耗殆盡，因此只能通過(guò)自我生成數(shù)據(jù)來(lái)繼續(xù)訓(xùn)練模型。就像游戲中的 NPC 和 NPC 之間相互對(duì)話。

同時(shí)，算力也是實(shí)現(xiàn)這一目標(biāo)的必要條件，但不是最卡脖子的東西。一些國(guó)家隊(duì)、互聯(lián)網(wǎng)大廠、活下來(lái)的現(xiàn)金充裕的 AI 公司、游戲公司以及區(qū)塊鏈領(lǐng)域的老手都有可能成為人工智能領(lǐng)域的領(lǐng)軍者。然而，基礎(chǔ)軟件和生態(tài)系統(tǒng)建設(shè)的缺失可能會(huì)成為阻礙人工智能發(fā)展的最大瓶頸。相比之下，算力反而不是最大的瓶頸。我國(guó)在超算領(lǐng)域的積累和相關(guān)嘗試為人工智能領(lǐng)域的發(fā)展提供了有力支持。但是，我們還需要更加暢通的基礎(chǔ)軟件和開(kāi)源生態(tài)系統(tǒng)，以便更好地推動(dòng)人工智能技術(shù)的發(fā)展。

簡(jiǎn)單來(lái)看，我們首先是要在算法上進(jìn)行創(chuàng)新和優(yōu)化，其次是數(shù)據(jù)的質(zhì)量與治理，最后則是信念和堅(jiān)持。

另外，英文是互聯(lián)網(wǎng)上最主流的語(yǔ)言，英文的數(shù)據(jù)更多而且質(zhì)量相對(duì)較高，但是高質(zhì)量的中文數(shù)據(jù)不足。因此，數(shù)據(jù)的質(zhì)量和治理是中國(guó)版 ChatGPT 發(fā)展的一個(gè)制約因素。OpenAI 在人工智能領(lǐng)域的成功經(jīng)驗(yàn)是，即堅(jiān)持創(chuàng)新和信仰，并且不斷積累經(jīng)驗(yàn)和技術(shù)。這也是中國(guó)版 ChatGPT 需要學(xué)習(xí)和借鑒的。中國(guó)版 ChatGPT 需要堅(jiān)持信念和有信仰，這在學(xué)術(shù)界和科研領(lǐng)域尤為重要。

中國(guó)版 ChatGPT 需要走出自己的路，并反向輸出，否則就會(huì)永遠(yuǎn)跟隨別人的老路走下去。這是中國(guó)版 ChatGPT 發(fā)展的一個(gè)大問(wèn)題。中國(guó)版 ChatGPT 需要在數(shù)據(jù)、游戲規(guī)則、工程和生態(tài)等方面尋求創(chuàng)新，并不斷優(yōu)化和改進(jìn)自己，才能做出一個(gè)真正有競(jìng)爭(zhēng)力的人工智能產(chǎn)品。

中國(guó)誰(shuí)最有希望優(yōu)先做出最接近 ChatGPT 的產(chǎn)品？

王文廣：做出 ChatGPT 有些難度，但是要引領(lǐng)一個(gè)技術(shù)，要在創(chuàng)新層面走出一條道路，就對(duì)團(tuán)隊(duì)的要求非常高，就會(huì)難上加難。那么，中國(guó)誰(shuí)最有希望優(yōu)先做出最接近 ChatGPT 的產(chǎn)品？

王昊奮：國(guó)內(nèi)有多家公司都在研發(fā)類(lèi)似 ChatGPT 的產(chǎn)品。百度3月份也推出自家版 ChatGPT，成為國(guó)內(nèi)首個(gè)推出該產(chǎn)品的公司。百度由于其搜索業(yè)務(wù)積累了大量數(shù)據(jù)，對(duì)用戶行為也有深入了解，正在做文心大模型且已經(jīng)有了飛槳 PaddlePaddle 等基礎(chǔ)框架，因此推出類(lèi) ChatGPT 的產(chǎn)品具備一定的基礎(chǔ)條件。當(dāng)然和百度這種情況類(lèi)似的還有很多，只是目前還處在靜默期，都在努力去做出這樣一款產(chǎn)品。

我們需要走出中國(guó)特色。因?yàn)?ChatGPT 并不完美，也存在一些如準(zhǔn)確性和真實(shí)性等方面的缺陷，這也是為什么微軟急于將其與其他產(chǎn)品（如 Bing）相結(jié)合的原因。在行業(yè)細(xì)分太細(xì)的情況下，ChatGPT 可能存在一些難以判斷的問(wèn)題，因此各行各業(yè)都在努力結(jié)合自己的特點(diǎn)來(lái)開(kāi)發(fā)相應(yīng)版本的 ChatGPT。例如，網(wǎng)易即將推出某款游戲試水其 ChatGPT，司法、金融和醫(yī)療等領(lǐng)域也都在研發(fā)相應(yīng)的版本的 ChatGPT。但同時(shí)，抄作業(yè)容易，抄完作業(yè)后如何做變革，如何做出一個(gè)具有垂域特點(diǎn)的 ChatGPT，由于 OpenAI 或者說(shuō)全世界沒(méi)有給出一個(gè)標(biāo)準(zhǔn)的解法，需要根據(jù)以往的經(jīng)驗(yàn)結(jié)合前面講到的數(shù)據(jù)、算法、工程、產(chǎn)品和運(yùn)營(yíng)，讓這個(gè)飛輪轉(zhuǎn)起來(lái)，才能看到很多的東西。

從 OpenAI 的角度來(lái)看，ChatGPT 并沒(méi)有一個(gè)明確的商業(yè)模式，而對(duì)于商業(yè)公司來(lái)說(shuō)，盈利模式是必須要考慮的問(wèn)題。這也是谷歌等公司無(wú)法完全放棄搜索和廣告等業(yè)務(wù)的原因之一。像谷歌的 Bard 出來(lái)之后，大家對(duì)谷歌的寬容度并不高，都認(rèn)為谷歌應(yīng)該可以做得更好，怎么會(huì)出現(xiàn)這種錯(cuò)誤。其實(shí)這種錯(cuò)誤 ChatGPT 也會(huì)犯。如果國(guó)內(nèi)一些巨頭公司做出來(lái)之后也會(huì)面臨相似的問(wèn)題。在已經(jīng)出現(xiàn)了像 ChatGPT 這種比較難超越的標(biāo)桿之后，國(guó)內(nèi)巨頭該怎么做也是一個(gè)值得思考的問(wèn)題。

當(dāng)然，ChatGPT 的出現(xiàn)也面臨著一些挑戰(zhàn)。首先，訓(xùn)練一個(gè)大型的人工智能模型需要耗費(fèi)大量的時(shí)間、資源和資金。此外，運(yùn)營(yíng)這一技術(shù)也需要巨大的投資。據(jù)悉，每一條查詢(xún)的成本約為一美分，這也意味著需要一定的優(yōu)化才能實(shí)現(xiàn)盈利。

在一個(gè) SaaS 的商業(yè)模式下，利潤(rùn)是至關(guān)重要的。創(chuàng)業(yè)者需要通過(guò)各種手段來(lái)確保自己的產(chǎn)品能夠帶來(lái)一定的利潤(rùn)。因此，除了技術(shù)問(wèn)題，還需要考慮其他非技術(shù)因素對(duì)于商業(yè)模式的影響。

如何確保自己的產(chǎn)品不僅僅是一個(gè)技術(shù)問(wèn)題，還涉及到很多非技術(shù)的因素。除了抄作業(yè)之外，創(chuàng)業(yè)者需要進(jìn)行微創(chuàng)新和開(kāi)創(chuàng)性的探索，以便在市場(chǎng)上占據(jù)一席之地。這些探索的過(guò)程可能需要自己去不斷挑戰(zhàn)和探索，后面一定會(huì)有一些經(jīng)驗(yàn)甚至是最佳實(shí)踐產(chǎn)出?；蛟S很多商業(yè)公司不愿意披露這些信息，但是我相信一定會(huì)有一些開(kāi)源機(jī)構(gòu)或科研機(jī)構(gòu)會(huì)將這些信息陸陸續(xù)續(xù)揭露給大眾，以便更多人可以進(jìn)入這個(gè)領(lǐng)域，從而產(chǎn)出一些新的范式上的變革。

大家要以發(fā)展的眼光看待這件事，貌似 OpenAI 好像搶占了先機(jī)，其實(shí)就像冰山一樣暗流涌動(dòng)，國(guó)內(nèi)很多科研機(jī)構(gòu)和大廠都在開(kāi)展相關(guān)工作，說(shuō)不定什么時(shí)候一家就會(huì)比另外一家更好。如果這個(gè)市場(chǎng)足夠大，也不可能出現(xiàn)一家獨(dú)大，后面一定會(huì)出現(xiàn)百花齊放、百家爭(zhēng)鳴的現(xiàn)象。

劉煥勇：大家都有機(jī)會(huì)，而且 ChatGPT 可能會(huì)有很多版本，如很多垂直類(lèi)的版本，這樣大家做出來(lái)的機(jī)會(huì)更多。只要大家有意愿，并且能夠堅(jiān)持解決上述問(wèn)題，都有機(jī)會(huì)做出來(lái)?，F(xiàn)在談?wù)摗罢l(shuí)最有希望優(yōu)先做出最接近 ChatGPT 的產(chǎn)品？”為時(shí)過(guò)早，現(xiàn)在是一個(gè)大變革的時(shí)代，誰(shuí)也說(shuō)不準(zhǔn)，靜待花開(kāi)即可。

王文廣：其實(shí)現(xiàn)在只是剛剛開(kāi)始，隨著 ChatGPT 的出現(xiàn)一石激起千層浪，引發(fā)了整個(gè)社會(huì)的討論?，F(xiàn)在那么多聰明的人和資本已經(jīng)投入到這個(gè)領(lǐng)域，國(guó)內(nèi)的研發(fā)也處在加速階段，對(duì)整個(gè)社會(huì)發(fā)展起到促進(jìn)作用。由于這個(gè)變革比較大，我寫(xiě)一個(gè)“” 系列來(lái)講述人工智能的發(fā)展。GPT 就像一把屠龍寶刀，屠龍寶刀初出江湖，引起江湖紛爭(zhēng)。

ChatGPT 出來(lái)以后，對(duì)知識(shí)圖譜方面會(huì)造成哪些影響？

王文廣：谷歌也很快推出了類(lèi)似的 AI 模型 Bard。谷歌在 AI 領(lǐng)域的積累也非常深厚，不管是大模型、強(qiáng)化學(xué)習(xí)還是針對(duì) ChatGPT 引發(fā)的情景學(xué)習(xí)、思維鏈等相關(guān)技術(shù)大都是谷歌先發(fā)表出來(lái)的。但是作為一個(gè)搜索引擎巨頭，推出這種東西對(duì)自己反而是一種威脅。一方面革了自己廣告的命，但是廣告占谷歌收入較大比重，如果沒(méi)了廣告收入從哪里來(lái)，是一個(gè)很大問(wèn)題。另外一方面，大眾對(duì)創(chuàng)業(yè)小公司比較寬容，但是對(duì)巨頭容忍度更低。同樣的東西谷歌推出來(lái)如果“胡說(shuō)八道”大家就很難接受，股價(jià)暴跌一千多億。如果是 OpenAI 推出來(lái)的，則可能一笑了之。

知識(shí)圖譜是用來(lái)解決大型語(yǔ)言模型“胡說(shuō)八道”的一個(gè)非常好的工具。谷歌的 Lamda 模型就是知識(shí)圖譜的一個(gè)典型例子。這些模型能夠檢索外部的知識(shí)來(lái)支撐回復(fù)中的事實(shí)性?xún)?nèi)容。舉了一個(gè)例子，即三元組，這是知識(shí)圖譜中最常見(jiàn)的一個(gè)東西。谷歌擁有全球最大的知識(shí)圖譜，這使得大型語(yǔ)言模型能夠引用知識(shí)圖譜來(lái)回答問(wèn)題，這是非常好的方法。

搜索引擎并不適合用來(lái)解決事實(shí)性問(wèn)題。當(dāng)你使用搜索引擎搜索一個(gè)問(wèn)題時(shí)，它會(huì)返回堆結(jié)果，你很難判斷哪個(gè)結(jié)果是正確的。因此，知識(shí)圖譜如果是通過(guò)一個(gè)比較嚴(yán)格的標(biāo)準(zhǔn)去構(gòu)建的話，它就可以成為一個(gè)非常強(qiáng)大的事實(shí)庫(kù)，從而避免或減少事實(shí)性問(wèn)題的出現(xiàn)。

那么 ChatGPT 出來(lái)以后，對(duì)知識(shí)圖譜方面會(huì)造成哪些影響？

劉煥勇：其實(shí)知識(shí)圖譜（KG）的構(gòu)建和應(yīng)用中，時(shí)效性和完備性都是非常重要的。而在不斷探索的過(guò)程中，人們也在逐步發(fā)現(xiàn)，知識(shí)圖譜的構(gòu)建并不是一件容易的事情。特別是在構(gòu)建通用域的知識(shí)圖譜時(shí)，需要從非結(jié)構(gòu)化文本中提取出結(jié)構(gòu)化數(shù)據(jù)，而這個(gè)過(guò)程又存在著多樣性和不確定性等問(wèn)題，因此需要考慮如何保證文本的準(zhǔn)確性和可靠性。

語(yǔ)言模型中的知識(shí)圖譜的應(yīng)用過(guò)程中，有一種新的方法：就是將知識(shí)圖譜中的知識(shí)表示融入到語(yǔ)言模型中，然后在訓(xùn)練的過(guò)程中讓模型去學(xué)習(xí)。這種方法可以有效地提高語(yǔ)言模型的準(zhǔn)確性和時(shí)效性，同時(shí)也可以通過(guò)對(duì)模型輸出結(jié)果進(jìn)行修正來(lái)提高模型的性能。

不過(guò)，知識(shí)圖譜的構(gòu)建和應(yīng)用中還存在著一些問(wèn)題。比如，知識(shí)圖譜中可能存在錯(cuò)誤的信息，這些信息如果被加入到知識(shí)圖譜中，就會(huì)導(dǎo)致知識(shí)圖譜的準(zhǔn)確性受到影響。因此，呼吁大家要在知識(shí)圖譜的構(gòu)建和應(yīng)用中注重信息的準(zhǔn)確性和可靠性。

知識(shí)圖譜的時(shí)效性和準(zhǔn)確性也并未得到很好的解決，這是 ChatGPT 和知識(shí)圖譜的通病。那么 New Bing 是怎么做的呢？目前還沒(méi)有一個(gè)權(quán)威的說(shuō)法。我猜測(cè) New Bing 可能是先從知識(shí)圖譜中找到相關(guān)的實(shí)體或概念，然后進(jìn)行聚合和摘要，再丟到語(yǔ)言模型里面去進(jìn)行處理，最終輸出結(jié)果。但具體實(shí)現(xiàn)細(xì)節(jié)仍未確定。在這個(gè)過(guò)程中，涉及到了多個(gè)技術(shù)，如知識(shí)圖譜的融合和對(duì)齊技術(shù)等，這些技術(shù)可能也被應(yīng)用于 New Bing 的產(chǎn)品中。

我認(rèn)為技術(shù)之間的相互掰扯和融合是一個(gè)亟待解決的問(wèn)題。New Bing 備受關(guān)注，但其背后的技術(shù)和實(shí)現(xiàn)仍有待進(jìn)一步研究和探索。對(duì)于如何解決時(shí)效性和準(zhǔn)確性等問(wèn)題，也需要更多的技術(shù)創(chuàng)新和實(shí)踐。在技術(shù)融合的過(guò)程中，ChatGPT 和知識(shí)圖譜這兩個(gè)技術(shù)具有共通之處，未來(lái)或?qū)⒃趯?shí)際應(yīng)用中發(fā)揮更大的作用。

王昊奮：隨著 ChatGPT 等大規(guī)模語(yǔ)言模型的出現(xiàn)，對(duì)于人工智能行業(yè)，特別是自然語(yǔ)言處理、知識(shí)圖譜以及信息檢索等領(lǐng)域，將會(huì)產(chǎn)生很大的沖擊。很多原本需要耗費(fèi)大量時(shí)間和精力的工作，現(xiàn)在可以通過(guò)這些模型來(lái)快速完成，從而提高工作效率。

從更加抽象的角度來(lái)思考，我們可以發(fā)現(xiàn)，LLM 對(duì)于 KG 的影響主要有三個(gè)方面：LLM 為 KG 提供了更好的基礎(chǔ)模型，即第一個(gè) LLM for KG；LLM 與 KG 的結(jié)合可以帶來(lái)更加強(qiáng)大的應(yīng)用，即 KG for LLM；LLM 與 KG的并行應(yīng)用方式有兩種，即 KG + LLM 和 LLM + KG。

如果不考慮對(duì)稱(chēng)性，這兩種組合方式是不同的。這些變化會(huì)對(duì)人工智能行業(yè)帶來(lái)更多的創(chuàng)新機(jī)遇和挑戰(zhàn)。因此，我們需要不斷地學(xué)習(xí)和探索，以應(yīng)對(duì)這些變化帶來(lái)的挑戰(zhàn)。

采用了 LLM（大語(yǔ)言模型）后，知識(shí)圖譜的工具鏈將會(huì)發(fā)生革命性的變化。原來(lái)繁瑣復(fù)雜的生產(chǎn)工具鏈將會(huì)被簡(jiǎn)化，利用自然語(yǔ)言交互接口，用戶可以更簡(jiǎn)單快捷地獲取所需的信息，這樣能夠吸引更多的受眾群體。同時(shí)，由于LLM 具備多任務(wù)處理能力，其問(wèn)答和推理等方面的能力也將大大提高，使得知識(shí)圖譜的應(yīng)用領(lǐng)域更加廣泛，而且能夠更全面、更準(zhǔn)確地構(gòu)建知識(shí)圖譜。

不過(guò)，目前的知識(shí)圖譜仍存在很多問(wèn)題，比如一階、二階、高階知識(shí)、常識(shí)知識(shí)、時(shí)空域知識(shí)等等，都需要進(jìn)一步完善和優(yōu)化。從共性化到個(gè)性化，從領(lǐng)域?qū)I(yè)的知識(shí)到更細(xì)粒度的知識(shí)，隨著 LLM 技術(shù)的不斷發(fā)展，這些問(wèn)題也將逐步得到解決。

我們會(huì)發(fā)現(xiàn)中國(guó)翻版的很多技術(shù)并沒(méi)有比外國(guó)原版更好。當(dāng)真正的 LLM 來(lái)臨時(shí)，我們是否能夠真正做得比外國(guó)更好，是所有人都應(yīng)該認(rèn)真思考的問(wèn)題，而不僅僅是將其視為一場(chǎng)危機(jī)。我們需要看到這個(gè)系統(tǒng)的機(jī)遇和挑戰(zhàn)，以及在這個(gè)過(guò)程中我們需要做哪些事情。有一些事情我們可以不去做，有一些事情我們需要跟隨這個(gè)系統(tǒng)一起前進(jìn)，而有一些事情則是新產(chǎn)生的。在之前的交流中，我們已經(jīng)列出了一些需要去做和不需要去做的事情。

當(dāng)然，不可能重復(fù)所有的事情，我們需要自己思考并聽(tīng)取不同人的反饋和意見(jiàn)。此外，針對(duì)于ChatGPT 這樣的技術(shù)，它本身會(huì)存在很多幻覺(jué)和謬論，因此我們需要關(guān)注它的時(shí)效性和來(lái)源出處的真實(shí)性。這對(duì)于醫(yī)療和決策輔助領(lǐng)域尤為重要，因?yàn)樵谶@些領(lǐng)域中我們需要考慮是否真正信任這個(gè)系統(tǒng)。所以，我們需要思考這個(gè)系統(tǒng)的來(lái)源和真實(shí)性，以及如何去驗(yàn)證它的結(jié)果。這是一個(gè)需要深入思考的問(wèn)題。

我們看到某個(gè)結(jié)果之后，要探究其發(fā)生的原因的過(guò)程中，知識(shí)圖譜可以發(fā)揮重要作用，因?yàn)樗撕芏嘌堇[、推理和溯因推理等方面的知識(shí)。這對(duì)于理解一些復(fù)雜的過(guò)程是至關(guān)重要的，例如我們所熟知的 A + B 的過(guò)程。我們需要考慮的是，如果我們將知識(shí)圖譜作為另一種重要的來(lái)源，那么它是否能夠與大量數(shù)據(jù)和參數(shù)共存？這是目前許多人正在探索的問(wèn)題。其中一個(gè)比較有前途的方向是和神經(jīng)符號(hào)結(jié)合，重要的一點(diǎn)是要解決參數(shù)量過(guò)大的問(wèn)題。例如，如何在參數(shù)規(guī)模較小的情況下實(shí)現(xiàn)與175B 參數(shù)相同的效果？如何將知識(shí)圖譜中的知識(shí)外化或卸載，以便將大型模型變小并使用外部知識(shí)作為輔助源？這些都是當(dāng)前正在探索的問(wèn)題。

前面我們提到現(xiàn)在很多人都在做類(lèi)似 ChatGPT 的產(chǎn)品，在 “模型即服務(wù)(Model as a Service)” 的大背景下，這些大模型如何進(jìn)行有效管理與協(xié)調(diào)已經(jīng)變得尤為重要?；蛟S可以設(shè)計(jì)與之對(duì)應(yīng)的“控制機(jī)構(gòu)”或“中控機(jī)構(gòu)”，負(fù)責(zé)任務(wù)管理與知識(shí)分配。當(dāng)然，這需要依靠較為專(zhuān)業(yè)化的“任務(wù)知識(shí)”來(lái)支撐，而非純粹的事實(shí)知識(shí)或事件知識(shí)。這些知識(shí)更趨于動(dòng)態(tài)性與流程性，具有較高的靈活性。

就這個(gè)角度看來(lái)，所謂“知識(shí)圖譜驅(qū)動(dòng)下的 LLM 超級(jí)自動(dòng)化” 似乎正是較為合理的解決方案。這種方式在許多 toB 場(chǎng)景中會(huì)發(fā)揮重大作用，其發(fā)展?jié)摿O其廣泛。

剛才我們僅提供了“A for B、B for A、A + B” 三種范式，每一種方式都有其獨(dú)特價(jià)值所在。重要的就是需要沿著這一思路繼續(xù)深思熟慮。雖然一開(kāi)始可能感到一切都無(wú)從下手，但相信若能適當(dāng)繼續(xù)前進(jìn)，必然會(huì)發(fā)現(xiàn)全新的可操作空間。就如進(jìn)入一條隧道，光看見(jiàn)前方似乎暗無(wú)天日，但只要繼續(xù)廣而又深地走下去，必然會(huì)找到出口。這時(shí)，你就會(huì)發(fā)現(xiàn)柳暗花明又一村，發(fā)現(xiàn)有很多東西可做。

我認(rèn)為大家不應(yīng)該排斥大語(yǔ)言模型（LLM），也不應(yīng)該認(rèn)為大語(yǔ)言模型訓(xùn)練不了。就像早年的人對(duì) AI 的態(tài)度一樣，他們可能不懂 AI，覺(jué)得 AI 和自己沒(méi)關(guān)系。但是事實(shí)上，當(dāng) AI 時(shí)代來(lái)臨時(shí)，你是無(wú)法阻擋它的，所以我們只能積極擁抱它。

即使你無(wú)法訓(xùn)練模型，至少你可以編寫(xiě) prompt（提示詞），現(xiàn)在提示詞工程師都已經(jīng)成為了一個(gè)工作崗位。在許多情況下，通過(guò)提供一個(gè) prompt模型，已經(jīng)能夠回答很多問(wèn)題，并取得了很好的效果。因此，我認(rèn)為無(wú)論在哪個(gè)層面，都有大量的工作和值得做的事情，可以對(duì)任何技術(shù)、場(chǎng)景和應(yīng)用做出顛覆性的貢獻(xiàn)。關(guān)鍵在于你是否有意愿去了解、思考和與周?chē)娜私涣?。這樣你就可以發(fā)現(xiàn)很多新場(chǎng)景，例如在科學(xué)領(lǐng)域的 AI 應(yīng)用，以及自動(dòng)駕駛和智能座艙等領(lǐng)域。當(dāng)然，由于時(shí)間有限，我無(wú)法對(duì)每個(gè)事物都進(jìn)行解讀。這只是我的個(gè)人觀點(diǎn)，不一定特別成體系，但我希望能夠引發(fā)更多的思考。

AGI = 大模型 + 知識(shí)圖譜 + 強(qiáng)化學(xué)習(xí)？

王文廣：在 ChatGPT 出現(xiàn)之前， RPA （機(jī)器人流程自動(dòng)化）并不容易被不懂相關(guān)技術(shù)的人使用，但現(xiàn)在通過(guò)知識(shí)圖譜和大模型的支持，可以通過(guò)自然語(yǔ)言描述業(yè)務(wù)邏輯，生成自動(dòng)化流程，從而真正實(shí)現(xiàn)自動(dòng)化。這是一個(gè)非常大的機(jī)遇，因?yàn)槲④浀?Power Automation 也在做類(lèi)似的事情。

如果我們忘記過(guò)去，只看現(xiàn)在，我們會(huì)發(fā)現(xiàn)一切都是機(jī)會(huì)。對(duì)于不同的公司和組織來(lái)說(shuō)，ChatGPT 可能是機(jī)遇，也可能是危機(jī)。ChatGPT 對(duì) OpenAI 和微軟來(lái)說(shuō)是一個(gè)機(jī)會(huì)，而對(duì)谷歌則是危機(jī)并存。

從個(gè)人技術(shù)成長(zhǎng)的角度來(lái)看，我們不應(yīng)該過(guò)于沉迷于歷史上的技術(shù)和概念，而是應(yīng)該從目前的技術(shù)水平出發(fā)，思考如何利用它們實(shí)現(xiàn)個(gè)人價(jià)值和目標(biāo)。當(dāng)前的技術(shù)發(fā)展充滿了機(jī)遇，例如可以利用技術(shù)進(jìn)行個(gè)人博客的推廣、營(yíng)銷(xiāo)以及其他各種有益的事情。此外，技術(shù)的發(fā)展也為創(chuàng)業(yè)等更大的事業(yè)提供了良機(jī)。因此，我們應(yīng)該積極抓住這些機(jī)遇，發(fā)揮技術(shù)的作用。

在討論人工智能的發(fā)展方向時(shí)，我們已經(jīng)涉及到了知識(shí)圖譜、大模型、強(qiáng)化學(xué)習(xí)等多個(gè)方面。對(duì)于熟悉人工智能歷史的人來(lái)說(shuō)，這些技術(shù)實(shí)際上是人工智能范式的總結(jié)：連接主義、符號(hào)主義和行為主義。而強(qiáng)化學(xué)習(xí)則是行為主義研究的重點(diǎn)之一。知識(shí)圖譜和神經(jīng)符號(hào)學(xué)則繼承了符號(hào)主義的思想，而大模型則代表了連接主義的成果。這三個(gè)方面的組合已經(jīng)在一些產(chǎn)品中得到了應(yīng)用，當(dāng)然 ChatGPT 目前沒(méi)有將知識(shí)圖譜集成進(jìn)去，但是像谷歌的 bard 和 Meta 的 Toolformer 等。從認(rèn)知科學(xué)、認(rèn)知神經(jīng)科學(xué)等角度來(lái)看，人類(lèi)智能可能就是這三個(gè)主義的組合。

因此，我提出了一個(gè)公式：AGI（通用人工智能） = 大模型 + 知識(shí)圖譜 + 強(qiáng)化學(xué)習(xí)，這可能是通用人工智能的基礎(chǔ)。雖然這個(gè)公式可能不完全準(zhǔn)確，但它可以啟發(fā)我們思考人工智能的未來(lái)發(fā)展方向。

王昊奮：這三個(gè)參數(shù)可以作為一個(gè)未知函數(shù)的三個(gè)變量。大模型雖然已經(jīng)證明了其性能的優(yōu)越性，但是它存在一些其他的問(wèn)題，比如站在 ESG（環(huán)境、社會(huì)和公司治理）的角度而言，它對(duì)環(huán)境不友好的內(nèi)容。其次，知識(shí)圖譜并不一定是體現(xiàn)知識(shí)的唯一方式，因?yàn)閿?shù)據(jù)和知識(shí)需要相互支持。知識(shí)的組織特征和推理能力是知識(shí)圖譜中的重要方面。最后，一個(gè)合格的智能體不僅需要知識(shí)和相對(duì)聰明的系統(tǒng)，還需要持續(xù)進(jìn)化。行為主義、強(qiáng)化學(xué)習(xí)、巨聲智能等方法都是重要的要素，它們之間存在千絲萬(wàn)縷的關(guān)聯(lián)。

因此，一個(gè)合格的智能體需要具備獲得認(rèn)知能力的大量數(shù)據(jù)和學(xué)習(xí)知識(shí)的能力，還需要具備持續(xù)學(xué)習(xí)的能力，并且可以從感知、認(rèn)知、決策三個(gè)方面進(jìn)行綜合考慮。

另外，更重要的是將 GPT 這個(gè)個(gè)體部署到各個(gè)領(lǐng)域中去，例如數(shù)字人、助理和虛擬人等，形成一個(gè)復(fù)雜的社會(huì)結(jié)構(gòu)，類(lèi)似于人類(lèi)社會(huì)中的群體行為和屬性。這種情況下，對(duì)于多個(gè)智能體的協(xié)作、競(jìng)爭(zhēng)和互補(bǔ)等復(fù)雜行為的涌現(xiàn)現(xiàn)象，需要考慮更大的社會(huì)范疇。因此，定義單個(gè)智能體的能力需要疊加成多個(gè)智能體，或者考慮整個(gè)社會(huì)模域中的一些智能體，這將會(huì)更有意思。

總之，GPT 這個(gè)概念可能會(huì)在文化廣泛傳播的情況下擴(kuò)散到更廣泛的領(lǐng)域。

劉煥勇：我們不需要急于對(duì)通用人工智能下定義。其實(shí)在 GPT 出現(xiàn)之前，我們對(duì)這個(gè)東西并不知曉。就當(dāng)前時(shí)間來(lái)看，它可能是一個(gè)最好的范例，但其中仍然存在很多問(wèn)題。如果我們進(jìn)行一些映射，例如對(duì)于一個(gè)智能體，它可能具備一定的模仿能力，就像小孩一樣，他們有模仿能力。這種模仿能力實(shí)際上可以連接到當(dāng)前的大規(guī)模語(yǔ)言模型，該模型通過(guò)大量的訓(xùn)練可以模仿人類(lèi)的語(yǔ)言表達(dá)形式。知識(shí)圖譜會(huì)有一些常識(shí)性的東西，它能規(guī)范并且控制住這種模仿能力。

另外，強(qiáng)化學(xué)習(xí)實(shí)際上是一種有反饋的學(xué)習(xí)方式，可以與周?chē)娜水a(chǎn)生各種關(guān)系，這種反饋意識(shí)可以幫助它更快地學(xué)習(xí)。如果將這個(gè)過(guò)程持續(xù)下去，至少有一些模仿，那么我認(rèn)為這是一個(gè)比較好的范式。但是其中存在的問(wèn)題，在不久的將來(lái)可能會(huì)有其他解決方案出來(lái)。

王文廣：我們知道現(xiàn)有的模式，包括兩位老師也都認(rèn)為，至少目前比較智能的智能體應(yīng)該將這主義融合在一起，包括知識(shí)圖譜、大型語(yǔ)言模型和強(qiáng)化學(xué)習(xí)的組合。雖然我們不知道它的確切組合方式，但某種組合對(duì)于當(dāng)前的智能體來(lái)說(shuō)是必要的。在現(xiàn)實(shí)中，包括骨科和病理學(xué)等領(lǐng)域也正在融合這三者，這已經(jīng)在某種程度上實(shí)現(xiàn)了。

未來(lái)，我相信國(guó)內(nèi)的許多公司都在努力制造類(lèi)似百度的文心一言等智能體，他們也在考慮如何將這些點(diǎn)融合在一起。

如何做到和 GPT 同級(jí)別或者超越它的大模型？

王文廣：做到至少與 GPT 同級(jí)別，甚至超越它的大模型，這個(gè)難度有多高？我們需要多少資金才能實(shí)現(xiàn)這一目標(biāo)？

王昊奮：要想實(shí)現(xiàn)至少與 GPT 同級(jí)別、甚至超越它的大模型，難度非常高。

這是因?yàn)樵谟?xùn)練大模型時(shí)需要大量的數(shù)據(jù)，并且數(shù)據(jù)要具有多樣性，涉及到的任務(wù)數(shù)也要豐富，每個(gè)任務(wù)所涉及的樣例也要足夠多。另外，還需要強(qiáng)大的算力支持，通常需要使用大量的 GPU 來(lái)進(jìn)行訓(xùn)練。對(duì)于數(shù)據(jù)量，例如 GPT-3，其訓(xùn)練所需的 token 數(shù)量達(dá)到了5000億，從 davinci 到 text-davinci，我們可以看到訓(xùn)練中使用了大量來(lái)自包括維基百科、圖書(shū)等數(shù)據(jù)。對(duì)于 ChatGPT 這樣的模型，還需要大量的對(duì)話數(shù)據(jù)和問(wèn)答數(shù)據(jù)作為輸入，這是一個(gè)動(dòng)態(tài)變化的過(guò)程。token 的數(shù)量是決定了模型的容量因素之一。數(shù)據(jù)的多樣性，包括涉及的任務(wù)數(shù)，每個(gè)任務(wù)當(dāng)中能看到的例子的不同等，也非常關(guān)鍵。要想出彩，還需要遵循 scaling law （標(biāo)度律）。

第二點(diǎn)是算力方面，GPT-3訓(xùn)練需要1萬(wàn)個(gè) V100 GPU，根據(jù) V100和 A100的算力計(jì)算，相當(dāng)于3000個(gè)左右的 A100，1000塊 這樣的卡在公有云上訓(xùn)練一個(gè)月可能也能訓(xùn)練出來(lái)。原本訓(xùn)練一次需要花費(fèi)460萬(wàn)美元，現(xiàn)在可能就變成了150萬(wàn)美元左右，不過(guò)之前總的訓(xùn)練費(fèi)用大概是1000萬(wàn)美元。大家如果去看 OpenAI 首席執(zhí)行官 Sam Altman 的訪談的話就會(huì)發(fā)現(xiàn)，未來(lái)隨著可控核聚變等技術(shù)的應(yīng)用，數(shù)據(jù)和算力的成本會(huì)逐漸下降。也有很多架構(gòu)方面的優(yōu)化，例如英偉達(dá)推出的 H100顯卡，這相當(dāng)于是大模型與硬件的摩爾定律比怎樣可以做得更好。

此外，另外一個(gè)重要的事情是 ARK Invest (方舟投資) 的報(bào)告，他們對(duì)這一領(lǐng)域做了許多預(yù)測(cè)。基本上可以考慮到2030年左右，同等規(guī)模的模型訓(xùn)練成本可能會(huì)降低60倍或50倍。更多詳細(xì)內(nèi)容需要大家去閱讀報(bào)告了解。大家還可以關(guān)注英偉達(dá)這種機(jī)構(gòu)，了解顯卡本身的進(jìn)化情況，如多卡集群。通過(guò)模型和顯存的優(yōu)化，成本一定可以做到更低。

劉煥勇：大規(guī)模模型訓(xùn)練需要以經(jīng)濟(jì)代價(jià)和時(shí)間成本為基礎(chǔ)，我們應(yīng)該以發(fā)展的眼光去看待這個(gè)問(wèn)題。

• 經(jīng)濟(jì)代價(jià)包括模型規(guī)模、使用的硬件（如 A100卡）數(shù)量以及訓(xùn)練時(shí)間等因素，這些可以通過(guò)計(jì)算來(lái)得出具體的成本，大家可以去看一些權(quán)威解讀。

• 除了經(jīng)濟(jì)代價(jià)，時(shí)間成本也是一個(gè)很大的問(wèn)題。因?yàn)槟Ｐ陀?xùn)練需要很長(zhǎng)的時(shí)間，而且需要花費(fèi)大量的人力和物力來(lái)標(biāo)注、定義和收集數(shù)據(jù)。時(shí)間代價(jià)可能會(huì)因?yàn)椴煌娜硕兴煌?，如果時(shí)間周期拉得很長(zhǎng)，這個(gè)代價(jià)就會(huì)很大。我們可以查看一些報(bào)告，例如數(shù)據(jù)集標(biāo)注的時(shí)間和花費(fèi)，來(lái)計(jì)算出時(shí)間成本。時(shí)間成本帶來(lái)外部資本的變化，也是一個(gè)需要考慮的問(wèn)題。

我們應(yīng)該用發(fā)展的眼光去看成本和代價(jià)的問(wèn)題，并將其分為不同的階段和領(lǐng)域。如果我們要做一個(gè)完全通用的 ChatGPT 生成模型，那么它的成本將會(huì)很高，難度也會(huì)很大。

因此，我們可以選擇分階段和分領(lǐng)域的方式來(lái)研發(fā) ChatGPT 模型。比如我們不要求它可以話題，只可以聊天就可以，這樣成本就會(huì)比較低。例如，我們可以在第一個(gè)階段解決 QA 問(wèn)題，第二個(gè)階段解決代碼生成問(wèn)題，第三個(gè)階段再解決繪制表格和計(jì)算公式的問(wèn)題。這樣做的好處是成本會(huì)比較低，接受度也會(huì)比較高。

雖然 ChatGPT 讓人耳目一新，但是我們最好先不要做過(guò)多評(píng)判誰(shuí)會(huì)先做出來(lái)，以及實(shí)現(xiàn)的難度有多大的問(wèn)題。我們應(yīng)該扎扎實(shí)實(shí)從技術(shù)角度去實(shí)現(xiàn)，不管是學(xué)術(shù)界還是工業(yè)界，應(yīng)該把這個(gè)技術(shù)應(yīng)用好，把底層的基礎(chǔ)設(shè)施建設(shè)好，走出一條中國(guó)的道路才是我們需要關(guān)注的問(wèn)題。

王昊奮：從用的角度來(lái)看，從 ChatGPT 出現(xiàn)以后，尤其是 ChatGPT 整合到了 New Bing 以后，流派至少有了一個(gè)比較夯實(shí)的基座，在上面做一些延伸的事情，開(kāi)啟了一個(gè)新的階段。我相信會(huì)有很多有趣的場(chǎng)景會(huì)被挖掘出來(lái)。從自建的角度來(lái)講，我們?nèi)绻朐煲粋€(gè)和 ChatGPT 類(lèi)似的東西的話，多說(shuō)無(wú)益，做就可以了。上半年會(huì)有若干和 ChatGPT 類(lèi)似的產(chǎn)品出來(lái)，但這并不是終點(diǎn)，這只是一個(gè)起點(diǎn)，最后一定能走出一條適合我們的道路。垂直類(lèi)的 GPT 的難度和價(jià)值還未被真正解鎖，這才是我們下一步要去探索和開(kāi)啟的東西。

王文廣：我寫(xiě)了一篇《》文章。隨著 ChatGPT 、 New Bing 和谷歌的 Bard 出現(xiàn)，我認(rèn)為融合了行為主義、連接主義和符號(hào)主義的通用人工智能的雛形已經(jīng)出現(xiàn)。

未來(lái)我們還要不斷研究如何將這三者更好地組合起來(lái)，幫助我們實(shí)現(xiàn)更加通用的智能，幫助人來(lái)提升智能化水平。我們希望社會(huì)能夠發(fā)展得越來(lái)越好，生活能夠更加美好。我們能夠每天最好工作四個(gè)小時(shí)、每周工作三天，其他的所有事情交給 AGI 來(lái)實(shí)現(xiàn)，那么我們的日子就過(guò)得舒服，就能夠去享受我們的生活。希望隨著大家的能力，曙光可以變成正午的陽(yáng)光！

今天《開(kāi)談》節(jié)目到此結(jié)束。

更多精彩內(nèi)容可觀看直播回放：https://live.csdn.net/room/programmer_editor/hsEaGtj1