2023.05.19

本文字?jǐn)?shù)：9705，閱讀時長大約15分鐘

導(dǎo)讀：「技術(shù)發(fā)展太快了，需要留點(diǎn)時間討論」

作者 |吳洋洋

編輯 |王姍姍

Key Points

2016年王小川就認(rèn)識到，一旦機(jī)器掌握了語言，通用人工智能就來了。

（IBM的）Watson是要取代醫(yī)生的，它失敗了，因?yàn)樗⒉荒芡ㄟ^一些答案，或者比醫(yī)生干得更好。這次真的有機(jī)會了。

辦公領(lǐng)域會出現(xiàn)“端到端”的行業(yè)結(jié)構(gòu)，寫文案這種中間過程的企業(yè)會消亡。

AI醫(yī)生、AI教授、AI律師、甚至AI司機(jī)出現(xiàn)的時間不會太久，大概就3-5年。

比較成熟的領(lǐng)域已經(jīng)有To C產(chǎn)品覆蓋的時候，我們就做To B。但是對于增量的、大家沒見過的產(chǎn)品，我們會做To C。

大語言模型已經(jīng)被學(xué)界稱為“foundation model”——基礎(chǔ)模型。未來不僅是做機(jī)器人，還是做無人駕駛，都會基于這個基礎(chǔ)大模型往上生長。

（Facebook）他們沒有開源，國內(nèi)所有公司做的大模型，都是自己做的。

與OpenAI相比，現(xiàn)在我們可能還差一步、差兩步，差半步是我們的目標(biāo)。

國內(nèi)大廠都在發(fā)布大模型，但在團(tuán)隊(duì)能力上是否離OpenAI越走越近，我們是質(zhì)疑的。

（百川智能）計(jì)劃年中推出第一代模型，年底推出對標(biāo)GPT-3.5的模型。

最后做成的包含大廠與創(chuàng)業(yè)公司在內(nèi)，應(yīng)該就5家左右。

我們嘗試用GPT的AI來訓(xùn)練我們的AI，這樣能加速我們的AI發(fā)展。

GPT解決的問題是“讀萬卷書”，AlphaGo解決的問題是“行萬里路”。一個深度學(xué)習(xí)，一個強(qiáng)化學(xué)習(xí)。

未來，強(qiáng)化學(xué)習(xí)的比重會大很多，今年可能是5%、10%或者20%，未來可能10倍、100倍的能力要靠強(qiáng)化學(xué)習(xí)得到。

今天大模型建立人工智能的方式仍然是對數(shù)據(jù)的暴力美學(xué)。

為生命建立數(shù)學(xué)模型，GPT讓這件事更可行。

點(diǎn)擊觀看視頻（視頻：王曉東 元成；視覺：胡榕）

科技預(yù)言雷·庫茲韋爾（Ray Kurzweil）說人工智能的奇點(diǎn)——機(jī)器智慧超過人類——會發(fā)生在2045年，王小川的判斷比這更激進(jìn)，他認(rèn)為這一天會提早到2033年到來，理由是人工智能技術(shù)的迭代周期成倍遞減：專家系統(tǒng)走過了40年，學(xué)習(xí)系統(tǒng)20年，深度學(xué)習(xí)10年，接下來，只需要再有5年、2.5年、1.25年、0.625年，轉(zhuǎn)折點(diǎn)就會到來。

這個預(yù)測有待時間檢驗(yàn)。如果預(yù)測成真，包括王小川在內(nèi)的大模型（Large Language Models，大語言模型）創(chuàng)業(yè)者，就會是在飛船已經(jīng)開始滑行才跳上甲板的人。

4月10日，王小川對外宣布成立百川智能，研發(fā)通用人工智能模型及應(yīng)用。他搬回了舊部——大約一半百川智能的人來自原來的搜狗團(tuán)隊(duì)，還找到了5000萬美元的啟動資金。

留給王小川這樣的創(chuàng)業(yè)者的時間并不多。王小川宣布上述消息的同一周，阿里巴巴在北京發(fā)布了其大模型“通義千問”。一個月前，百度發(fā)布了“文心一言”。前美團(tuán)聯(lián)合創(chuàng)始人王慧文所創(chuàng)立的光年之外，則已收購一家開發(fā)深度學(xué)習(xí)框架的科技公司一流科技OneFlow。

王小川已給出一個聽起來激進(jìn)的模型迭代計(jì)劃：今年年中（大概一兩個月后），他就要發(fā)布對標(biāo)GPT-1的第一代模型；年底，對標(biāo)GPT-3.5的模型就要推出。作為對照，從GPT-1到GPT-3.5，OpenAI花了四年多時間。

王小川本人并不認(rèn)為這個計(jì)劃激進(jìn)，也不認(rèn)為做出這個計(jì)劃純粹是出于競爭壓力?！霸摬辉撟龅胶涂尚行陨夏懿荒茏龅绞莾蓚€問題?！彼f，從“應(yīng)該”的層面，他判斷大模型領(lǐng)域今年的競爭核心是能否成功構(gòu)建基礎(chǔ)模型，明年，市場就會進(jìn)入對應(yīng)用場景的競爭階段。說到“可行性”層面，王小川表示自己并不是今年才開始做大模型，而是早在2021年他就在做大模型了。

“除了OpenAI，我并沒有看到任何一個公司或者個人，特別國內(nèi)的人，認(rèn)為通用人工智能到來了?！蓖跣〈ㄕf，決定大模型及其應(yīng)用勝負(fù)的，將會是“認(rèn)知”。

我們同王小川聊了聊他對大模型終局的認(rèn)知，他向我們描繪了醫(yī)療、教育、辦公、自動駕駛等所有今天已有AI涉足的領(lǐng)域?qū)绾伪淮竽Ｐ透淖?，也聊了?dāng)下階段中國公司在開發(fā)基礎(chǔ)模型上的共同挑戰(zhàn)和可能的捷徑，以及GPT的不足和留給后來者的創(chuàng)新機(jī)會。

持續(xù)的創(chuàng)業(yè)命題：為生命建立數(shù)學(xué)模型

新皮層：你宣布創(chuàng)立百川智能的時候?qū)懥朔夤_信，主要想傳達(dá)什么信息？

王小川：我覺得通用人工智能（Artficial General Intelligencce，簡稱AGI）到來了，這是最大的判斷。這一波的突破是語言AI，它跟互聯(lián)網(wǎng)時代、工業(yè)文明、文藝復(fù)興是什么關(guān)系，我在信中都做了相應(yīng)判斷。以及為什么我要做這事兒（指創(chuàng)立百川智能），就是要繁榮和延續(xù)人的文明。

新皮層：你經(jīng)常提到你對生命科學(xué)很感興趣，為什么會對這樣的議題感興趣？

王小川：我讀研究生期間，做的題目就與基因相關(guān)，做基因測序的拼接算法。當(dāng)時科學(xué)界發(fā)現(xiàn)，從DNA到人的過程是個足夠混沌和復(fù)雜的事?；虮澈蟮难莼卜浅?fù)雜，原本會出現(xiàn)混沌或不可預(yù)測的結(jié)局，但最后它變成了生命，變成了人，有兩只手、10個手指頭，甚至還跟爸媽長得像。這個事情在數(shù)學(xué)或物理上講沒有算法可以解釋。

我們已經(jīng)掌握了蘋果掉在地上因?yàn)橛腥f有引力，天上的星星如何運(yùn)動我們也能算得很清楚，但是生命背后的數(shù)學(xué)模型我們還沒有建立， 這是我從讀研究生開始就特別感興趣的一件事，如何用科學(xué)甚至用數(shù)學(xué)模型去建立對生命的理解。

新皮層：這是個特別學(xué)術(shù)性的問題？

王小川：有實(shí)操性的，比如說2021年，AlphaFold干的就是這件事情，它能夠把基因到蛋白質(zhì)結(jié)構(gòu)的關(guān)系用AI模型建立起來。給一個基因，模型就能告訴你它的三維蛋白質(zhì)結(jié)構(gòu)長啥樣。它用數(shù)學(xué)或者計(jì)算機(jī)解決了一個生命現(xiàn)象問題。

新皮層：當(dāng)時你并沒有像現(xiàn)在跟進(jìn)GPT一樣跟進(jìn)AlphaFold？

王小川：因?yàn)锳lphaFold雖然很性感，但是離解決人的健康問題之間的路還非常遠(yuǎn)。我當(dāng)時更愿意走另一條路。2021年搜狗并給騰訊之后，我就說我要做與生命科學(xué)相關(guān)的事，走的并不是AlphaFold的那條道路。它只是把蛋白質(zhì)結(jié)構(gòu)變成數(shù)學(xué)模型了，并沒有端到端地把健康變成數(shù)學(xué)模型。

新皮層：意思是從蛋白質(zhì)到人還有很遠(yuǎn)距離？

王小川：沒錯，距離特別遠(yuǎn)，就像做自然語言處理的模型只學(xué)了分詞，距離做出一個GPT還有非常遠(yuǎn)的路。所以我認(rèn)為有其他更多實(shí)操性的方法，可以用來研究生命健康的數(shù)學(xué)問題。

新皮層：GPT讓你離接近這個問題更近了嗎？

王小川：GPT跟我之前的工作經(jīng)歷高度相關(guān)。搜狗之前做搜索和輸入法，研究的就是語言里的規(guī)律。搜索其實(shí)是猜你想要什么，輸入法是猜你想表達(dá)什么，背后都有復(fù)雜的語言模型。技術(shù)上我們也從原來的符號處理走向了深度學(xué)習(xí)。當(dāng)時我們就提出一個觀點(diǎn)，語言其實(shí)是這個世界上相當(dāng)難解決的一種問題，我們稱為“自然語言處理”，是人工智能皇冠上的明珠。 2016年我就已經(jīng)認(rèn)識到了，一旦機(jī)器掌握了語言，通用人工智能就來了。

甚至當(dāng)時我們也提到，說搜索的未來是問答，給個問題就回答，而不是輸入個關(guān)鍵詞后給你10條鏈接。在那個時代，我們也提到了搜狗未來的方向是讓表達(dá)和獲取知識更簡單。以前，搜索是讓你獲取信息的，但是它不能讓你有知識。今天這些全都到來了。因此今年1月份開始使用ChatGPT的時候，我就深刻感受到機(jī)器已經(jīng)掌握語言，而且通用人工智能時代已經(jīng)到來了。

新皮層：在搜狗出售給騰訊的時候，GPT-3就已經(jīng)出來了。

王小川：對，那會兒我會看一些論文，但是那個時候我主要在思考怎么把生命變成數(shù)學(xué)問題、變成數(shù)學(xué)模型。所以看到GPT這種突破的時候，我印象很深刻的是，在提問題的時候，加上一個prompt咒語“think step by step”，讓GPT再仔細(xì)想一想，它的回答就變得更好，預(yù)示著這個機(jī)器開始有一些更智能的模式。

但不管學(xué)術(shù)界也好，包括我們自己，都沒有想到這樣一個東西離通用人工智能有多遠(yuǎn)。因?yàn)樗且粋€To B的系統(tǒng)，不是只看文章就能對它有認(rèn)知的。直到去年年底，ChatGPT發(fā)布，你才能去體驗(yàn)它，看文章和親自體驗(yàn)它是兩個不同的事情。

新皮層：你是技術(shù)背景，你會不會偶爾也會想，為什么不是我或者我的團(tuán)隊(duì)做出了這樣的技術(shù)突破，或者說更早看到了GPT的潛力，而不是這么晚進(jìn)場？

王小川：你的晚是指的從2021年開始做，還是從今年開始做？

新皮層：你不認(rèn)為你是從今年開始？

王小川：搜狗2021年的時候就在做大模型，在國內(nèi)的CLUE榜單（Chinese Language Understanding Evaluation，中文語言理解測評）上拿了兩次第一。

新皮層：你當(dāng)時沒有今天的這些認(rèn)知，沒有預(yù)料到AGI會來？

王小川：對，就是我們知道大模型長啥樣，但確實(shí)沒有預(yù)料到這個技術(shù)的突破。這不是我一個人沒想到，這是除OpenAI以外所有人都沒想到的事。 GPT-2和3出來的時候，除了OpenAI，我并沒有看到任何一個公司或者個人、特別國內(nèi)的人認(rèn)為通用人工智能到來了，甚至直到ChatGPT到來之后，我也沒看到其他人講通用人工智能到來了。

新皮層：離開搜狗之后，你還有過一個創(chuàng)業(yè)項(xiàng)目，是與大模型有關(guān)嗎？

王小川： 搜狗是做語言AI的，搜狗出售給騰訊后，我切換到了用數(shù)學(xué)模型解構(gòu)生命，（做大模型）中間有一個暫停的過程。我今天做的事情和這兩件事都可以連接。

因?yàn)楫?dāng)你想用機(jī)器為生命建數(shù)學(xué)模型，甚至幫你做健康管理的時候，你可能也需要一個虛擬醫(yī)生或護(hù)士做溝通，不管見面手段還是后期健康管理，都需要有一個伙伴去支撐。所以今天大模型帶來的可能是超級助手，能夠讓健康管理的閉環(huán)更容易完成。

新皮層：可不可以理解為你在用新一輪的AI技術(shù)重做上一份創(chuàng)業(yè)內(nèi)容？

王小川：新技術(shù)能夠?qū)χ暗墓ぷ鲙砭裆系墓膭?，但并不能覆蓋對生命的探索和相應(yīng)的數(shù)據(jù)處理方法。大模型是以語言為核心的，它并沒有對你生命指標(biāo)各方面的監(jiān)測，或者從某個生理指標(biāo)的數(shù)據(jù)中發(fā)現(xiàn)生命規(guī)律，所以不是相互取代。就像無人駕駛一樣，大模型提供的是同樣的基礎(chǔ)。

新皮層：你要做的話，會做ToB還是To C的產(chǎn)品？

王小川： 比較成熟的領(lǐng)域已經(jīng)有To C產(chǎn)品覆蓋的時候，我們就做To B。但是對于增量的、大家沒見過的產(chǎn)品，我們會做To C。比如說在教育領(lǐng)域，現(xiàn)在已經(jīng)有很多教育網(wǎng)站了，他們可能會在中間構(gòu)造一種虛擬老師，那我會做To B的事情。但是像醫(yī)療、法律領(lǐng)域，從來沒有存在過這種虛擬的知識供給，那我們就可以做To C的。

終局:GPT不只是語言模型，而是未來所有AI的基礎(chǔ)模型

新皮層：你覺得GPT-4在哪方面的能力超出你的預(yù)期？讓你覺得它非常有商業(yè)潛力？

王小川：GPT的核心就是機(jī)器掌握了語言，它變成了一個懂表達(dá)、善于表達(dá)的機(jī)器，同時它還擁有世界常識。整個世界上已經(jīng)發(fā)生的事、知識、常識甚至簡單的推理，它都掌握了，這是非常了不起的一個突破。

新皮層：機(jī)器掌握了語言后，你認(rèn)為它能夠做到的事會是什么？

王小川：有這個能力之后，它能做的第一件事就是把人類已經(jīng)遺留的以文字承載的知識都學(xué)習(xí)了。第二，它能跟人做正常的溝通交流，你給它一個命令，它能夠理解它、解釋它、完成它。

這時我們對它有個重新定義，它不再只是個工具，而是人類開始擁有的一個伙伴、一個助手，這是從來沒有的事情。以前人類發(fā)明的火、輪子，甚至計(jì)算機(jī)，都只是工具，它們不具有跟你對話的能力。

新皮層：具體到產(chǎn)品形態(tài)上，可能誕生哪些超級應(yīng)用？

王小川：比如說出現(xiàn)很多虛擬伙伴，它能夠在情感上陪伴，或者有足夠素質(zhì)的護(hù)士、醫(yī)生、律師、老師，這樣的產(chǎn)品叫助理也好、咨詢顧問也好，這是以前沒存在過的東西。

新皮層：上一個AI時代已經(jīng)出現(xiàn)過一些AI產(chǎn)品和商業(yè)成功的公司，GPT時代會有什么不同？

王小川：首先 上個時代還是信息時代，最多叫數(shù)據(jù)智能，我認(rèn)為這次才真正開始進(jìn)入到了AI時代。通用人工智能來了，機(jī)器開始學(xué)會學(xué)習(xí)了，有常識了，能跟人溝通了。以前還是靠人喂很多數(shù)據(jù)進(jìn)去，在專項(xiàng)里解決一個垂直問題。ChatGPT的發(fā)布代表新時代的開啟，兩個時代是不一樣的。

在上個時代，一個做圖像識別的公司需要做大量的定制化服務(wù)，很難有通用模型，成本也非常高。所以之前這個時代里的公司雖然已經(jīng)發(fā)展到很大的收入規(guī)模，還是很容易虧損，所以我并不認(rèn)為它是一種成功的AI范式。

新皮層：IBM曾經(jīng)嘗試開發(fā)名叫“Watson”的AI醫(yī)生，沒有成功，大語言模型可以把這件事做成嗎？

王小川： Watson是要取代醫(yī)生的，它失敗了，因?yàn)樗⒉荒芡ㄟ^一些答案，或者比醫(yī)生干得更好。這次真的有機(jī)會了。ChatGPT參加答案的確能夠考到專家的水平，甚至它能跟人溝通互動，不管在醫(yī)院里撰寫病例，還是幫醫(yī)生檢索數(shù)據(jù)，或者居家陪伴給病人提供安慰、做抑郁相關(guān)問題的問診，這些事終于開始能夠做到了。

上個時代里的AI產(chǎn)品即使能夠看醫(yī)學(xué)影像，也不能取代一個學(xué)了8年的醫(yī)生，它們?nèi)〈闹皇侵虚g看片子的技師角色，并沒有豐富的醫(yī)學(xué)知識。

新皮層：未來醫(yī)院可能雇傭ChatGPT這樣的員工？

王小川：對， 與其講醫(yī)院場景的雇傭，我更看好每個家庭，甚至每個人都開始擁有自己的一個私人的家庭醫(yī)生。

新皮層：如何解決它一本正經(jīng)胡說八道的問題，這個問題在醫(yī)療領(lǐng)域后果很嚴(yán)重？

王小川：我認(rèn)為今天的生成式模型只是剛剛開始，這個問題需要生成模型與信息檢索的合作，再加上大量的強(qiáng)化學(xué)習(xí)，是否能夠從強(qiáng)化學(xué)習(xí)里面把這個能力好？未來很多工作要去做。

沒必要用AGI元年的技術(shù)去判斷未來發(fā)展。我是非常樂觀的，再往下機(jī)器輔助醫(yī)生，甚至取代醫(yī)生是必然會發(fā)生的。

新皮層：很多公司已經(jīng)在競爭辦公領(lǐng)域，讓辦公工具更智能，你認(rèn)為有前景嗎？

王小川： 短期里面會有變化，讓機(jī)器寫文案或者輔助寫文案會十倍、百倍提高人的效率。但我看重的變化是在終局里面，為什么還要寫文案？人并沒有寫文案的需求，寫文案也不是創(chuàng)造力的一個核心。

新皮層：可能是他客戶的需求，他老板的需求？

王小川：對，所以往后發(fā)展，會有大量的這種寫文案的工作崗位會消亡， 會出現(xiàn)叫“端到端”的行業(yè)結(jié)構(gòu)，寫文案這種中間過程的企業(yè)會消亡。

新皮層：GPT現(xiàn)在看起來只是一個語言模型，它的能力邊界在哪里？比如未來它可以駕駛汽車嗎？

王小川：GPT非常大的價(jià)值是試圖讓機(jī)器掌握智能、掌握認(rèn)知。我們找到了一條通往AGI的道路，就是“大語言模型（Large Language Model, LLM）”。在此之前，做無人駕駛或做機(jī)器人都只是在做圖像處理，機(jī)器并沒有理解這些物體。

今天的大語言模型已經(jīng)被學(xué)界稱為“foundation model”——基礎(chǔ)模型。我們開始有種共識，未來不僅是做機(jī)器人，還是做無人駕駛，都會基于這個基礎(chǔ)大模型往上生長。這是我們第一次通過大模型找到了一條認(rèn)知世界的通路，這條通路可以成為解決其他更遠(yuǎn)期AI問題的基石。

新皮層：你看到的終局：AI醫(yī)生、AI教授、AI律師、甚至AI司機(jī)，大概是多久之后會發(fā)生的事？

王小川：我覺得這個時間不會很久，大概就3-5年吧。

新皮層：到時，商業(yè)模式會發(fā)生變化嗎？

王小川： 我們認(rèn)為免費(fèi)、羊毛出在豬身上的模式會慢慢被歷史淘汰掉。隨著機(jī)器越來越強(qiáng)大，它跟用戶的關(guān)系就變成一種伙伴，你很難說一個伙伴說陪伴你的時候是免費(fèi)的，我再從其他地方去賺錢。

用戶會更希望他的伙伴足夠忠誠、足夠?qū)I(yè)，能提供足夠有價(jià)值的服務(wù)，因此 商業(yè)模式方面未來很有可能是個人直接向產(chǎn)品付費(fèi)，而不是原來免費(fèi)的廣告模式。

新皮層：如果大模型未來變成很多公司都能掌握的技術(shù)呢？

王小川：比如做搜索，好像這東西誰都會做，但最后有幾家公司真的做成了搜索引擎？

新皮層：我們聽到兩種觀點(diǎn)，一種認(rèn)為未來的產(chǎn)業(yè)生態(tài)會是小部分公司開發(fā)大模型，大部分公司做下游的接口應(yīng)用；另一種觀點(diǎn)認(rèn)為，大語言模型會逐漸變成每家公司都能掌握的技術(shù)，類似上一個時代的推薦算法、圖像識別，很快競爭重心就會轉(zhuǎn)到對商業(yè)場景、產(chǎn)品形態(tài)的把握，而不是模型訓(xùn)練本身。

王小川：我認(rèn)為 開發(fā)大模型的公司未來不會特別多，而是掌握在少數(shù)幾個公司手上。因?yàn)榇竽Ｐ褪且粋€技術(shù)高度發(fā)達(dá)的東西，會有一定的技術(shù)擴(kuò)散，做一些更加簡易的小模型，在垂直場景里應(yīng)用，但這種可能性可能只占一半。

更有可能是一個大模型覆蓋很多小模型做的事情。所以我更相信未來的生態(tài)是由少數(shù)幾家大模型公司，再加上一些小模型的公司構(gòu)成的，而不是每家公司都掌握一個這樣的技術(shù)。這個技術(shù)不像圖像識別那樣簡單。

也蠻難有公司能夠既掌握大模型又掌握場景。OpenAI做到了，比如它的ChatGPT，就是蠻有想象空間的一個應(yīng)用。我周邊很多人已經(jīng)開始減少對搜索的使用。

當(dāng)下的競爭：誰先做出底層的大模型

新皮層：既要做模型，又要尋找應(yīng)用場景，先行者已有很多，你怎么排列工作的優(yōu)先級？

王小川：終局是一回事，當(dāng)下的主要矛盾是誰能做出底層的大模型，現(xiàn)在沒有哪一家能夠說自己離 OpenAI很近了。雖然國內(nèi)大廠也在發(fā)，但是離OpenAI的基礎(chǔ)大模型還有非常遠(yuǎn)的距離。沒有哪家廠商說能達(dá)到3.5的水平，更別說4，也沒哪家廠商能拿出一個與ChatGPT同等的產(chǎn)品。

所以今天討論說市場上會做出怎樣一些產(chǎn)品，我認(rèn)為更根本的問題還是今天誰能夠做到一個接近ChatGPT背后的基礎(chǔ)模型，以及背后擁有能夠追趕OpenAI的一個團(tuán)隊(duì)。 國內(nèi)大廠，百度也好，阿里也好，都在發(fā)布自己的大模型，但在團(tuán)隊(duì)能力上是否能夠離OpenAI越走越近，我們是質(zhì)疑的。

新皮層：外界普遍用算法、算力、語料這些角度來衡量AI項(xiàng)目能不能做成，你覺得這些衡量維度是對的嗎？

王小川：還是蠻機(jī)械的，最終是人去解決各種各樣的問題。討論算力、顯卡只是最簡單的盲人摸象般的拆解。

新皮層：如果不是這些維度，你覺得你現(xiàn)階段最有挑戰(zhàn)的事情是什么？

王小川：首先是團(tuán)隊(duì)本身是否是有機(jī)的，是否有使命、愿景，是否能把團(tuán)隊(duì)的能力打造起來，這是最核心的事。今天大家把這件事又變成了是否能把OpenAI里面最明星的人、做架構(gòu)的人、做算法的人給拉回來做拼盤，這種拼盤方式不是一個有機(jī)生命的做法。公司像生命一樣是演化出來的，不是拼起來的。更別說那些人愿不愿意回國。

新皮層：人的問題是通過努力招募可以解決的嗎？還是市場上能夠干這件事的人的總數(shù)就不夠？

王小川：如果你現(xiàn)在去一口氣要做GPT-5，那有這方面整個認(rèn)知的人才是不夠的。

新皮層：特別原創(chuàng)性的、能做算法創(chuàng)新的不夠？

王小川：原創(chuàng)性人才不夠。你要一步達(dá)到今天GPT-5的水平，這種人才特別缺乏，到美國去拉人是一種選擇。但另一種人才——對模型有足夠認(rèn)知的頂尖人才零星有一些，能夠從國外回來，會使我們比美國那邊的大模型能力只差半步。 現(xiàn)在我們可能還差一步、差兩步。差半步是我們的目標(biāo)，既不能說我們現(xiàn)在能夠立刻追上去，但也不至于說人家已經(jīng)完成了之后我們才剛開始在干。在這個目標(biāo)下，我們現(xiàn)在人才努力一下是有機(jī)會做到的。

新皮層：輿論認(rèn)為，中國公司現(xiàn)在能夠推出大模型，是因?yàn)閲忾_源了，比如Facebook的LLaMA，還有GPT-3之前的模型。那之后怎么辦？

王小川： 他們沒有開源。開源有兩個東西，一個是開它的參數(shù)，一個是開它的方法。Meta開的LLaMA模型只是把它的參數(shù)公開了出來，并沒有公開它的方法。國內(nèi)所有公司做的大模型，都是自己做的。

新皮層：所以它一定程度上還是黑盒，其他公司能不能做出來還是有風(fēng)險(xiǎn)的？

王小川：對。所以你需要在這里面有自己的探索，他們已經(jīng)公開的東西，我們可先學(xué)習(xí)，其他地方我們要去做各種探索。

新皮層：語料這個東西會是一個障礙嗎？尤其當(dāng)你需要做一個落地到特定場景的模型的時候？

王小川：我們首先還是做通用模型，然后逐步演化成垂直模型。所以前期并不需要有特定領(lǐng)域的獨(dú)有數(shù)據(jù)。語料在公開領(lǐng)域其實(shí)已經(jīng)足夠多了，讀萬卷書其實(shí)有很多語料可以用，難點(diǎn)是語料的治理，就是你選擇什么樣的數(shù)據(jù)，不選擇什么數(shù)據(jù)，這種數(shù)據(jù)的清洗過程更加困難。

新皮層：上一個AI時代，大家普遍認(rèn)為中國AI的競爭優(yōu)勢之一就是我們有數(shù)據(jù)，點(diǎn)外賣、打車、網(wǎng)絡(luò)購物，大模型需要的還是不是這種數(shù)據(jù)？

王小川：這是兩種不同的數(shù)據(jù)，一種是產(chǎn)品上線之后的用戶行為數(shù)據(jù)，一種是幾千年傳承下來的知識數(shù)據(jù)。今天做大模型的話，第一步先要把以前的知識給用起來，中國在這方面并沒有特別優(yōu)勢。等產(chǎn)品上線了，用戶的反饋數(shù)據(jù)可以用起來，這時候你才有優(yōu)勢，我們?nèi)烁?、場景更加豐富。但今天的主要矛盾還不在第二步，現(xiàn)在需要的數(shù)據(jù)還是對基礎(chǔ)人類文明產(chǎn)生作用的那些數(shù)據(jù)。

新皮層：你計(jì)劃在年中推出第一代模型，年底推出對標(biāo)GPT-3.5的模型，這個節(jié)奏會不會太快？OpenAI走這段路花了四五年。

王小川：原創(chuàng)確實(shí)會更難，但是當(dāng)你去追趕的時候，速度會快很多，尤其是它已經(jīng)有產(chǎn)品可以做參考去對標(biāo)的時候。追趕者會更加容易。

新皮層：所以并不是一個激進(jìn)的迫于競爭壓力做出的計(jì)劃？

王小川：不叫迫于壓力，但也不能說沒有這種緊迫感。該不該做到和可行性上能不能做到是兩個問題。

新皮層：按這個既定節(jié)奏，明年市場就會進(jìn)入新的競爭階段？會是對場景的競爭嗎？

王小川：我覺得是。如果3.5做到的話，主要矛盾就會轉(zhuǎn)移到對場景本身的理解了。一方面中國市場特別要求對場景的理解落地，甚至后面采用什么商業(yè)模式。你做到這一步才會更有機(jī)會去追GPT-4或者追GPT-5。OpenAI可以說場景我不關(guān)心，我就足夠努力去追求AGI就可以。

新皮層：從1到3.5，再到4，對于入場做大模型的公司而言，你認(rèn)為每一輪迭代大概會有多少的淘汰率？

王小川：我覺得不能用1到3.5到4這樣的方式來形容入場做大模型的公司的進(jìn)度，更應(yīng)該用做成與做不成來形容，而我覺得 最后做成的包含大廠與創(chuàng)業(yè)公司在內(nèi)，應(yīng)該就5家左右。

技術(shù)趨勢：

AGI只有GPT還不夠，還需要更多強(qiáng)化學(xué)習(xí)

新皮層：AI技術(shù)一直在迭代，GPT所基于的底層技術(shù)一定是AGI未來的發(fā)展方向嗎？

王小川：一定有非常多變化。今天GPT所基于的技術(shù)仍然有缺陷，不管它的通用性還是注意 機(jī)制都不完善，它會忘事，做很多事所需要的經(jīng)驗(yàn)它也不具有。所以今天GPT解決的問題是把人類已經(jīng)有的知識學(xué)習(xí)了，我們叫“讀萬卷書”。但是之前DeepMind，包括OpenAI都還開發(fā)了另外一條技術(shù)路徑，比如AlphaGo通過下圍棋變成了圍棋高手，AlphaGo成長到AlphaZero的時候，把以前人類教它的技術(shù)都扔掉了，兩個機(jī)器自己從零開始通過對弈學(xué)習(xí)下圍棋。這是大模型之外完全獨(dú)立的另外一條路徑，我們把他叫做“行萬里路”。

新皮層：一個是深度學(xué)習(xí)的路徑，一個是強(qiáng)化學(xué)習(xí)的路徑？

王小川：挺準(zhǔn)確的一個描述。 深度學(xué)習(xí)這條路徑可以讓AI學(xué)習(xí)已經(jīng)有的東西，強(qiáng)化學(xué)習(xí)可以讓AI從實(shí)踐結(jié)果里能學(xué)到新的東西。

新皮層：兩條路徑是可以嫁接起來的嗎？

王小川：從GPT-3到3. 5，其實(shí)已經(jīng)開始用強(qiáng)化學(xué)習(xí)了，它給GPT帶來了本質(zhì)的提升，所以在 GPT-4里面可能用得更多。

新皮層：在大模型變得更智能的過程中，強(qiáng)化學(xué)習(xí)的比重會變得更大？

王小川：對，我的預(yù)言是， 在未來強(qiáng)化學(xué)習(xí)的比重會大很多，今年可能是5%、10%或者20%，未來可能10倍、100倍的能力是靠強(qiáng)化學(xué)習(xí)得到的。

新皮層：如果未來是這個方向，你的團(tuán)隊(duì)中對訓(xùn)練機(jī)器做強(qiáng)化學(xué)習(xí)的人才的需求會變更大，而不是開發(fā)算法本身的人才？

王小川：今天已經(jīng)開始變成人訓(xùn)練機(jī)器了，怎么去寫著instruct，對吧。其實(shí)之前OpenAI做ChatGPT的時候，80個人工作了大概3個月，其中40個人是在做。未來可能不僅是模型公司的人教它，甚至可能把產(chǎn)品放到應(yīng)用市場，讓更多專業(yè)人士甚至用戶反饋來，就像一個人進(jìn)入社會，從實(shí)習(xí)生往上成長一樣，這個時代會到來。

新皮層：OpenAI雇傭了大量博士去把一對對QA寫下來，讓機(jī)器學(xué)習(xí)，這個工作量非常大。中國公司是否低估了這部分工作？

王小川：中國公司并沒有低 估這部分工作。恰好相反，我了解好多公司在生成這些QA的時候，其實(shí)是在利用ChatGPT生成的回答，把這些語料收集下來，作為老師，教自己的AI。所以中國公司好像沒有雇傭那么多人，但是這是跟進(jìn)者的一個快速學(xué)習(xí)方法。

新皮層：類似于當(dāng)時斯坦福大學(xué)的一位教授用Facebook大模型產(chǎn)生的數(shù)據(jù)去訓(xùn)練一個小AI嗎？

王小川：和AI訓(xùn)練AI是兩件事。他是拿一個基礎(chǔ)模型去生成一個小模型。不過你確實(shí)可以理解為，我們是嘗試用GPT的AI來訓(xùn)練我們的AI，這樣能加速我們的AI發(fā)展。

新皮層：2017年你接受采訪回應(yīng)《奇點(diǎn)臨近》那邊書提到的“奇點(diǎn)”（指人工智能的智能水平超過人類）概念時說，你認(rèn)為機(jī)器不會比人更聰明，現(xiàn)在你是不是已經(jīng)改變了這個觀點(diǎn)？對于奇點(diǎn)有何新判斷？

王小川：當(dāng)時我低估了技術(shù)本身的突破。所以用ChatGPT那一刻，我認(rèn)為我的想法是改變了的。對于奇點(diǎn)的到來，現(xiàn)在我覺得可能是在2033 年。

新皮層：為什么這么具體？

王小川：人工智能迭代的歷史上，第一波專家系統(tǒng)做了40年，學(xué)習(xí)系統(tǒng)做了20年，深度學(xué)習(xí)做了10年，時間成倍遞減，所以接下來有可能只需要5年，2.5年，1.25年，0.625年……人工智能就開始進(jìn)入新階段，這樣倒推的話，奇點(diǎn)到來的時間表就是2033年。這是一種美妙的假設(shè)，實(shí)際上到時候早了或者晚了也不是一個驚奇的事。但是基于技術(shù)增長加速，我們有這樣的預(yù)設(shè)。

新皮層：回到最初的問題，GPT對你之前好奇的關(guān)于生命相關(guān)的問題有些回答了嗎？

王小川：搜狗時期我就想知道，通過預(yù)測模型是否能夠建立強(qiáng)人工智能。當(dāng)時我想，如果能預(yù)測下一幀 視頻，是不是強(qiáng)人工智能就到來了？我當(dāng)時有這樣一個設(shè)想，這個時代其實(shí)提前到來了，基于對語言AI的巨大突破。這對我是種鼓舞。

另外，今天大模型建立的人工智能的方式仍然是對數(shù)據(jù)的暴力美學(xué)，這對于未來我們怎么理解數(shù)據(jù)、理解智能也會有挺大啟發(fā)。

新皮層：你想要建立生命的數(shù)學(xué)模型，GPT讓你覺得離這個問題有多近了？

王小川：就像無人駕駛一樣，這件事情更可行了。

新皮層：復(fù)雜理論中對智能的解釋是它是一種涌現(xiàn)，你覺得它回答問題了嗎？

王小川：還沒有回答，就好像說基因決定人，但基因怎么決定人？其實(shí)是不清楚的。

微信編輯| 馮一龍