奇績創(chuàng)壇創(chuàng)始人兼CEO陸奇。
“在大模型技術(shù)高速發(fā)展的時代,一個重要的趨勢是:我們每一個人,除非你有獨特的見解、獨特的認(rèn)知、獨特的問題解決能力,否則你能做的,大模型都可以做到?!逼婵儎?chuàng)壇創(chuàng)始人兼CEO陸奇認(rèn)為,“人的腦力勞動將以形成非常獨到的見解和發(fā)展獨特的認(rèn)知能力為主。這個時代的典型職業(yè)將是創(chuàng)業(yè)者、科學(xué)家和藝術(shù)家?!?/p>
5月7日,在奇績創(chuàng)壇舉辦的以《新范式 新時代 新機(jī)會》為主題的分享活動中,陸奇詳細(xì)分析了OpenAI的組織結(jié)構(gòu)革新,本次范式變化的本質(zhì),及其帶來的新時代特征,最后系統(tǒng)性分析了我們該如何把握好這個時代帶來的機(jī)會。
陸奇和ChatGPT的開發(fā)機(jī)構(gòu)OpenAI淵源深厚,他所創(chuàng)立的奇績創(chuàng)壇前身就是YC中國(美國著名創(chuàng)業(yè)孵化器Y Combinator的中國分支),而他當(dāng)時加入Y Combinator就是受到時任YC掌門人的山姆·奧特曼(Sam Altman,OpenAI CEO)的力邀。陸奇先后任職于IBM、雅虎、微軟、百度,曾任微軟全球執(zhí)行副總裁、百度集團(tuán)總裁兼首席運營官。
經(jīng)奇績創(chuàng)壇授權(quán),澎湃科技(.thepaper.cn)整理了陸奇在這個分享活動中的演講實錄,為方便閱讀,在不影響表達(dá)主旨的情況下做了刪減。
第一部分:新范式
當(dāng)前,我們正面臨一場非常大的技術(shù)變革,這是一場范式的變革,它展現(xiàn)出了一個全新的范式。
每次范式變革都帶來更多的機(jī)遇和挑戰(zhàn),因為它既要改變?nèi)藗冏鍪碌姆绞?,也要改變?nèi)藗兊乃伎挤绞健_@一次,范式的變革影響更廣、更深、更全面。
從數(shù)字化產(chǎn)業(yè)發(fā)展維度看新范式
從產(chǎn)業(yè)發(fā)展的維度來分析,這一次范式的變更帶來了哪些影響?“三位一體”是我們分析這次范式變革所用的穩(wěn)定的內(nèi)在結(jié)構(gòu)體系,它包括:1. 信息子系統(tǒng)(subsystem of information),體系必須從環(huán)境中獲得信息。2. 模型子系統(tǒng)(subsystem of model),用模型對信息進(jìn)行表達(dá)。它必須充分有效地表達(dá)信息,這種表達(dá)方式讓它可以做推理、做分析、做規(guī)劃。3. 行動子系統(tǒng)(subsystem of action) ,根據(jù)推理和規(guī)劃與環(huán)境互動,來達(dá)到這個復(fù)雜體系的目的。
第一個拐點:信息變得無處不在
在信息子系統(tǒng)這條線上有大量的公司,包括IBM、微軟,1995年至1996年間出現(xiàn)了一個大的拐點。這個拐點之后,信息系統(tǒng)呈爆發(fā)式增長,誕生了許多偉大的企業(yè),如谷歌、蘋果、亞馬遜等,世界因此而改變。為什么會有這個拐點?它背后的機(jī)制是什么?
信息系統(tǒng)的拐點,是信息的生產(chǎn)和獲取成本從邊際成本轉(zhuǎn)向固定成本。每次使用時的邊際成本越來越低,但是一次性投入越來越高,這是一個結(jié)構(gòu)性的變化。
我在卡內(nèi)基梅隆大學(xué)剛剛畢業(yè)時(1995、1996年左右),那個時候買一張地圖需要3美元,信息獲取成本曾經(jīng)相當(dāng)高。在今天,我要找一張地圖,網(wǎng)上搜索谷歌地圖不到300毫秒,谷歌花費的成本不到1美分,我可以免費獲得。而谷歌一年大約花了10億美元的固定成本才做到此。地圖是需要成本的,這個成本沒有消失,只不過有一系列的技術(shù)降低了獲取和分發(fā)地圖信息的成本,從每次都要付很多,變成(google地圖)一次性付很多。
谷歌使得地圖可以無處不在,其他大量的信息也無處不在,商業(yè)模式簡單,偉大的公司卻就此誕生了,以谷歌和蘋果為代表的移動互聯(lián)網(wǎng)時代和以亞馬遜為代表的云時代,都是一系列可以高度濃縮信息并分發(fā)信息的核心技術(shù)驅(qū)動的。
所以拐點出現(xiàn)的核心原因,是信息的獲取成本從邊際移向固定成本,使得信息變得無處不在。世界因此而變得扁平。
現(xiàn)在的拐點:模型將無處不在
現(xiàn)在我們看到2022年和2023年在模型子系統(tǒng)上,由OpenAI和微軟引領(lǐng),以及其他創(chuàng)業(yè)公司共同參與創(chuàng)造的拐點。這個拐點的背后是“模型”的成本發(fā)生了類似的結(jié)構(gòu)性變化,即模型成本從邊際成本發(fā)展為固定成本。這背后的原因是我們有一項新的基礎(chǔ)技術(shù)出現(xiàn)了,它叫大模型。
為什么模型的結(jié)構(gòu)性成本這么重要?
因為模型就是知識。我們做任何一件事情都需要知識,知識的力量是無窮的,相比于信息時代,模型的產(chǎn)能更強(qiáng)大,發(fā)展的速度一定會比過去更快。
另一方面,模型與每個人都有關(guān)。從我們的社會互動和社會產(chǎn)業(yè)價值角度來講,我們每個人都由以下三組模型組合而成:1. 認(rèn)知模型,我們能聽、能看、能說、能思考。2. 任務(wù)模型,我們每個人都能爬樓梯、剝番茄,做各種各樣的動作來完成任務(wù)。3. 領(lǐng)域模型,有些人是律師,有些人是醫(yī)生,有些人是科學(xué)家等等,我們?nèi)说纳鐣r值都是這些模型體現(xiàn)出來的。
另外,人類社會中每一件事情都由模型來表達(dá)和驅(qū)動。例如,要運營一家公司需要一組模型,包括戰(zhàn)略、營銷、研發(fā)等等;城市管理,需要一組模型;國家治理,也需要一組模型;每個社會層面需要解決的問題,都是由相應(yīng)的領(lǐng)域模型、任務(wù)模型和人組合完成的。
在大模型技術(shù)高速發(fā)展的時代,一個重要的趨勢是:我們每一個人,除非你有獨特的見解、獨特的認(rèn)知、獨特的問題解決能力,否則你能做的,大模型都可以做到。
這一次的拐點,它攀升的速度一定會比1995年、1996年還要快。模型將無處不在,知識將無處不在。今天我們打開手機(jī)、打開任何一個設(shè)備,信息過來了;以后打開任何一個設(shè)備,是模型過來了。醫(yī)生診斷是模型,律師服務(wù)是模型,設(shè)計師是模型,藝術(shù)家是模型,方方面面它都無處不在。
同時,一系列偉大的公司會因此誕生,他們將付出固定成本,他們將發(fā)明新的商業(yè)模式,最后我們整個產(chǎn)業(yè)+變革,產(chǎn)生新的世界。
這個拐點的發(fā)展只是時間問題,而且這個發(fā)展的時間會非常非??欤任覀兊南胂筮€快。
下一個拐點:行動將無處不在
基于三位一體的結(jié)構(gòu),我們可以自然地回答下一個拐點是什么,毫無疑問,下個拐點是行動系統(tǒng)。
今天的大模型時代是個生成模型,它能有效地控制操作各種設(shè)備;下一個拐點將是機(jī)器人、自動駕駛和空間計算的組合為基礎(chǔ)。今天采取行動的成本很高,但借助大模型的互動,未來采取行動與環(huán)境互動以滿足人的需求的成本將會越來越低,行動將無處不在。
要引領(lǐng)下一個拐點,特斯拉目前處在非常優(yōu)勢的地位,因為它在機(jī)器人技術(shù)、自動駕駛技術(shù)、人工智能技術(shù)方面的整體布局相當(dāng)完整。其他公司會不會參與下一波,搶占下一個拐點?我們拭目以待。
未來的可能:數(shù)字化技術(shù)和人類社會一起共同進(jìn)化
通過數(shù)字化三位一體的結(jié)構(gòu)性分析判斷,我們可以看清今天的新范式,它的終局是數(shù)字化技術(shù)將達(dá)到三位一體,與人類社會共同進(jìn)化,這一共同進(jìn)化從長期看,將帶來真正的智能系統(tǒng)。
真正意義上的智能系統(tǒng),必須具備四個核心環(huán)節(jié):第一,它能夠涌現(xiàn)(應(yīng)當(dāng)具備自我組織和自我優(yōu)化的能力,能夠在特定環(huán)境中自發(fā)地形成和調(diào)整結(jié)構(gòu),而非由某個中心控制器編程或設(shè)計)。第二,它有代理能力,能夠自主決策(它可以代表用戶或?qū)嶓w獨立地進(jìn)行決策和執(zhí)行任務(wù),而不僅僅是簡單地響應(yīng)外部指令)。第三,它功能可見,有 affordence(Affordence 是一種設(shè)計原則,強(qiáng)調(diào)讓用戶直觀地理解如何與產(chǎn)品或系統(tǒng)進(jìn)行交互)。第四,它是具象的(既有形象、直觀的表現(xiàn)形式,便于用戶理解、感知和操作)
從技術(shù)驅(qū)動人類發(fā)展的維度看新范式
接著,我們看這次范式變更的第二個維度:它在人類以技術(shù)驅(qū)動社會發(fā)展的進(jìn)程中扮演的多維度的重要角色。
科學(xué)范式進(jìn)入第四(第五)范式
上圖左下角(科學(xué)的范式)表達(dá)的是人類無盡地追求知識、能力和財富的過程。這一過程有要素:
第一是科學(xué)??茖W(xué)是解釋和預(yù)測現(xiàn)象??茖W(xué)發(fā)展從第一范式經(jīng)驗主義,到第二范式系統(tǒng)性地做實踐,再到第三范式大理論做模擬,第四范式數(shù)據(jù)驅(qū)動,第五范式數(shù)據(jù)加技術(shù)驅(qū)動。人類社會進(jìn)步最根本的生產(chǎn)力是科學(xué)的進(jìn)步,這次的技術(shù)變革直接驅(qū)動了新一代的科學(xué)發(fā)展范式??茖W(xué)高速進(jìn)入第四的數(shù)據(jù)驅(qū)動、第五的計算驅(qū)動即大模型驅(qū)動階段,這是這個新范式對人類發(fā)展結(jié)構(gòu)里的第一個根本影響。
第二是技術(shù)。技術(shù)的本質(zhì)是人基于科學(xué)開發(fā)的能力去改變自然現(xiàn)象,用信息轉(zhuǎn)化能源去滿足人的需求。
第三是經(jīng)濟(jì)。人類的經(jīng)濟(jì)發(fā)展體系是技術(shù)驅(qū)動的。技術(shù)驅(qū)動的社會經(jīng)濟(jì)發(fā)展到目前為止,只有三種大的模式,這三種模式都是信息和能源的組合決定的:農(nóng)業(yè)社會主要靠光合作用;工業(yè)社會靠化石能源加上機(jī)械設(shè)備、電氣設(shè)備,電子設(shè)備;數(shù)字化,用信息越來越有效地轉(zhuǎn)化能源。
數(shù)字化范式變更:加速數(shù)字化的能源轉(zhuǎn)化
圖中右下角指的是當(dāng)代技術(shù)驅(qū)動人類發(fā)展的體系。我們現(xiàn)在所處的是第三代,是數(shù)字化時代這條藍(lán)色的曲線。
這張圖表達(dá)了兩層含義:一方面,數(shù)字化時代根本意義上是用數(shù)字化、可編程的能力更有效地轉(zhuǎn)化能源;
另一方面,數(shù)字化是人的延伸,數(shù)字化是人自我的認(rèn)知和能力的延伸。
在這個時代,數(shù)字化是核心驅(qū)動力。這次數(shù)字化范式的變更,將直接驅(qū)動模型和行動體系,加速數(shù)字化轉(zhuǎn)化能源的能力。進(jìn)而,我們可以更有效地去改造世界,滿足人的需求。
人類改造世界范式變更:探索進(jìn)入更遠(yuǎn)更深更廣闊
要改造世界,滿足人的需求,有幾個組成部分:1. 我們需要能源,要轉(zhuǎn)化能源,要新的可持續(xù)的能源,用技術(shù)來驅(qū)動;2. 轉(zhuǎn)化能源只有兩條通路:一種是用生命體系來轉(zhuǎn)化,另一種是用物理體系轉(zhuǎn)化;相應(yīng)的,我們在高速發(fā)展新生命科學(xué)和新材料科學(xué);3. 能源轉(zhuǎn)化必須要有物理空間,我們在高速發(fā)展新空間技術(shù)去去創(chuàng)造價值。
整合在一起,我們可以看到的人類在認(rèn)識世界,改造世界,為我所用的路程,將直接和間接地被今天的新范式進(jìn)一步驅(qū)動。
經(jīng)濟(jì)發(fā)展范式變更:更多的企業(yè)成為科技公司
今天的經(jīng)濟(jì)核心生產(chǎn)力,基本還是以設(shè)備、勞工、資本、大眾商品、原材料、能源等。未來技術(shù)將越來越多地成為直接生產(chǎn)力,越來越多的企業(yè)將成為科技企業(yè)。
什么是科技企業(yè)?舉一個例子,為什么特斯拉是大家公認(rèn)的一家科技公司?科技公司與非科技公司的根本區(qū)別在于什么?
因為特斯拉用信息、用軟件、用人工智能,能源轉(zhuǎn)化效率越來越高,它每設(shè)計一個新的車子、每研發(fā)一個新的設(shè)置、每制造一個新的設(shè)備,效益都在越來越高。而老一代汽車企業(yè)它的核心生產(chǎn)力,還是以前的流水線、工人、設(shè)備等。本質(zhì)上,它讓“信息更有效地轉(zhuǎn)化能源”,讓技術(shù)驅(qū)動創(chuàng)新成為直接的生產(chǎn)力。
新范式的社會影響
很多人說這一次的變革堪比工業(yè)革命,本質(zhì)上是有道理的。我們不妨回顧下人類歷史的發(fā)展:
我們從農(nóng)業(yè)社會開始,發(fā)明了技術(shù):耕種、家畜等。這些技術(shù)給人帶來了一個重要價值,人可以定居,有家,有固定的發(fā)展環(huán)境。
工業(yè)革命對人的影響是巨大的,一方面解放了土地,另一方面釋放出了人的大量體力勞動。
信息時代讓人可以無處不在地獲得信息,進(jìn)一步減少人類的腦力和體力勞動。經(jīng)濟(jì)發(fā)展也從產(chǎn)品經(jīng)濟(jì)變成服務(wù)經(jīng)濟(jì),這個時代的典型職業(yè)是碼農(nóng)、設(shè)計師、分析師等。
這一次大模型時代的變革,也將形成新的社會關(guān)系。工業(yè)時代給了我們很多能力,封裝成鋼材、汽車、火車、設(shè)備,我們要用體力做的東西基本上都被替代了。而這次,我們有一系列的模型,它們也可以封裝成各種形式,各種各樣的設(shè)備,我們腦力要做的事情都可以讓它們來輔助,替代和提高。人的腦力勞動將以形成非常獨到的見解和發(fā)展獨特的認(rèn)知能力為主。這個時代的典型職業(yè)將是創(chuàng)業(yè)者、科學(xué)家和藝術(shù)家。
我在YC研究院和OpenAI做了一個項目UBI(通用基本收入:Universal Basic Income) ,它研究的問題就是:當(dāng)人們不需要為了謀生工作的時候,人們的驅(qū)動力和行為將會發(fā)生怎樣的變化。
我們可以想象的是,全新的價值體系將被建立。由于數(shù)字化的能力以及Web3.0的存在,在未來的時代里,信息觸手可及、人們自由移動、經(jīng)濟(jì)基礎(chǔ)改變,由此產(chǎn)生一個問題:人類會不會回到新一代的游牧?xí)r代?
新范式的締造者
范式帶來的挑戰(zhàn)和機(jī)會,就是適應(yīng)新的思考方法和新的實踐體系。我們?nèi)绾稳ジ玫匕芽剡@個機(jī)會?
這一次新范式的到來,不是水到渠成的,它是一個突變。
要了解OpenAI的歷史,必須要了解Sam。我跟Sam是在2005年在哈佛大學(xué)舉辦的YC成立儀式上認(rèn)識的,他是YC體系思路的繼承者和傳播者。2014年他接管了YC,成為YC的掌門人。
2016年他聯(lián)合創(chuàng)建OpenAI,他和他的團(tuán)隊核心人員代表了新一代特殊的組合能力,代表著可以推動這個范式進(jìn)一步往前發(fā)展的思考體系和執(zhí)行體系。
OpenAI的思考體系
他們的思考體系,有幾個重要的特征:第一,堅信未來,堅信通用智能一定會到來,任何人都擋不住Sam,他建立打造OpenAI的一切都不會讓任何人干預(yù)控制;OpenAI用最快速度實現(xiàn)AGI(通用人工智能)。第二,在技術(shù)上,他們相信兩個重要的點:一是模型只要足夠深,用無監(jiān)督學(xué)習(xí),用數(shù)據(jù)加上算力,用一個高效的訓(xùn)練體系,就能無止境地探索通用智能;二是強(qiáng)化學(xué)習(xí)或者增強(qiáng)學(xué)習(xí),這跟進(jìn)化在本質(zhì)上相關(guān),是模型能為人所用的核心。
他們堅信這兩點。早期做了大量強(qiáng)化學(xué)習(xí)方面的探索,等到他們強(qiáng)化學(xué)習(xí)已經(jīng)有一定基礎(chǔ)之后,就立馬把所有精力和資源聚焦在無監(jiān)督學(xué)習(xí)上。
OpenAI的執(zhí)行體系
新的能力:在團(tuán)隊能力上,他們堅信新一代的組織既要做前沿科研,又要做基礎(chǔ)工程研發(fā),還要開發(fā)平臺和產(chǎn)品及商業(yè)化。OpenAI 所代表的是全新的組織、全新的能力,他們所做的一切是要既能做科研、又能寫代碼、又能做產(chǎn)品,這些能力是分不開的。
新的組織:有一個重要關(guān)鍵要素是它需要融到大量的資本,長期要回歸社會,而且在實體結(jié)構(gòu)上實現(xiàn)任何投資者都不能影響你追求的目標(biāo)。
OpenAI不是一家公司,也不是合伙制,它是一種嶄新的新型組織。從長期來看,OpenAI的盈利結(jié)束之后,它所產(chǎn)生的一切都是社會公有的,它的頂層階段是一個Nonprofit(非盈利)。這是經(jīng)過深思熟慮之后,非常有勇氣堅持著一步步追求他們走的路徑,才能造成迄今7年后的突破。
Open AI的技術(shù)發(fā)展路徑
GPT-1是重要的第一步,預(yù)訓(xùn)練大模型,核心是通過自然語言處理和解決問題。自然語言處理通常包含多個任務(wù),傳統(tǒng)做法是每個任務(wù)去訓(xùn)練一個模型。OpenAI不這樣做,他們預(yù)訓(xùn)練一個大的模型,但是預(yù)訓(xùn)練的結(jié)果要和單獨做模型一樣好,甚至更好。GPT-1就做這個,做一次預(yù)訓(xùn)練,就能達(dá)到在多個自然語言任務(wù)上使用的目標(biāo),GPT-1的效果比單獨針對具體任務(wù)訓(xùn)練的模型還要好。
GPT-2是遷移,在預(yù)訓(xùn)練之后做微調(diào),可以把預(yù)訓(xùn)練中學(xué)到的東西,通過微調(diào)遷移到新的下游任務(wù)模型中。GPT-3是非常核心的一步,實現(xiàn)很強(qiáng)的泛化能力。在少樣本和0樣本情況下,GPT-3展現(xiàn)出強(qiáng)大的泛化能力,尤其是通過場景下學(xué)習(xí)(In-context-learning)和給定提示解決問題,無需微調(diào)。
Dalle-E,啟動圖像模態(tài)。
Codex,為編程語言微調(diào),引入模型重要的邏輯能力和長期用AI來開發(fā)AI的路徑。
GPT-3.5實現(xiàn)了根本性突破,引入了指令微調(diào)。人可以去寫指令,開啟了能讓模型全方位對齊的開發(fā)能力;它先用了代碼的指令Codex,而真正在產(chǎn)品上突破的是對話指令,就是讓它去學(xué)會人是怎么對話的,進(jìn)而誕生了ChatGPT。這是人類歷史上從來沒有發(fā)生過的成就:短短兩個月內(nèi)達(dá)到一億活躍用戶,用的人還越來越多,有很多愿意付費,這在歷史上前所未有。
GPT-4實現(xiàn)了完整的工程研發(fā)體系。
GPT-4之后,如ChatGPT、plugin(插件)等將全面建立產(chǎn)業(yè)生態(tài)。
從OpenAI的發(fā)展中我們可以看到:一個團(tuán)隊如果是在運用新的范式下的核心思考和實現(xiàn)體系,他們創(chuàng)新的能力將有多大?因此,在這個時代,深度解讀OpenAI的成長歷史,了解他們的思考實踐體系,對我們來說是有很大的意義的。
新范式的動力引擎
GPT模型體系,驅(qū)動新范式的動力引擎
在這個范式的背后,有組核心技術(shù),一個動力引擎在驅(qū)動著這個范式的進(jìn)展,它在本質(zhì)上就是GPT模型體系。
GPT是個模型系統(tǒng),這個大模型像一個黑洞一樣,把所有的模型都吸進(jìn)這個引擎里面去了。
第一,它能夠高效壓縮表達(dá)所有的人類關(guān)于世界的知識,尤其是文字或者其他模態(tài),比如圖片、視頻。
第二,它能持續(xù)提高泛化能力(涌現(xiàn),子概念空間等)。它能涌現(xiàn)。涌現(xiàn)是什么?在相同的模型架構(gòu)下,通過增加參數(shù)、Token或者延長訓(xùn)練時間,模型解決任務(wù)的能力會不斷演進(jìn)。例如,常識推理能力、算術(shù)能力以及針對特定任務(wù)的解決能力都會逐漸顯現(xiàn)。在GPT模型不斷提升規(guī)模的過程中,涌現(xiàn)現(xiàn)象持續(xù)發(fā)生,關(guān)于涌現(xiàn)的科研論文目前也非?;钴S。
模型的泛化能力至關(guān)重要:少樣本泛化和零樣本泛化(如從一個例子中推斷其他情況,甚至在沒有看過的情況下也能明白其中原理)。僅僅在概念層面進(jìn)行泛化是不夠的。GPT的泛化能力主要體現(xiàn)在潛在概念(latent concept)和子概念(subconcept)這個層面,并且其泛化能力在不斷增強(qiáng)。
第三,它的推理能力不斷地增強(qiáng)和被探索出來。人類基本上擁有六、七種主要的推理能力,包括演繹、知識歸納、常識等。在GPT大模型中,這些推理能力會不斷地通過諸如思維鏈(Chain of Thought)這樣的提示展現(xiàn)出來。
第四,它更有效更可延伸地對齊(自然語言,價值等)。GPT模型已經(jīng)幫助我們將世界上的大量信息(知識)進(jìn)行了壓縮,而我們使用它的過程就是實現(xiàn)對齊。GPT模型在對齊任務(wù)方面取得了顯著的成果。其突破性表現(xiàn)和增強(qiáng)學(xué)習(xí)方法在對齊方面表現(xiàn)突出,如自然語言理解和價值觀的對齊。
潛空間對齊:首先,對齊任務(wù)需要與人類潛空間保持一致。通過圖表、編程語言或自然語言使用大模型,都是實現(xiàn)對齊的手段。潛空間對齊本質(zhì)上涉及到大量的權(quán)重調(diào)整。
價值觀對齊:此外,為了善用大模型,還需要在價值觀方面達(dá)到對齊,確保使用它不會對社會造成負(fù)面影響。目前,GPT尚未達(dá)到主流社會可接受的價值觀水平,因此OpenAI需要進(jìn)行大量的價值觀對齊工作。
第五,它能足夠并持續(xù)地充分利用更多有效算力。尤其是Transformer,實際上它的模型架構(gòu)并不是最理想的。雖然能利用算力,但效率并不是特別高。模型過于密集,對算力和通信帶寬的要求很高。盡管如此,至少今天主流的算力還是可以被充分利用起來,從而帶來更大規(guī)模的模型和更多的涌現(xiàn)。
第六,它能用好充足的token/模態(tài)和有效的token化。目前我們的模型基本上能夠充分且有效地利用人類知識所能觸及的主要模態(tài),如語言、圖像、視頻等。這些模態(tài)都可以很好地被轉(zhuǎn)化為token,而經(jīng)過token化后,它們可以高效地融入到大型模型中。
第七,它能有效地參數(shù)擴(kuò)展:小型化,本地化。模型在不斷地高效擴(kuò)展,包括參數(shù)增加、(模型)層次加深以及在進(jìn)行推理時實現(xiàn)更好的平衡。模型可以實現(xiàn)小型化和本地化,通過各種架構(gòu)優(yōu)化,在數(shù)字設(shè)備端(如物聯(lián)網(wǎng)設(shè)備)上進(jìn)行使用。
第八,它能有效地擴(kuò)展任務(wù)領(lǐng)域和專業(yè)知識。模型具備系統(tǒng)性的擴(kuò)展能力,可以與符號求解器、工具接口和專業(yè)知識相結(jié)合。這些集成在一起,使得模型具備足夠的驅(qū)動力。
將這些能力相互疊加,我們看到了一個具備堅實基礎(chǔ)、高操作性和強(qiáng)大擴(kuò)展性的模型體系。它是這個時代背后的強(qiáng)大推動力,引領(lǐng)模型從邊際成本走向固定成本。
引擎發(fā)展當(dāng)下的四個要點
第一,核心維度過了拐點,全方位攀升。它幾乎封裝了全世界所有的知識;它內(nèi)嵌了足夠的學(xué)習(xí)能力和推理能力。本質(zhì)上所代表的是一個今天的斯坦福高材生,幾乎什么學(xué)科都懂,什么答案都可以考到前5% 。而且它學(xué)習(xí)速度非常快,不會累,可以永遠(yuǎn)不斷地思考,有大量的算力可以用。它還是自然語言界面,每個人都能用,每個人都能夠得到價值。它的能力越來越強(qiáng),能解決的任務(wù)越來越多。并且,它的成本在變得越來越低。
第二,自然語言(NL)是突破的關(guān)鍵。通向通用智能,OpenAI 走了一條反共識的道路。在OpenAI之外,特別是四—五年前,幾乎所有人都認(rèn)為通用智能的發(fā)展路徑與動物智能相一致。動物智能向通用智能演變的過程先從視覺開始,通過視覺識別目標(biāo)、學(xué)會推理,然后逐步形成符號,再發(fā)展為語言(先有口語,后有書面語言),最終形成像人類一樣的完整知識體系。然而,OpenAI采用了相反的做法,它不是從視覺開始,而是從語言出發(fā),去構(gòu)建通用模型能力。
在我看來,語言是一個特殊的潛在認(rèn)知空間,是人類與物理世界之間最寬泛、最重要的橋梁。從根本上講,它更多是一種泛化和思考工具,而溝通只是副產(chǎn)品。沒有語言,我們無法實現(xiàn)零樣本泛化,而這種泛化能力正是最關(guān)鍵的。
在自然語言處理領(lǐng)域,我參與搜索引擎相關(guān)工作已有20多年,我認(rèn)為歷史上一直存在一個誤區(qū)。傳統(tǒng)自然語言處理方法缺乏可行性,因為系統(tǒng)需要首先分析句子的各個成分,分析它是一個動詞、名詞或形容詞等,但問題關(guān)鍵在于,這個詞代表什么,是一部電影還是一個游樂場,這是需要以知識的理解和獲取為基礎(chǔ)的。因此,如果沒有全球范圍內(nèi)的知識,從根本上無法處理語言。OpenAI采用了一種新方法。它利用GPT封裝了世界上絕大多數(shù)知識,以此為基礎(chǔ),先構(gòu)建一個知識引擎,再通過對話進(jìn)行調(diào)試,從而實現(xiàn)自然語言處理。這與過去十幾年采用的方法截然相反。有了知識,它不僅能處理語言,還可以利用知識約束語言解釋的空間。這種變化在某種意義上是從知識開始理解語言,而非在理解語言后獲取知識。
自然語言處理現(xiàn)已突破了門檻,開辟了一種全新的人與數(shù)字世界的交互方式,為我們帶來了一種有效且適用于任何場景的交互工具。
第三,可見和可持續(xù)的技術(shù)發(fā)展。右上角是關(guān)于這個引擎如何持續(xù)地將范式向前推進(jìn)。首先,在模型方面,需要解決模型的魯棒性、模型稀疏化,擴(kuò)展注意力寬度,甚至形成注意力循環(huán)等。同時,需要更強(qiáng)的推理能力、更多的涌現(xiàn)、更強(qiáng)的潛在概念和子概念泛化,融合和統(tǒng)一符號運算與重疊向量堆疊體系,以及因果關(guān)系推理等。
其次,需進(jìn)一步對齊,包括價值觀對齊和拓展更多潛在空間。同時,還需要研究更多模態(tài),特別是跨模態(tài)的圖像和視頻??缒B(tài)推理(從視覺模態(tài)學(xué)習(xí)推理,將其擴(kuò)展到語言模態(tài)),語言模態(tài)中學(xué)到的泛化能力,無論是零樣本、多樣本還是少樣本,都可以擴(kuò)展到圖像模態(tài)。
最后,覆蓋更多領(lǐng)域和應(yīng)用,提高模型的擴(kuò)展性和適應(yīng)性,加強(qiáng)工程實踐?;A(chǔ)算力、通信系統(tǒng)、設(shè)施工具等方面的研究也在快速推進(jìn)。綜合起來,這個引擎的能力將越來越強(qiáng)大。
第四,發(fā)展飛輪雛形啟動。這個動力引擎的增長飛輪已經(jīng)形成雛形。資本已經(jīng)開始大量投入,商業(yè)模式盈利也已經(jīng)具備初步的可行性,政府和產(chǎn)業(yè)界已經(jīng)投入大量的算力,新的平臺、新的應(yīng)用、新的商業(yè)模式開始大量出現(xiàn),越來越多初創(chuàng)公司和大廠參與的生態(tài)開始形成。每個人的生產(chǎn)力都在提高,它的安全問題、社會認(rèn)可度也都在被積極地解決。
新范式的演化路徑:進(jìn)化體系新物種
大模型為人類技術(shù)發(fā)展開辟了新篇章,是技術(shù)世界中的全新物種。
技術(shù)的本質(zhì)和內(nèi)在規(guī)律:進(jìn)化
著名作者、復(fù)雜學(xué)體系W.Brian Arthur寫過一本書叫《技術(shù)的本質(zhì)》。書中主要的觀點,是技術(shù)發(fā)展具有進(jìn)化性,它的進(jìn)化與達(dá)爾文進(jìn)化理論非常類似,同樣涉及結(jié)構(gòu)、功能組合和選擇,會朝著更符合人類需求更多的方向發(fā)展。
從某種程度上來說,進(jìn)化并不意味著越來越強(qiáng),而是變得越來越適應(yīng)。而技術(shù)的進(jìn)化是向人類需求多的方向做選擇的。
大模型的進(jìn)化方向:更好地滿足人類的發(fā)展需求
大模型的發(fā)展方向,呈現(xiàn)出類似達(dá)爾文進(jìn)化論的進(jìn)化特點,即滿足人類不斷變化的需求。
大模型有很多基礎(chǔ)模型,有不同的基礎(chǔ)模態(tài),比如蛋白、核酸、空間等不同模態(tài);在大模型的基礎(chǔ)之上,會演化出更多的模型,領(lǐng)域模型、工作模型、個人模型,它們都將會具有更強(qiáng)的記憶、推理等能力。
關(guān)注大模型時代,有兩種模型系統(tǒng),是我思考比較多的:第一種是機(jī)器學(xué)習(xí)的模型(目前以系統(tǒng)1為主),今天大模型世界做推理的基礎(chǔ),基本上以系統(tǒng)1為主。相當(dāng)于人類思考方式中的快思考、直覺反應(yīng)??梢越鉀Q生活中方方面面的問題。它是過程性的、可計算的,具有場景化的特點,當(dāng)場景發(fā)生變化時,模型也會相應(yīng)地調(diào)整,具有很強(qiáng)的可擴(kuò)展性和易用性。優(yōu)點是,它能夠在特定的場景中進(jìn)行對齊和泛化,但可能在其他領(lǐng)域并不適用;
第二種是人類建立的模型(基本以系統(tǒng)2為主),人建立的模型,是基于人類專業(yè)知識建立的模型,相當(dāng)于思考方式中的慢思考、邏輯推理,包括了像愛因斯坦理論和牛頓理論這樣的科學(xué)理論、符號、結(jié)構(gòu)、知識圖譜和數(shù)學(xué)公式等。這類模型的優(yōu)點是,在專業(yè)領(lǐng)域具有很強(qiáng)的泛化能力,因為它們是基于專業(yè)知識和理論構(gòu)建的。然而,它與我們生活的方方面面聯(lián)系很少,無法直接解釋一些日?,F(xiàn)象,例如樹葉的形狀、貓咪的顏色等。
我們真正的需求,是這兩種模型之間的組合。當(dāng)遇到一些關(guān)鍵問題,需要通過系統(tǒng)化方法進(jìn)行邏輯分析、推理和嚴(yán)謹(jǐn)論證;同時,我們也有大量需求,并不需要進(jìn)行深入分析,只需要直觀快速反應(yīng)。當(dāng)大模型和人類建立的模型結(jié)合起來,就能更好地解決人們的需求和問題。我們看到的發(fā)展趨勢是,系統(tǒng)1和系統(tǒng)2已經(jīng)有越來越多的整合,朝著更好的滿足人類需求的方向演進(jìn)。
大模型的進(jìn)化類比:進(jìn)化樹和寒武紀(jì)
右上角這張圖,展示了可開源的大模型的進(jìn)化樹。借助這個初步的進(jìn)化樹,可以追溯到模型的源頭、觀察模型的能力,以及預(yù)測模型的未來發(fā)展??梢钥吹?,進(jìn)化已經(jīng)發(fā)生,一代代的模型在演變。
模型的生態(tài),在某種程度上與我們的生物體系非常相似,如果關(guān)注學(xué)術(shù)論文和GitHub,就會發(fā)現(xiàn)這個新物種剛剛誕生,幾乎每天都有新的演化出來的模型,大量新的子物種在不斷涌現(xiàn)。就像生物界的“寒武紀(jì)”時代:大量物種開始出現(xiàn),開啟新的紀(jì)元。
第二部分:新時代
產(chǎn)業(yè)發(fā)展的擴(kuò)散結(jié)構(gòu)與體系
為了更深入地理解這次變革,我們將從以下三個層面,來解析產(chǎn)業(yè)發(fā)展的擴(kuò)散結(jié)構(gòu)與體系,并討論這些變化如何在地理、社會、經(jīng)濟(jì)等層面上進(jìn)行分布擴(kuò)散。
擴(kuò)散源頭:從傳統(tǒng)的獨立組織形態(tài),轉(zhuǎn)變?yōu)槿诋a(chǎn)學(xué)研為一體的高效生態(tài)
要實現(xiàn)從源頭、在前沿的擴(kuò)散,需要同時具備以下三個條件:第一,具備自主前沿原創(chuàng)性科研的能力,通過科研解決核心算法的完全原創(chuàng)性的問題;第二,進(jìn)行大量系統(tǒng)研發(fā)和工程開發(fā),能迅速將科研成果以高質(zhì)量代碼的形式實現(xiàn);第三,具備開發(fā)技術(shù)平臺、研發(fā)產(chǎn)品、推進(jìn)商業(yè)化的能力,以形成產(chǎn)業(yè)生態(tài)系統(tǒng),進(jìn)一步驅(qū)動上述第一個條件中所描述的科研。這三點,正是OpenAI為代表的新型組織所實現(xiàn)的。組織形態(tài)上,OpenAI同時涵蓋了以上3個領(lǐng)域,集產(chǎn)學(xué)研于一體。
還有一點不同的是,在過去的擴(kuò)散過程中,政府一般都是后來才參與進(jìn)來的,但這一次,政府很早就進(jìn)來參與了。因為這個范式變更的特殊性,需要政府更早更有效的參與。
擴(kuò)散范圍:北美中國為主,深入個人
從全球范圍來看,這次擴(kuò)散以北美為主,中國緊隨其后。以前的技術(shù)創(chuàng)新擴(kuò)散,都是在北美擴(kuò)散到了一定成熟度之后,再到其他地域,這一次,中國在快速追趕的同時,也將經(jīng)歷早期適合中國國情的擴(kuò)散過程。與此同時,這次技術(shù)創(chuàng)新的影響范圍會深入到個人層面。
AI工具幫助單個創(chuàng)業(yè)者或小型團(tuán)隊提高產(chǎn)能、創(chuàng)造價值。一些產(chǎn)品不再需要雇人,AI可以進(jìn)行替代。像設(shè)計者、碼農(nóng)、科學(xué)家、企業(yè)家、創(chuàng)業(yè)者,有許多都在用Copilot等工具提升個人產(chǎn)能。
而這次創(chuàng)新,帶來的是提升人類認(rèn)知能力的工具。它會進(jìn)一步拉開人與人之間的距離:那些聰明、勤奮、努力,并且學(xué)會用這個工具的人,將快速超過原來同一水平、但不使用這類工具的人。
擴(kuò)散過程:不是創(chuàng)新技術(shù)的發(fā)展,而是技術(shù)驅(qū)動社會經(jīng)濟(jì)的轉(zhuǎn)變
在前文中,我們提到有些變革可能并未涉及范式的改變,而只是與新技術(shù)的出現(xiàn)有關(guān)。描述新技術(shù)生命周期時,人們常用的經(jīng)典理論是The Hype Cycle(技術(shù)成熟度曲線)。然而,在這次變革中,我們認(rèn)為它是一次徹底的范式改變,影響著整個社會和經(jīng)濟(jì)的長期發(fā)展,這種情況下,Carlota Perez(《技術(shù)革命與金融資本》作者)的Techno-Economic Paradigms(技術(shù)經(jīng)濟(jì)范式)理論更為適用。
根據(jù)她的理論,若有一項技術(shù),如冶金、高速公路、汽車等,能夠影響每個人和整個社會,它的發(fā)展將以80年為周期,分為四個階段:爆發(fā)階段、狂熱階段、協(xié)同階段和成熟階段。大模型時代目前還處于早期階段,經(jīng)過高速增長之后,泡沫破裂將是必然現(xiàn)象。然而,在泡沫破裂之后,新的黎明將降臨。屆時,新一代更強(qiáng)大的企業(yè)將從破碎的泡沫中崛起,占據(jù)產(chǎn)業(yè)制高點,開創(chuàng)一個嶄新的時代。
OpenAI生態(tài)快速形成
這一次產(chǎn)業(yè)發(fā)展的格局跑在最前面的,起關(guān)鍵作用的是新一代的數(shù)字化產(chǎn)業(yè),它的生態(tài)是由OpenAI來驅(qū)動的,呈現(xiàn)了兩個特點:生態(tài)結(jié)構(gòu)迅速形成,且高速發(fā)展;生態(tài)結(jié)構(gòu)類似過去的數(shù)字化平臺,包括前臺和后臺。
后臺是GPT-N 系列,目前為GPT-4,未來將有GPT-5、GPT-6等。它內(nèi)部有大模型引擎,封裝了豐富的知識推理規(guī)劃能力,具有較強(qiáng)的開發(fā)和擴(kuò)展性。OpenAI提供Foundry和PlayGround等,包含API(應(yīng)用程序編程接口)和簡潔的收費模式。同時,許多第三方基于OpenAI后端開發(fā)服務(wù)和應(yīng)用。
前臺是ChatGPT。ChatGPT提供完整的用戶體驗,適用于所有人,解決各類問題。這是人類歷史上首個真正實用的自然語言處理工具,具有足夠的靈活性和內(nèi)置知識。
它的前臺具有生態(tài)擴(kuò)展性,即“ChatGPT 插件 ”,OpenAI已經(jīng)開發(fā)了多個插件,如Code、interpret等,具備成為未來“殺手級”應(yīng)用的潛力。大量第三方將使用插件開發(fā)前端應(yīng)用。
在OpenAI平臺之上,已經(jīng)出現(xiàn)早期產(chǎn)業(yè)活躍發(fā)展,形成了一些初步的熱門領(lǐng)域。
開發(fā)堆棧雛形高速發(fā)展
歷史上的生態(tài)發(fā)展一直是“得開發(fā)者得天下”。開發(fā)者工具、界面、開發(fā)者生態(tài),永遠(yuǎn)是“兵家必爭之地”。毫無疑問,OpenAI、微軟都意識到了開發(fā)堆棧的重要性。幾乎每天都有大量新技術(shù)新服務(wù),幾乎每周都要重要的開發(fā)框架和工具出現(xiàn)。
我們把這一頁分成兩大板塊:左邊是模型開發(fā);右邊是應(yīng)用開發(fā)。
模型開發(fā)分為幾個大模塊:關(guān)于大模型本身的開發(fā),目前開發(fā)體系已初步成型,但通常以大模型團(tuán)隊的自主研發(fā)為主;關(guān)于垂直和領(lǐng)域模型的開發(fā);輕量的模型,體量小、算力要求低,適用于端側(cè)設(shè)備,如手機(jī)、智能音箱和未來的lOT設(shè)備上;開源模型開發(fā),這對降低創(chuàng)新門檻,產(chǎn)業(yè)能健康發(fā)展有很重要意義。
應(yīng)用開發(fā)也分幾個大的板塊:關(guān)于快速形成的“開發(fā)的工具和工具鏈”;關(guān)于開發(fā)對象,具體是開發(fā)的運行時和其他資源。
經(jīng)濟(jì)發(fā)展格局
全面強(qiáng)勁的經(jīng)濟(jì)發(fā)展驅(qū)動力
在此次經(jīng)濟(jì)發(fā)展格局中,早期的上升速度將非常迅猛,發(fā)展動力也將格外強(qiáng)大,這與以往的情況截然不同。
那么,為什么它的攀升速度如此之快,發(fā)展力度如此之強(qiáng)呢?關(guān)鍵在于,這一次變革所觸及的生產(chǎn)力正是“知識”。作為生產(chǎn)要素中至關(guān)重要的部分,知識的潛能是無限的。
在大模型時代,知識這一生產(chǎn)力得到了系統(tǒng)性的改變:首先,新范式普遍降低了各類知識的成本。其次,新范式提升了知識的應(yīng)用能力,尤其是在知識密集型行業(yè),如醫(yī)療領(lǐng)域、科研領(lǐng)域等。醫(yī)生、護(hù)士等專業(yè)崗位都受到專業(yè)模型的幫助,不僅成本可以降低,相關(guān)產(chǎn)業(yè)的生產(chǎn)力還會極大地提升。再者,新范式縮短了產(chǎn)生知識的迭代周期。將這三個要素綜合考慮,新范式驅(qū)動的經(jīng)濟(jì)發(fā)展將呈現(xiàn)前所未有的速度和力度。
對職業(yè)的結(jié)構(gòu)性影響
它將影響人類的每一個職業(yè),因為人類的每一個職業(yè),本質(zhì)上都是模型的組合。
可以預(yù)測的是,每一個職業(yè)的人,都會開始用“副駕駛員(Copilot)”,當(dāng)副駕駛員能力越來越強(qiáng),它會變成“正駕駛員(Autopilot)”,再接著,我們都將會有一個 “駕駛團(tuán)隊 (Copilot team)”。無論我們到哪兒,都有各類“駕駛員”跟著我們走。
人們之間的合作,變成人與人之間、人們的“駕駛員”之間的協(xié)作。新的職業(yè)會出現(xiàn),人們的工作崗位也會隨之發(fā)生變化。
更強(qiáng)大更活躍的數(shù)字化產(chǎn)業(yè)
在這次變革中,處于前沿的將是下一代數(shù)字化產(chǎn)業(yè)。數(shù)字化作為人類活動的延伸,新的商業(yè)價值創(chuàng)造必然從數(shù)字化產(chǎn)業(yè)開始。
我們將擁有全新的核心技術(shù)堆棧、新的平臺、新的基礎(chǔ)設(shè)施、新的算力體系、新的通訊體系以及新的產(chǎn)品開發(fā)體系。以大模型為核心,整個數(shù)字化產(chǎn)業(yè)將全面升級和刷新,迅速邁入下一個發(fā)展階段。新的領(lǐng)軍者和落伍者將很快浮現(xiàn)出來。
各個行業(yè)系統(tǒng)性的變遷
新的數(shù)字化產(chǎn)業(yè),會讓每個行業(yè)都根據(jù)這個行業(yè)的特性做出結(jié)構(gòu)性的調(diào)整和轉(zhuǎn)型。
假如你是一個公司的CEO,可以對比人工和模型的成本,用大模型技術(shù)做系統(tǒng)性的重構(gòu)和調(diào)優(yōu),把成本降低,把產(chǎn)能提高。
值得注意的是,現(xiàn)在GPT是基礎(chǔ)設(shè)施,隨著它從邊際成本轉(zhuǎn)移到固定成本,可以從成本的變化,看看這個產(chǎn)業(yè)怎么變。
同時,有的行業(yè)供需在發(fā)生變化,比如軟件的需求,受到碼農(nóng)供給的影響,如果關(guān)注大模型時代對碼農(nóng)的產(chǎn)出提高多少倍,就可以借助它預(yù)測這個行業(yè)的結(jié)構(gòu)性變革將從哪個方向發(fā)展,以及以什么樣的速度來發(fā)展。
對市場和社會的長期影響
它深刻地影響了人類社會最基本的生產(chǎn)力:人。
教育領(lǐng)域?qū)⒔?jīng)歷根本性的變革;人力資源的發(fā)展和配置也將改變并加速;作為人類首要驅(qū)動力的科研領(lǐng)域也將受到本質(zhì)性的影響,因為它將引發(fā)科研的新范式;社會組織和信息傳播同樣會受到影響;政府與社會監(jiān)管方式也將隨之改變。
政府的更多參與
政府的參與更早、更活躍、維度更多。從OpenAI的發(fā)展上,能看到政府極早地從多個維度參與了其中,如監(jiān)管、安全、數(shù)據(jù)隱私、社會穩(wěn)定等。究其原因,是因為這次變革,從根本性上影響了生產(chǎn)力和生產(chǎn)關(guān)系。在早期,尤其需要社會產(chǎn)業(yè)和政府做更多的互動,扶持和引導(dǎo)基礎(chǔ)設(shè)施進(jìn)入全球性的發(fā)展。
新產(chǎn)業(yè)發(fā)展不斷加速(海外)
圖中展示了近5個月內(nèi)我們關(guān)注到的新代碼、新技術(shù)、新論文、新產(chǎn)品和新投資,我們做了簡單的計算和統(tǒng)計,并將曲線繪制出來。
首先是論文數(shù)量,對于這次新產(chǎn)業(yè)的發(fā)展,關(guān)注論文是必要條件。同時,我們還需關(guān)注產(chǎn)品、資本投入和應(yīng)用案例等方面。
新產(chǎn)業(yè)發(fā)展不斷加速(中國)
關(guān)于中國,我們現(xiàn)在的活躍度越來越高,我們在追趕,但是整體數(shù)量跟國外比還是有相當(dāng)大的差距。
上圖標(biāo)了紅色框的是一個重要的點,“奮起直追的團(tuán)隊”,有商湯、王慧文、李開復(fù)、阿里、百度等等,匯總在一起,能反映出中國產(chǎn)業(yè)發(fā)展快速攀升、不斷加速的狀態(tài)。
中國發(fā)展機(jī)會
在大模型時代,有一個特殊的現(xiàn)象:真正能做大模型的,全球范圍內(nèi),只有兩個國家和地區(qū)具備這個產(chǎn)業(yè)核心的能力,北美和中國。
要實現(xiàn)這個目標(biāo),需要足夠大的人才、資本、技術(shù)和市場規(guī)模及密度,中國和美國是全球唯二的有機(jī)會的地方,長期機(jī)會非常大,但是今天,我們必須是奮起直追。
全球唯二,奮起直追
中國大模型追趕有環(huán)節(jié):第一是打造基礎(chǔ)模型,是攀升至GPT-3.5。這里每個團(tuán)隊需要自建一個模型開發(fā)體系,包括算力、語料、數(shù)據(jù)、評估等開源工具和系統(tǒng);同時這個團(tuán)隊還有打造基礎(chǔ)設(shè)施,尤其是將幾千張和幾萬張卡連在一起的網(wǎng)絡(luò)算力,如基于RDMA(直接訪問GPU內(nèi)存)和RoCE(基于 InfiniBand 的網(wǎng)絡(luò)無法將數(shù)萬張卡連在一起);關(guān)鍵是能持續(xù)穩(wěn)定的攀升GPT-3.5,我們認(rèn)為誰先達(dá)到GPT-3.5,誰將能進(jìn)入第一梯隊。
第二是要打造模型產(chǎn)業(yè)化的能力。攀升至GPT-3.5水平后,要開發(fā)產(chǎn)業(yè)化能力,這里主要是具備足夠的指令調(diào)優(yōu)和對齊研發(fā)的能力。需要對代碼做指令調(diào)試,它是提高模型邏輯能力和團(tuán)隊用 AI 來開發(fā)的關(guān)鍵;在對齊上,要基于RLHF (Reinforcement Learning from Human Feedback)正向?qū)W習(xí),結(jié)合人類反饋與自然語言對話對齊,與人的價值觀對齊。有了這些,就具備了中國的ChatGPT的能力。
第三是平臺開發(fā)和生態(tài)建立。后臺打造API等相對來說比較直接;前臺需要開發(fā)推廣ChatGPT和plugin等;早期可以用簡單的商業(yè)模型搭建起來,這就足以成為未來的平臺和生態(tài)的制高點??偨Y(jié)一下,打造基礎(chǔ)模型、模型產(chǎn)業(yè)化能力和平臺及生態(tài)開發(fā)推廣能力,是早期中國攀升GPT-3.5的核心要素。
算力資源競賽
中國目前在追趕GPT3.5的團(tuán)隊約有10個左右,算力將在未來贏家和產(chǎn)業(yè)發(fā)展格局的形成中起到關(guān)鍵作用。年底前看誰能到達(dá)3.5,能擁有或持續(xù)獲取算力是非常重要的。
我們所了解到的預(yù)估,是中國約有20萬張A100卡。今天國際頭部大模型團(tuán)隊可能需要用1萬張H100(約10萬A100)。而目前的算力情況來看,國內(nèi)未來能有這樣資源體量的團(tuán)隊可能不超過2個。
產(chǎn)業(yè)發(fā)展,齊頭并進(jìn)
第一,在追趕的過程當(dāng)中,資本投入和創(chuàng)業(yè)公司將扮演一個重要的角色,目前已經(jīng)有多個擁有足夠?qū)嵙唾Y金儲備的團(tuán)隊。早期挑戰(zhàn)很大,長期發(fā)展機(jī)會非常強(qiáng)。
第二,中國的大廠百度、阿里、騰訊等都投入了足夠的研發(fā)能力和開發(fā)資源,一起參與打造GPT,大廠在追趕期是有一定優(yōu)勢的,比如資源等。
第三,中國在追趕的過程中有額外的挑戰(zhàn),我們在算力方面有大量的工作要做,要補齊在算力上的限制,比如在算法和數(shù)據(jù)方面探索更多的潛力,在產(chǎn)業(yè)發(fā)展上,雖然算力是一個短期的挑戰(zhàn),但是中長期的機(jī)會就是中國自己做算力了。在中國做這個產(chǎn)業(yè)發(fā)展有更多的兩個不確定性,一個不確定性是算力的不確定性,但長期是個機(jī)會;另外是軟件棧的不確定性,這也是中國自建的一個機(jī)會。
第四,中國的產(chǎn)業(yè)發(fā)展有越來越多國際化的機(jī)會,因為其他國家和地區(qū)是沒有能力獨立去自研的,比如東南亞、阿拉伯世界、非洲、南美,甚至于歐洲等,中國的大模型都有能力去觸達(dá)它。
最后,中國的應(yīng)用生態(tài)在中期和長期的發(fā)展空間是相當(dāng)寬廣的,早期已經(jīng)有很多中國的創(chuàng)業(yè)公司和大廠開始在準(zhǔn)備開發(fā)基于大模型的應(yīng)用。在國際化層面,中國的創(chuàng)業(yè)者在早期也有去北美的機(jī)會,尤其是做相對來講敏感度不是很強(qiáng)的,比如企業(yè)應(yīng)用客服等,這些中國的創(chuàng)業(yè)者都有更寬的機(jī)會,既可以在中國做,也可以在美國做,或者是在其他國家做。
全球化的創(chuàng)業(yè)機(jī)會
每個人都會有Copilot,每個人都會有Autopilot,每個人長期下來都會有副駕駛員的團(tuán)隊,人類的組織形式也會因此發(fā)生相應(yīng)變化。綜合在一起,每個職業(yè)的產(chǎn)能都將極大地提高。
OpenAI分析,19%的勞動力將會被GPT影響至少50%。高盛研究,全球范圍3億人的工作將被AI自動化,80%的美國勞動力會被GPT影響至少10%。
基于對一些創(chuàng)業(yè)公司使用大模型的初步調(diào)研,我們發(fā)現(xiàn),其中超過77%的公司使用的是OpenAI的接口(其中GPT-4占21%,GPT-3.5占46%);基于開源模型自研和使用Stable Diffusion的公司,各占3%。
國家引導(dǎo)
由于大模型的技術(shù)和它產(chǎn)業(yè)發(fā)展的本質(zhì),需要規(guī)模大和時間周期長的投入和布局。在基礎(chǔ)設(shè)施層面,國家有機(jī)會起更大的作用,做出更多政策上面的引導(dǎo)。
尤其在一些特定領(lǐng)域,中國有彎道超車的機(jī)會,比如說在醫(yī)療、生命科學(xué)、數(shù)字城市這些賽道,用大模型來驅(qū)動創(chuàng)新,中國有獨特的優(yōu)勢。
同時由于大模型對產(chǎn)業(yè)和社會的特殊影響,國家也會做出多個維度的監(jiān)管治理。
社會影響
大模型對生產(chǎn)關(guān)系和社會關(guān)系有本質(zhì)性的長期的影響。
首先對于教育而言,社會影響跟國外一樣大。教育非常重要,過去在全球競爭格局當(dāng)中,中國的學(xué)生體量大,中國的碼農(nóng)多,中國學(xué)科學(xué)的人多。但是有了大模型之后,這個局面被改變了,給我們帶來了全新挑戰(zhàn)。但是,挑戰(zhàn)的另一面就是機(jī)會。中國未來的教育怎么發(fā)展?值得思考。
另外是對科研的影響,尤其是產(chǎn)學(xué)研更有效的結(jié)構(gòu)性組合,讓中國在科學(xué)發(fā)展基礎(chǔ)上有更多的加速創(chuàng)新機(jī)會。未來的科研格局里我們有新的機(jī)會,第四范式、第五范式是數(shù)據(jù)和計算驅(qū)動的,產(chǎn)學(xué)研在中國有重新組合的機(jī)會。
最后是關(guān)于文化和文明,這跟語言和文化的底蘊有關(guān)。大模型代表了每個國家的基本文明,這一次大模型為先的創(chuàng)新,有機(jī)會在這個方面更進(jìn)一步地做適合中國傳統(tǒng)和文明的一個創(chuàng)新。
第三部分 新機(jī)會:系統(tǒng)性、全方位的如何探索和把控我們的機(jī)會
全方位探索把控:“人+事”的機(jī)會空間
我們提出的框架主要針對創(chuàng)業(yè)公司,但對于任何組織和企業(yè)而言,只要是在有組織的去追求某個目標(biāo),它在結(jié)構(gòu)本質(zhì)上和創(chuàng)業(yè)公司都是一樣的。因此,不僅是創(chuàng)業(yè)公司團(tuán)隊,其他相關(guān)人員也可以將這個框架應(yīng)用于自己所做的企業(yè)、自己做的事情,從中獲得有助于探索大模型時代的啟示。不管你是從事什么行業(yè),都可以在這個框架當(dāng)中得到相應(yīng)的經(jīng)驗收獲。
新時代對人的機(jī)會在哪里?對事務(wù)的機(jī)會又在哪里?
第一,強(qiáng)烈建議不要盲目追逐熱點,浮躁可能導(dǎo)致不利后果。尤其值得強(qiáng)調(diào)的是,這次追逐熱點的代價可能更高,因為它涉及范式轉(zhuǎn)變,需要改變思考方式和執(zhí)行方式。如果盲目追逐熱點,可能會付出巨大代價,其中包括機(jī)會成本。
第二,要勤于學(xué)習(xí)。這次技術(shù)變革相對復(fù)雜,建議大家閱讀必要的論文。僅僅依賴別人的解讀可能無法深入理解,必須花時間去深入研究關(guān)鍵論文,克服慣性思維。有一本書叫《科學(xué)發(fā)展的范式》,值得大家一看。一般大的范式,過去沒法克服慣性思維,包括深度學(xué)習(xí),因為這是不同的思考體系,所以一定要盡量克服慣性思維。
第三,一定要深度思考。務(wù)必認(rèn)真思考這次技術(shù)變革對人和事務(wù)方面的影響,沒有人能夠避開這一挑戰(zhàn)。
第四,必須采取行動導(dǎo)向。一旦理清思路,要立即采取行動。這次技術(shù)變革不進(jìn)則退,涉及結(jié)構(gòu)性改變,需要及時調(diào)整。在人際關(guān)系方面,這次技術(shù)變革可能會拉大人與人之間的距離,所以一旦想明白,要果斷采取行動,不然你很快掉隊。本來你跟你后面的人、前面的人可能距離不大,但一不小心你可能被甩得很后面,或者你有機(jī)會遠(yuǎn)遠(yuǎn)超過今天和你跑在差不多一條線上的人。
“事”的機(jī)會空間
事情方面,基于這次范式變更的本質(zhì),對于創(chuàng)業(yè)公司和企業(yè),基本上可以通過三個維度去探索機(jī)會:第一,在產(chǎn)品和業(yè)務(wù)層面去探索機(jī)會;第二,你所在的產(chǎn)業(yè)是不是有根本性的變革,在產(chǎn)業(yè)變革的過程當(dāng)中去探索更大的機(jī)會,你可能面臨換個生意的選擇,在價值鏈上占一個不同的價值點;第三,你所在的產(chǎn)業(yè)的研發(fā)體系是不是徹底變革了。由于產(chǎn)業(yè)的研發(fā)體系會在有效環(huán)節(jié)發(fā)生大變化,大量的變化是找到全新的、由于研發(fā)體系變更而帶來的機(jī)會,有可能就得徹底換一個新的賽道,或者是在同一賽道里面用完全不同的方法去做產(chǎn)品。
我們給大家一個系統(tǒng)性的框架,我們從數(shù)字化基礎(chǔ)、數(shù)字化應(yīng)用、改造世界,這三個機(jī)會版塊,進(jìn)行完整的、系統(tǒng)性的機(jī)會探索體系。
數(shù)字化發(fā)展基礎(chǔ)
數(shù)字化發(fā)展基礎(chǔ)永遠(yuǎn)是平臺驅(qū)動的,像移動互聯(lián)網(wǎng)/云、人工智能/邊緣計算、新興平臺等。
數(shù)字化的應(yīng)用
我們將人群分為“消費者”、“創(chuàng)作者”、“企業(yè)”三個類別,把它分成一格一格的,代表人群時長的分割和人類的基本組織形成,用來系統(tǒng)、完整的探索數(shù)字化應(yīng)用。
在這里,創(chuàng)作者人群是我們特別關(guān)注的,他們是站在前沿的:碼農(nóng)、設(shè)計師、科學(xué)家等。
消費者的需求結(jié)果體系,可以借助馬斯洛的人類需求層次出發(fā);企業(yè)的需求比較穩(wěn)定,都是降本增效。
認(rèn)識世界、改造世界
認(rèn)識世界,包括認(rèn)識自己是世界的一部分,要把知識數(shù)字化。
數(shù)字化有6種功能可見(Affordance):1. 信息(2D)。這個數(shù)字化的能力基本上觸達(dá)了每一個人類,我們每個人基本上都用電腦,用手機(jī),觸達(dá)所有的人;2. 體驗(3D)。尤其是三維的體驗,元宇宙,目前只有少數(shù)的品類,游戲、社交等;3. 關(guān)系(抽象)。Web3.0是數(shù)字化的抽象關(guān)系,信任、激勵機(jī)制、所有權(quán)等,這個需要時間來逐步探索和發(fā)展;4. 物理外部環(huán)境。數(shù)字化驅(qū)動的物理環(huán)境交互,自動駕駛、機(jī)器人等;5. 生理內(nèi)部感知。數(shù)字化人內(nèi)在的腦機(jī)接口、內(nèi)部測試機(jī)制,這個目前也是覆蓋少數(shù)類別,如康復(fù)等。6. 知識(模型)。數(shù)字化帶來的知識是嵌入的,可以用在所有場景之下。
這次我們創(chuàng)新的空間,基本上是用二維的信息,加上嵌入知識,去找所有可以應(yīng)用的類別;有些品類可以用到其他的數(shù)字化能力,如機(jī)器人等,可以三位一體地滿足人的需求。系統(tǒng)性地探索我們的機(jī)會。以上是這個完整的框架。
數(shù)字化基礎(chǔ)的機(jī)會
穩(wěn)定的數(shù)字化平臺結(jié)構(gòu)
數(shù)字化平臺的特點是:前端是“完整可延伸”的體驗,有設(shè)備、容器、畫布等;后端是完整可延伸的能力,有計算、存儲、通訊。
值得關(guān)注的一個點是,目前為止任何一個萬億美元的公司都在前端做設(shè)備和操作系統(tǒng),這是價值的控制點。
數(shù)字化的底層基礎(chǔ)設(shè)施是計算體系,是芯片,是基礎(chǔ)服務(wù),是開源代碼等等。在今天大模型流行的時代,基礎(chǔ)設(shè)施領(lǐng)域存在大量的機(jī)會。某種意義上,從投資和創(chuàng)業(yè)者的角度來講,這是最容易賺錢的地方。就像在淘金時代,一批人去加州淘金,淘金人的很多會死掉,但是如果你賣勺子、賣鏟子、籃子的就不會,這是非常好的生意,因為沒有這些工具就沒法淘金。
進(jìn)入大模型流行的時代,我們必須要有一系列新的算力、新的基礎(chǔ)設(shè)施。創(chuàng)業(yè)會有門檻,但是一定有機(jī)會。未來新一代的有效算力,都將基于GPT的系統(tǒng)架構(gòu),長期機(jī)會非常可觀。
基礎(chǔ)設(shè)施和工具
第一點,是算力,有效算力包括芯片、算力體系。
第二點,是新一代的算力體系和網(wǎng)絡(luò)架構(gòu)。對未來機(jī)會來講,我們更多需要的是連在一起的帶寬和延時都很低的GPU。可能我們根本就不需要服務(wù)器這個概念,需要的是幾萬張卡連在一起的能力。
第三點,是大規(guī)模的訓(xùn)練體系、微調(diào)體系、推理體系等跟大模型相關(guān)的基礎(chǔ)設(shè)施。
第四點,大模型時代需要一個全新的數(shù)據(jù)系統(tǒng)的數(shù)據(jù)堆棧,尤其是Embedding(嵌入),向量數(shù)據(jù)庫和基于向量數(shù)據(jù)庫的檢索系統(tǒng)。
第五條,開發(fā)工具鏈,有新的機(jī)會,尤其是開發(fā)框架和新開的新框架。
最后有大量的開源的模型體系,開源的工具,開源的數(shù)據(jù)集,創(chuàng)新的機(jī)會就在開源這里。
新平臺
在數(shù)字化基礎(chǔ)當(dāng)中,更大的機(jī)會是平臺。
對于這個平臺,美國是OpenAI,有幾個創(chuàng)業(yè)公司,有谷歌、有微軟。中國有百度、阿里,百川智能是王小川的,光年之外是王慧文的,還有很多。大家可以設(shè)想一下,這些公司10年以后的體量有多大?
今天谷歌可以是1萬億美元的公司,這個將遠(yuǎn)不止1萬億美元,成功的概率可能不一定高,也會一定艱難,但是只要你有能力,這就是非常值得探索的機(jī)會,因為這個平臺的體量實在太大了。
在新時代中,OpenAI的平臺基礎(chǔ)體系都已經(jīng)搭建好了,前后臺系統(tǒng)已經(jīng)準(zhǔn)備好了,但它的關(guān)鍵應(yīng)用(killer app)仍在發(fā)展中。目前,這個關(guān)鍵應(yīng)用主要體現(xiàn)在前端的code interpret,就是一個數(shù)據(jù)分析師的功能。OpenAI自己想涉足的領(lǐng)域是教育和醫(yī)療,但它的平臺基礎(chǔ)和關(guān)鍵應(yīng)用還在形成。
從平臺商業(yè)化的角度看,我們目前主要關(guān)注中國和美國市場。全球范圍內(nèi),只有這兩個地區(qū)有平臺公司。在美國,各平臺之間,是一場激烈的競爭。從投資和創(chuàng)業(yè)機(jī)會來看,創(chuàng)業(yè)空間很有限,基本上沒有了,市場主要被OpenAI、Anthropic等幾家小公司以及谷歌和微軟所占據(jù)。
新體驗端和新設(shè)備端
在大模型時代,硬件的體驗將不一樣。
有一個比較典型意義的公司叫Humane,是蘋果出來做硬件的的團(tuán)隊,他們過去一直沒有找到好的產(chǎn)品。做的硬件是你戴在身上的,這個硬件能看到你所看到的一切、聽到你所聽到的一切,它不斷在幫你思考。
這個東西在很多場景比手機(jī)更管用。其他設(shè)備如頭盔和眼鏡等,也有機(jī)會。
第三代系統(tǒng)(自主/自動化大模型平臺機(jī)會)
第三代自動駕駛、機(jī)器人組合的機(jī)會也加速到來,需要新的硬件、新的算力、新的開發(fā)體系、新的模態(tài),一定有用大模型來驅(qū)動下一個拐點的機(jī)會。
第三代系統(tǒng),核心是指三位一體。大模型是生成模型,可以生成指令,控制設(shè)備和行動。這些模型是雙向的,它既感知認(rèn)識、感知分析,又能夠進(jìn)行控制。所以,因為大模型的本質(zhì),到了第三系統(tǒng)中,這個時代將被加速進(jìn)入。
它的核心是行動體系,尤其是自主體系、自動駕駛體系、機(jī)器人體系和空間計算體系,這些體系將有機(jī)地交互,可以系統(tǒng)性地用越來越低的價格去采取行動,滿足人們的需求。
自動駕駛方面,有新的機(jī)會,為什么?
今天自動駕駛做了十幾年了,體系還是以視覺為主的,泛化能力還是不夠。我們?nèi)碎_車一點都不累,輕輕松松,聽聽音樂,講講話。我們?yōu)槭裁撮_車不累?因為我們有語言,我們能零樣本泛化。比如,我們在路上開車,看到前面有一個老人舉著一個旗子走過來,我們會知道還早,根本不用擔(dān)心,慢慢開過去繞過他就是了。但是今天的自動駕駛系統(tǒng),遇到這個老人就會緊張的不得了,因為它從來沒有見過,它不知道該怎么辦,它沒有泛化能力。所以我們可以有全新機(jī)會,用新一代的語言模型帶來的泛化能力打通模態(tài)。當(dāng)然用機(jī)器人、用大模型驅(qū)動新一代的機(jī)器人機(jī)會也一樣大,機(jī)器人和自動駕駛將是人類最大的兩個產(chǎn)業(yè)。
數(shù)字化應(yīng)用的機(jī)會
這次技術(shù)的模型能力封裝了所有的知識。所以這次的技術(shù)覆蓋所有的需求,你要判斷的是這個模型是不是足夠強(qiáng),模型在你這個領(lǐng)域的發(fā)展速度會不會很快。
首先我們必須做一個判斷,在大模型時代的早期模型能力,我們預(yù)測模型發(fā)展的速度,對我所在這個需求,它是否有比較務(wù)實的機(jī)會去有效地滿足用戶和客戶的需求?尤其是過去滿足不了的需求。也就是說,第一你要判斷是模型的能力,早期模型的發(fā)展速度和模型能力,對我所在這個產(chǎn)業(yè)能改變多少?
第二個判斷是,三位一體的體驗?zāi)軌蚪⑵饋淼臋C(jī)會有多大。一開始,我們?nèi)灰惑w就是信息模型和行動體系組合在一起來滿足需求。在這里舉個例子,健身模式上可以用來做,比方說Peloton,它本來就是一個單車,我可以在上面給你信息,今天缺的就是模型,就是一個教練,是一個時刻提醒你告訴你怎么弄的。所以Peloton這樣就是三位一體,好的模型它內(nèi)容已經(jīng)有了。
第三個判斷是,大模型時代對你所在這個賽道,從開發(fā)生產(chǎn)的角度來講,能夠帶來全方位顛覆的機(jī)會有多大?比如你是做煉鋼的,那這次大模型給煉鋼這個產(chǎn)業(yè)帶來的研發(fā)體系變更不大。但如果,你是開發(fā)游戲的,那就全都變了,因為游戲任何環(huán)節(jié)它的開發(fā)都不一樣。
技術(shù)推動:大模型為先,形成閉環(huán)
所以,在“技術(shù)推動”這個方面,我們采用這個三角形,用高中低來判斷一下每個行業(yè)都要用這個技術(shù)推進(jìn)的情況。
很多同學(xué)都在想:我這個領(lǐng)域能不能做?你一定要考慮你這個領(lǐng)域,你這個生意有沒有壁壘。這里有一個簡單的范式,你自己有數(shù)據(jù),你可以自己開發(fā)模型,你可以用大模型來開發(fā),你的模型被使用之后,使用的數(shù)據(jù)你拿得到,使用的數(shù)據(jù)回歸到閉環(huán),你的既有數(shù)據(jù)越來越強(qiáng)。如果你有這樣一個結(jié)構(gòu),你這個生意肯定可以做。所以大模型為先,從數(shù)據(jù)到模型,到使用閉環(huán),是這個時代落地的有效方式。
需求拉動:大模型為先,而非信息為先
需求拉動,要找到需求,對知識、對模型比較敏感的需求。同時,我們要強(qiáng)調(diào)一個概念:在這個時代,一定要做大模型為先的產(chǎn)品。
大模型為先:三位一體為王,自然語言為先
人類需求本質(zhì)也是三位一體的,任何一件事情,我們既需要信息,又需要知識,又需要行動來滿足我們的需求。
比如說電商,今天都是用的信息,模型幾乎沒有。每一次看每一個領(lǐng)域,可以看這個領(lǐng)域里面的信息有多少,模型能有什么樣的模型,行動有什么樣的行動。大模型時代的產(chǎn)品,建議一定要做自然語言為先的產(chǎn)品。我們看到很多同學(xué)做產(chǎn)品,信息時代的慣性太大了,產(chǎn)品就是手機(jī)打開,看到圖片、視頻、文字,給出來的都是信息。這是過去的時代了。今天做產(chǎn)品,起步就需要是自然語言交互,去思考“你跟我怎么交互”?
有機(jī)會、行動導(dǎo)向,信息只是提供了一個基礎(chǔ),三位一體是終局。如果創(chuàng)業(yè)賽道有機(jī)會三位一體,要大模型為先,搶先進(jìn)去。
大模型基礎(chǔ)的閉環(huán)壁壘
考慮一個領(lǐng)域,生意有沒有壁壘,有一個簡單的范式:第一,你有自己的數(shù)據(jù);第二,你可以自己開發(fā)模型,用大模型來開發(fā)模型;第三,你的模型被使用之后,使用的數(shù)據(jù)你能拿得到;第四,使用的數(shù)據(jù),返回過來有個閉環(huán),你的自有數(shù)據(jù)越來越強(qiáng)。
如果有這樣一個結(jié)構(gòu),這樣一個三位一體的體驗和閉環(huán),大模型為先的時代里,落地是一定要做的。
改造世界
新能源科技
首先,核心是新能源技術(shù)的研發(fā)體系,大模型將帶來大量研發(fā)體系上的新機(jī)會,設(shè)計也好、生產(chǎn)也好,都可以用大模型來提升效益。
第二,新一代的能源運營、新一代的電網(wǎng)需要大量的數(shù)據(jù)、大量的模型的能力,把能源的供需平衡好、運營好。
第三,新一代核心技術(shù),系統(tǒng)也好,部件也好,都可以切入大模型,直接植入大模型為先的技術(shù)。電池、觸電設(shè)備、風(fēng)電控制體系這一系列的核心技術(shù)都可以切入大模型為先的技術(shù),讓它做得更好。這里大廠已經(jīng)有大量的機(jī)會在做了,對創(chuàng)業(yè)公司也打開了越來越多可以參與的創(chuàng)新機(jī)會。
新生命科技(生命科學(xué))
第一,新的技術(shù)可以直接用到大量的生命科學(xué)體系當(dāng)中。新的生命科學(xué)首先起步于今天深度學(xué)習(xí)的人工智能技術(shù)和相關(guān)的大模型技術(shù),它本質(zhì)上跟生命體系的計算過程在結(jié)構(gòu)上是類似的。
第二,生命科學(xué)的產(chǎn)業(yè)結(jié)構(gòu)越來越朝著今天的數(shù)字化工業(yè)的產(chǎn)業(yè)結(jié)構(gòu)方向去走,在結(jié)構(gòu)上會是非常類似的。有大量的計算和數(shù)據(jù)驅(qū)動直接生產(chǎn)、設(shè)計、制造,每個維度都可以用這個方法來做。
第三,大模型將對生命科學(xué)的基礎(chǔ)研發(fā)和核心創(chuàng)新起到根本性的作用,尤其是在核酸、蛋白這一層,在其他維度的生命科學(xué)的結(jié)構(gòu)維度做大模型,將根本改變我們的研發(fā)環(huán)節(jié)。就是用大量的數(shù)據(jù)和算力,通過涌現(xiàn)更高效的加速科學(xué)探索和研發(fā)的方方面面,系統(tǒng)性地提高這個產(chǎn)業(yè)的進(jìn)展和創(chuàng)新的速度,這是關(guān)于生命科學(xué)體系。
新材料科技(材料科學(xué))
材料科學(xué)體系跟生命科學(xué)體系大模型時代和數(shù)字化它所產(chǎn)生的效應(yīng)是一致的。在材料科學(xué)里面它更是產(chǎn)業(yè)驅(qū)動的,比如芯片所需要的材料,光伏、新能源需要的材料,這一切在產(chǎn)業(yè)發(fā)展上帶來的機(jī)會更直接、更優(yōu)先,它是產(chǎn)業(yè)驅(qū)動的。
在結(jié)構(gòu)上,大模型將系統(tǒng)性地切入數(shù)據(jù)驅(qū)動、計算驅(qū)動的材料設(shè)計、研發(fā)、制造等方方面面,比如材料基因、計算驅(qū)動的新的材料設(shè)計、材料工藝、材料生產(chǎn)等。
新空間科技
真正把空間用新的空間技術(shù)用好,是從地面開始,自動駕駛、深海、軌道、軌道之外、指數(shù)深空,新的衛(wèi)星的、新的行星上,包括火星,這是長期有系統(tǒng)化的機(jī)會,大模型在每一個環(huán)節(jié)在探索。
在通訊、在遙感、在空間制造都可以直接驅(qū)動探索創(chuàng)新和商業(yè)價值的獲取,在這個當(dāng)中既給國家和大學(xué)帶來非常多的創(chuàng)新的機(jī)會,同時也給有遠(yuǎn)見、有抱負(fù),愿意長期堅持的創(chuàng)業(yè)者一樣帶來非常多的機(jī)會。
尤其是像自動駕駛這樣一個巨大的產(chǎn)品,以大模型為先的方法,今天可以觸達(dá)的機(jī)會就很多,長期更快,這是目前面臨的商業(yè)化最大的發(fā)展,就是用技術(shù)、用大模型為領(lǐng)先的技術(shù)去探索更多的物理空間。
新執(zhí)行環(huán)境
新的時代把事情的機(jī)會把控好,我們需要一個新的執(zhí)行體系。
首先,馬太效應(yīng)會非常明顯,對于已經(jīng)擁有強(qiáng)大算力/數(shù)據(jù)/技術(shù)和財務(wù)資源的組織來講,他們會更具有優(yōu)勢,同時,對于擁有大量高質(zhì)量數(shù)據(jù)的人,也會獲得更多優(yōu)勢,而且大模型在生成內(nèi)容時可能存在偏見,少數(shù)人的聲音不被聽見。
同時,壁壘和競爭格局也有其特性,初創(chuàng)企業(yè)應(yīng)該尋找未被大廠覆蓋的市場細(xì)分領(lǐng)域和定位,在AI領(lǐng)域不斷探索新技術(shù)、新方法和新應(yīng)用,利用更多技術(shù)專利和知識產(chǎn)權(quán)建立競爭壁壘,也要注重與大廠建立合作關(guān)系(比如共享資源和數(shù)據(jù)),同時也需要具備較強(qiáng)的適應(yīng)性和靈活性,快速適應(yīng)市場變化。
此外,也應(yīng)具備廣闊的國際化格局,這里既包括使用多種語言提供本地化服務(wù),也要基于中國文化,提供相應(yīng)的語言的工具和內(nèi)容,另外,垂直領(lǐng)域大模型的解決方案也很重要,也要同時注重跨語言溝通和翻譯工具,以及針對中文語料的數(shù)據(jù)分析。
另外,知識產(chǎn)權(quán)結(jié)構(gòu)也會有新格局,我們會面對不同的法律環(huán)境和保護(hù)方法,垂直領(lǐng)域數(shù)據(jù)的占比也會增加,而模型算法的占比會降低,同時也會有不同的產(chǎn)權(quán)激勵結(jié)構(gòu)。
最后,初創(chuàng)企業(yè)也需要面對新型的社會關(guān)系,我們會有不同的政府監(jiān)管環(huán)境,創(chuàng)業(yè)門檻也會大幅降低,創(chuàng)業(yè)者作為一種普世性職業(yè)的時代真正到來,同時人才需求也會發(fā)生變化,對應(yīng)聘人才的技術(shù)能力要求會更高。
“人”的機(jī)會空間
對于個人來講,越來越重要的是你是不是有獨到的見解,而且你有很大的心力,可以堅持不懈地追求這個愿景。
能力相對來講越來越不重要,而你需要的是獨到的能力,是能用好工具的能力。如果你的能力是別人或多或少都有的,那就越來越不重要了。
技術(shù)驅(qū)動發(fā)展帶來的職業(yè)趨向。
對一個創(chuàng)始人來講最重要的是獨到的見解,尤其是對未來獨到的看法和很強(qiáng)的心力,可以長期堅持努力把他獨到的對未來的愿景可以實現(xiàn)出來,這是越來越重要的一個特性。
OpenAI本身就是最好的一個案例,OpenAI看好的是別人不看好的。OpenAI的科研能力、開發(fā)能力在總體上是遠(yuǎn)遠(yuǎn)不如谷歌、他們就幾百號人,但是他們做出來了,本身就是驗證了這一點,它(OpenAI)有著不同的愿景、不同的看法,它走的路是別人不走的路,它堅持走下去了,它靠這些徹底改變了世界。大家如果要一個案例,看 OpenAI 就行了。
人類歷史上由于生產(chǎn)力、生產(chǎn)關(guān)系的演變,在任何時代都有一類職業(yè),它是最賺錢的,創(chuàng)造財富最多。
以前打獵最厲害,創(chuàng)造的財富最多。有一個時代武功最厲害,能打架的武士是最賺錢的。上個世紀(jì)末,在華爾街買公司、賣公司的人,是最賺錢的,也就是投資者。而這個世紀(jì)初,即使把風(fēng)險算在內(nèi),創(chuàng)業(yè)者是創(chuàng)造財富最多的一個職業(yè),毫無疑問。
在這個新時代創(chuàng)造價值、財富最多的是創(chuàng)業(yè)者,同時大模型時代為創(chuàng)業(yè)者帶來不同的發(fā)展機(jī)會,你需要的資金越來越少,你開發(fā)的周期越來越短,你創(chuàng)造價值機(jī)會越來越多,以后有越來越多的人都可以做創(chuàng)業(yè),投資的生態(tài)也將為此而變,使創(chuàng)業(yè)者的機(jī)會越來越可觀,越來越普遍,越來越有價值。
同時在下個時代,最有價值的是科研,但不是傳統(tǒng)意義的科研,是新一代的科研。這個科研的典型代表就是OpenAI 。在OpenAI,你既是一個科研人員,同時又是碼農(nóng),同時又可以做生態(tài)。既能夠做科研寫論文,又能夠?qū)懘a,又能夠做平臺,是新一代的科學(xué)機(jī)構(gòu),是新一代的科學(xué)范式。
OpenAI開了個先例。有越來越多的OpenAI在未來10年、 20年、 30年、40年會涌現(xiàn),因為今天的創(chuàng)業(yè)生態(tài)是70年的歷史,再往后5年,會有越來越多人做這個,這是新一代的科研的open research(開放科研)。
基礎(chǔ)范式的演變
科研的發(fā)展跟商業(yè)化合為一體
科學(xué)將進(jìn)入第四范式和第五范式。新的科學(xué)范式需要數(shù)據(jù)、需要計算來發(fā)現(xiàn)新的科學(xué)現(xiàn)象,如果沒有商業(yè)化,數(shù)據(jù)哪里來,算力哪里來?所以本質(zhì)上,科研的發(fā)展必須逐步逐步跟商業(yè)化合為一體。
今天引領(lǐng)信息科學(xué)的不是一流的大學(xué),不是國立實驗室,早就是大廠。而今天引領(lǐng)數(shù)字化最前沿的人工智能的已經(jīng)不是大廠,是創(chuàng)業(yè)公司,是OpenAI,是DeepMind。今天引領(lǐng)新空間科學(xué)的不是NASA,不是波音,是一家創(chuàng)業(yè)公司,叫SpaceX。越來越多的產(chǎn)業(yè),比如生命科學(xué)、材料科學(xué)都會朝這個方向走。這種范式的變化是結(jié)構(gòu)性的,就是因為科學(xué)的發(fā)現(xiàn)跟商業(yè)化分不開了。
從技術(shù)到價值:5個核心環(huán)節(jié)
今天全球的主流科學(xué)發(fā)展范式是1944年奠定的。1944年有一個人叫Vaneva Bush,那個時候羅斯福判斷二戰(zhàn)快結(jié)束了,他叫這個人寫一份報告,規(guī)劃如何讓美國在二戰(zhàn)之后保持技術(shù)的領(lǐng)先。這個人做了一番研究之后,寫了一本小冊子,名字叫《Science: the Endless Frontier》(《科學(xué):無盡的前沿》)。
他在書中提出了一個范式:政府收稅,把這個稅的錢交給兩個地方,一個是研究型大學(xué),在美國系統(tǒng)發(fā)展研究型大學(xué),研究大學(xué)里面做基礎(chǔ)研究,做應(yīng)用研究,做工程研究,教授和研究生一起做;第二,把錢給國立研究院等機(jī)構(gòu)。今天中國也好,歐洲也好,或多或少都是采用這個范式。
產(chǎn)生的結(jié)果是有大量的科研結(jié)果形成論文,然后這些論文待在書架上10年或20年。接著有些大廠、有些其他機(jī)構(gòu)說這些基礎(chǔ)研究可以來解決實際的問題的,這就是所謂的應(yīng)用研究。應(yīng)用研究一般都是大學(xué)或者研究機(jī)關(guān)或者大廠在做。做完之后,發(fā)現(xiàn)這個可以做技術(shù),就把技術(shù)做出來。比如說芯片封裝技術(shù)、軟件驗證技術(shù)。這些技術(shù)做出來之后,有產(chǎn)品經(jīng)理說這個技術(shù)可以做成產(chǎn)品,于是便把產(chǎn)品做出來。產(chǎn)品做出來,市場銷售、運營的人說這個可以去賣,于是便把產(chǎn)品賣給客戶。
技術(shù)驅(qū)動社會進(jìn)步是這樣一個流水線。所以從技術(shù)到為人類提供價值,都是有5個核心環(huán)節(jié)一路走下來的。
創(chuàng)業(yè)公司開始做基礎(chǔ)研究了
但今天我們看到趨勢是越來越倒過來了。創(chuàng)業(yè)公司,它不光是做產(chǎn)品,做技術(shù),做應(yīng)用研究,也開始做基礎(chǔ)研究了。為什么?
第一,科學(xué)的范式變了,科學(xué)發(fā)展離不開商業(yè)化。科學(xué)必須要有數(shù)據(jù),必須要有算力,所以離不開商業(yè)化。
第二,我們的歷史上從來沒有一個探索體系叫創(chuàng)業(yè)體系。創(chuàng)業(yè)體系是什么呢?它無縫不入,只要哪里有機(jī)會,哪里就有投資,就有想發(fā)財?shù)哪贻p人。它比其他體系都更靈活,它能吸收人才,它有大量的資源可以用。因為今天全球的資本太多,都在找回報。如果你能改變世界,只要你真的行,都有人愿意投。我看到的一個現(xiàn)象是在一流大學(xué),如伯克利、斯坦福,校內(nèi)的每一個系長得越來越像一個基金,很多教授某種意義上都帶了好幾個創(chuàng)業(yè)團(tuán)隊,這個趨勢越來越明顯。
當(dāng)然,今天主流科研模型有它的優(yōu)勢,它將繼續(xù)在適合這個模式的領(lǐng)域中開拓科學(xué)新前沿。新的范式需要不斷地探索、更新和創(chuàng)造。
(如需查看完整演講內(nèi)容和PPT,可點擊演講實錄全文。)