近日，一份據(jù)傳由高級工程師盧克?塞爾瑙（）撰寫的備忘錄泄露，它大聲說出了硅谷許多人的心聲：一場開源混戰(zhàn)正威脅著大型科技公司對人工智能的控制。

新的開源大型語言模型——的 Bard 或 的 ChatGPT 的替代品，它們允許研究人員和應(yīng)用程序開發(fā)人員對其進行重建和修改。這些模型比大公司創(chuàng)造的類似的人工智能模型更小、更便宜，性能上（幾乎）與它們相當(dāng)，而且它們是免費共享的。

在上周的年度產(chǎn)品展示會上透露，它正在把生成式人工智能應(yīng)用到它的所有產(chǎn)品中，從 Gmail 到照片再到地圖。所有大公司都忙著升級自己的產(chǎn)品，卻看不到真正的競爭即將到來，寫道：“當(dāng)我們一直在爭吵的時候，第三個派別已經(jīng)悄悄地吃掉了我們的午餐。”

從很多方面來說，這是一件好事。更廣泛地使用這些模型有助于推動創(chuàng)新，也有助于發(fā)現(xiàn)它們的缺陷。如果只有幾家超級巨頭控制著這項技術(shù)或者決定如何使用這項技術(shù)，人工智能就不會蓬勃發(fā)展。

但是這種開源的繁榮是不穩(wěn)定的。大多數(shù)開源模型仍然是站在財力雄厚的大公司推出的巨型模型的肩膀上。如果 和 決定收回權(quán)限，這個新興領(lǐng)域可能會變成一灘死水。

例如，這些開源模型中的許多都是建立在 LLaMA 之上的，LLaMA 是 Meta AI 發(fā)布的一個開源大型語言模型。其他模型則使用一個名為 Pile 的大型公共數(shù)據(jù)集，該數(shù)據(jù)集是由開源非營利組織 EleutherAI 收集的。但 EleutherAI 的存在只是因為 的開放性，這讓一群工程師能夠逆向工程 GPT-3 的制作方式，然后在空閑時間創(chuàng)建了自己的 GPT-3。

“Meta AI 在培訓(xùn)和向研究界發(fā)布模型方面做得非常好，”斯特拉·比德曼（Stella Biderman）說。她是 EleutherAI 的執(zhí)行董事兼研究主管，同時也在咨詢公司 Booz Allen Hamilton 工作。塞爾瑙在他的備忘錄中也強調(diào)了 Meta AI 的關(guān)鍵作用。向《麻省理工科技評論》證實，這份備忘錄是由一名員工撰寫的，但指出它不是一份官方戰(zhàn)略文件。

這一切都可能改變。由于擔(dān)心競爭， 已經(jīng)改變了之前的開放政策，而且 可能開始想要控制新生力量對其開源代碼做出不愉快事情的風(fēng)險?！袄蠈嵳f，我覺得現(xiàn)在這樣做是正確的，”Meta AI 的董事總經(jīng)理喬爾?皮諾（Joelle Pineau）在向外界開放代碼時說，“但這會是我們未來五年將延續(xù)的戰(zhàn)略嗎？我不知道，因為人工智能發(fā)展得太快了?！?/p>

如果這種關(guān)閉訪問權(quán)限的趨勢繼續(xù)下去，那么不僅開源社區(qū)將被孤立，而且下一代人工智能的突破將被完全握在世界上最大、最富有的人工智能實驗室手中。

可以說，人工智能的制造和使用方式的未來正處于十字路口。

開源蓬勃發(fā)展

開源軟件已經(jīng)存在了幾十年，這是互聯(lián)網(wǎng)生態(tài)運行的基礎(chǔ)。但是構(gòu)建強大模型的成本意味著開源人工智能直到大約一年前才開始騰飛，它很快就變成了一個富礦。

看看最近幾周就知道了。2023 年 3 月 25 日，倡導(dǎo)免費開放人工智能的初創(chuàng)公司 推出了首款開源聊天機器人 HuggingChat，對標(biāo) ChatGPT 即 OpenAI 于 2022 年 11 月發(fā)布的聊天機器人。 HuggingChat 建立在一個名為 Open Assistant 的開源大型語言模型之上，該模型經(jīng)過了大約 1.3 萬名志愿者的幫助訓(xùn)練，并于一個月前發(fā)布。但是，Open Assistant 本身是建立在 的 LLaMA 之上的。

然后是 StableLM，這是一個開源的大型語言模型，由 Stability AI 公司于 3 月 19 日發(fā)布，該公司開發(fā)了熱門的文本到圖像模型 Stable Diffusion。一周后，也就是 3 月 28 日，Stability AI 發(fā)布了 StableVicuna，這是 StableLM 的一個版本，與 Open Assistant 或 HuggingChat 一樣，它針對對話進行了優(yōu)化（StableLM 是 Stability 對 GPT-4 的回應(yīng)，而 StableVicuna 則對標(biāo) ChatGPT）。

這些新的開源模型只是過去幾個月發(fā)布的一系列模型的一部分，包括 Alpaca（來自斯坦福大學(xué)的團隊）、Dolly（來自軟件公司 Databricks）和 Cerebras-GPT（來自人工智能公司 Cerebras）。這些模型大多建立在 LLaMA 或 EleutherAI 的數(shù)據(jù)集和模型上，而 Cerebras-GPT 遵循 DeepMind 設(shè)置的模板。未來肯定還會出現(xiàn)更多。

對一些人來說，開源是一個原則問題。人工智能研究員、 用戶揚尼克·基爾徹（）在一段介紹 Open Assistant 的視頻中說：“這是一項全球社區(qū)的努力，旨在將對話式人工智能的力量帶給每個人……讓它擺脫少數(shù)大公司的控制?！?/p>

“我們永遠不會放棄為開源人工智能而戰(zhàn)，” 的聯(lián)合創(chuàng)始人朱利安·肖蒙德（）曾在推特上寫道。

對其他人來說，這是一個利益問題。 希望在聊天機器人上復(fù)現(xiàn)它在圖片生成上取得的輝煌：推波助瀾，然后從使用其產(chǎn)品的開發(fā)人員的創(chuàng)新中受益。該公司計劃充分利用這一創(chuàng)新，并將其重新投入到面向廣大客戶的定制產(chǎn)品中。Stability AI 的 CEO 愛馬德·莫斯塔克（）表示：“我們激發(fā)創(chuàng)新，然后進行挑選。這是世界上最好的商業(yè)模式?！?/p>

不管怎樣，大量免費和開放的大型語言模型將這項技術(shù)推向了世界各地數(shù)百萬人的手中，激勵了許多人創(chuàng)造新的工具并探索它們的工作原理。比德曼說：“使用這項技術(shù)的途徑比以往任何時候都要多。”

“坦率地說，人們使用這項技術(shù)的方式多得令人難以置信，令人興奮，”美國弗里德弗蘭克律師事務(wù)所的律師阿米爾·加維（Amir Ghavi）表示。他代表了包括 在內(nèi)的多家生成式人工智能公司?！拔艺J為這證明了人類的創(chuàng)造力，而這正是開源的全部意義所在?！?/p>

GPU 融化

但是，從頭開始訓(xùn)練大型語言模型，而不是在現(xiàn)有模型的基礎(chǔ)上進行構(gòu)建或修改是很困難的。莫斯塔克說：“絕大多數(shù)人仍然無法做到。我們在構(gòu)建 StableLM 時燒壞了一堆 GPU。”

Stability AI 發(fā)布的第一個模型是可以用文本生成圖像的 Stable Diffusion 模型，性能與的 Imagen 和 OpenAI 的 DALL-E 等封閉的同類產(chǎn)品相當(dāng)。它不僅可以，還可以在一臺不錯的家用電腦上運行。2022 年，Stable Diffusion 比其他任何模型都更能激發(fā)圍繞圖像制作 AI 的開源開發(fā)的爆炸式增長。

不過，這一次，莫斯塔克想要管理期望：StableLM 與 GPT-4 相差甚遠?！斑€有很多工作要做，”他說，“它不像 Stable Diffusion 那樣，你可以立即獲得非常可用的東西。語言模型更難訓(xùn)練?！?/p>

另一個問題是，模型越大，訓(xùn)練難度越大。這不僅僅是算力成本的問題。更大的模型更容易導(dǎo)致訓(xùn)練過程中斷，需要重新啟動，這使得這些模型的構(gòu)建成本更高。

比德曼說，在實踐中，大多數(shù)團隊能夠訓(xùn)練的參數(shù)數(shù)量是有上限的。這是因為大型模型必須在多個不同的 GPU 上進行訓(xùn)練，而將所有硬件連接在一起是很復(fù)雜的。

隨著技術(shù)的進步，確切的數(shù)字會發(fā)生變化，但目前，比德曼認為這個上限大約在 60 億到 100 億個參數(shù)之間。相比之下，GPT-3 有 1750 億個參數(shù)，LLaMA 有 650 億。一般來說，越大的模型往往表現(xiàn)得更好，不過關(guān)聯(lián)性也不是 100% 的。

比德曼預(yù)計，圍繞開源大型語言模型的活動將持續(xù)下去。但它將集中于擴展或調(diào)整一些現(xiàn)有的預(yù)訓(xùn)練模型，而不是推動基礎(chǔ)技術(shù)的發(fā)展。她說：“只有少數(shù)幾家公司對這些模型進行了預(yù)訓(xùn)練，我預(yù)計這種情況在不久的將來會保持下去?！?/p>

這就是為什么許多開源模型都是建立在 LLaMA 之上的，LLaMA 是由 Meta AI 從頭開始訓(xùn)練的，或者是 EleutherAI 發(fā)布的，EleutherAI 是一個非營利組織，在開源技術(shù)方面做出了獨特的貢獻。比德曼說她只知道另外一個這樣的組織，它在中國。

EleutherAI 的起步要感謝 ?；氐?2020 年，這家總部位于美國舊金山的公司剛剛推出了一款熱門的新模型?！皩τ诤芏嗳藖碚f，GPT-3 改變了他們對大規(guī)模人工智能的看法，”比德曼說，“就人們對這些模型的期望而言，這通常被認為是一種智力范式的轉(zhuǎn)變?！?/p>

比德曼和其他一些研究人員為這項新技術(shù)的潛力感到興奮，他們想把玩這個模型來更好地理解它是如何工作的，于是他們決定它。

那時還沒有發(fā)布 GPT-3，但它確實分享了足夠的信息，讓比德曼和同事們弄清楚它是如何構(gòu)建的。在 OpenAI 之外，從來沒有人訓(xùn)練過這樣的模型，但當(dāng)時正值疫情中期，團隊幾乎沒有其他事情可做。比德曼說：“當(dāng)我參與進來時，我除了工作，就是和我的妻子一起玩桌游。所以每周花 10 到 20 個小時來做這件事相對容易?！?/p>

他們的第一步是建立一個龐大的新數(shù)據(jù)集，其中包含數(shù)十億段文本，以與 用于訓(xùn)練 GPT-3 的數(shù)據(jù)集相媲美。EleutherAI 將其數(shù)據(jù)集稱為“Pile”，并于 2020 年底免費發(fā)布。

然后，EleutherAI 使用這些數(shù)據(jù)集來訓(xùn)練它的第一個開源模型。EleutherAI 訓(xùn)練的最大的模型花了三個半月的時間，由一家云計算公司贊助。其說：“如果我們自掏腰包，我們將花費大約 40 萬美元?！薄斑@對一個大學(xué)研究小組來說太高了。”

援助之手

由于成本高昂，在現(xiàn)有模型的基礎(chǔ)上構(gòu)建要容易得多。Meta AI 的 LLaMA 已經(jīng)迅速成為許多新開源項目的起點。自從十年前由（Yann LeCun) 創(chuàng)立以來，Meta AI 一直傾向于開源開發(fā)。皮諾說，這種心態(tài)是文化的一部分：“這是一種非常自由的、‘快速行動、創(chuàng)造東西’的方式?！?/p>

皮諾很清楚這樣做的好處，其表示：“這確實讓有能力為開發(fā)這項技術(shù)做出貢獻的人多樣化。這意味著研究人員，企業(yè)家或民間組織等也可以看到這些模型。”

像更廣泛的開源社區(qū)一樣，皮諾和同事們認為透明度應(yīng)該成為規(guī)范。其表示：“我敦促我的研究人員做的一件事是，在開始一個項目時，就考慮到你想要開源。因為當(dāng)你這樣做時，它在數(shù)據(jù)使用和如何建立模型方面設(shè)定了更高的標(biāo)準(zhǔn)?！?/p>

但也存在嚴重的風(fēng)險。大型語言模型會散播錯誤信息、偏見和仇恨言論。它們可以用來炮制大規(guī)模輿論宣傳信息或者為惡意軟件提供動力?！澳惚仨氃谕该鞫群桶踩灾g做出權(quán)衡?！逼ぶZ說。

對于 Meta AI，這種權(quán)衡可能意味著一些模型根本不會發(fā)布。例如，如果皮諾的團隊在 Facebook 用戶數(shù)據(jù)上訓(xùn)練了一個模型，那么它將留在內(nèi)部，因為私人信息泄露的風(fēng)險太大了。否則，團隊可能會發(fā)布帶有特殊許可的模型，指定它必須僅用于研究目的。

這就是 LLaMA 所采用的方法。但在發(fā)布后的幾天內(nèi)，有人在互聯(lián)網(wǎng)論壇 4chan 上發(fā)布了完整的模型和運行說明。皮諾說：“我仍然認為，對于這種特殊的模式來說，這是正確的權(quán)衡。”“但我對人們會這么做感到失望，因為這讓發(fā)布這些模型變得更加困難?！?/p>

她說：“我們一直得到公司領(lǐng)導(dǎo)層和馬克·扎克伯格的大力支持，但這并不容易。”

Meta AI 的風(fēng)險很高。她說：“當(dāng)你是一家非常小的初創(chuàng)公司時，做一些瘋狂事情的潛在風(fēng)險要比當(dāng)你是一家非常大的公司時低得多?，F(xiàn)在我們向成千上萬的人發(fā)布了這些模型，但如果問題變得更大，或者我們覺得安全風(fēng)險更大，我們將關(guān)閉它，只向擁有非常強大保密措施的已知學(xué)術(shù)合作伙伴發(fā)布，采用保密協(xié)議或 NDA 模式，他們不能用該模型構(gòu)建任何東西，即使是為了研究目的?！?/p>

如果發(fā)生這種情況，那么許多開源生態(tài)系統(tǒng)的寵兒可能會發(fā)現(xiàn)，他們在 Meta AI 接下來推出的任何產(chǎn)品上構(gòu)建的許可證都被吊銷了。如果沒有 LLaMA，像 Alpaca、Open Assistant 或 Hugging Chat 這樣的開源模型就不會這么好，而且下一代的開源創(chuàng)新者不會像現(xiàn)在這批人那樣有優(yōu)勢。

權(quán)衡

其他人也在權(quán)衡這種開放源代碼的風(fēng)險和回報。

大約在 Meta AI 發(fā)布 LLaMA 的同時， 推出了一種閘門機制，這樣人們在公司平臺上下載許多模型之前必須請求訪問并獲得批準(zhǔn)。這個想法是為了只允許那些有正當(dāng)理由的人接觸這個模型——由 Hugging Face 決定。

“我不是開源的布道者，” 公司的首席倫理科學(xué)家瑪格麗特·米切爾（）說，“我確實明白為什么閉源很有意義?！?/p>

指出，對于大模型的廣泛使用來說，未獲授權(quán)的色情作品是一個不利因素。她說，這是人工智能圖像制作的主要用途之一。

米切爾曾在工作，并與人共同創(chuàng)立了谷歌倫理人工智能團隊，她理解其中的緊張關(guān)系。她傾向于她所謂的“負責(zé)任的民主化”——這是一種類似于 Meta AI 的方法，即根據(jù)模型會造成傷害或被濫用的潛在風(fēng)險，以一種可控的方式發(fā)布模型。她說：“我真的很欣賞開源的理念，但我認為建立某種問責(zé)機制是有用的?！?/p>

也在削弱其開放性。上個月，當(dāng)該公司宣布為 ChatGPT 提供動力的新版大型語言模型 GPT-4 時，技術(shù)報告中有一句引人注目的話：“考慮到像 GPT-4 這樣的大型模型的競爭情況和安全影響，本報告沒有包含有關(guān)架構(gòu)（包括模型大?。⒂布?、訓(xùn)練計算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法或類似技術(shù)內(nèi)容的更多細節(jié)?！?/p>

這些新的限制部分是由于 現(xiàn)在是一家以利潤為導(dǎo)向的公司，與等公司競爭。但它們也反映出一種心態(tài)的改變。OpenAI 聯(lián)合創(chuàng)始人兼首席科學(xué)家亞·薩特斯克弗（）在接受 The Verge 采訪時表示，該公司過去的開放性是一個錯誤。

的政策研究員桑德希尼·阿加瓦爾（）說，在公開什么是安全的、什么是不安全的問題上，OpenAI 顯然已經(jīng)改變了策略：“以前，如果某個東西是開源的，可能只有一小群人會關(guān)心?，F(xiàn)在，整個環(huán)境都變了。開源確實可以加速開發(fā)，并導(dǎo)致激烈競爭?！?/p>

但事情并不總是這樣的。如果 在三年前公布 GPT-3 的細節(jié)時有這種感覺，就不會有 EleutherAI。

如今，EleutherAI 在開源生態(tài)系統(tǒng)中扮演著關(guān)鍵角色。從那以后，它建立了幾個大型語言模型，Pile 被用來訓(xùn)練許多開源項目，包括 Stability AI 的 StableLM。

如果 分享的信息少一些，這一切都不可能實現(xiàn)。與 Meta AI 一樣，EleutherAI 支持著大量開源創(chuàng)新。

但是隨著 GPT -4 的出現(xiàn)，開源可能會再次被一些大公司所關(guān)注。他們可能會推出瘋狂的新版本——甚至可能威脅到的一些產(chǎn)品。但他們將被上一代模型所困。真正的進步，將發(fā)生在關(guān)起門的房間里。

這有什么關(guān)系嗎？一個人如何看待大型科技公司關(guān)閉訪問權(quán)限的影響，以及它對開源的影響，在很大程度上取決于你對人工智能應(yīng)該如何制造以及應(yīng)該由誰制造的看法。

“人工智能很可能成為未來幾十年社會組織方式的驅(qū)動力，”加維說，“我認為，建立一個更廣泛的監(jiān)督和透明體系，比把權(quán)力集中在少數(shù)人手中要好?！?/p>

比德曼對此表示贊同：“我絕對不認為，讓每個人都去做開源，是某種道德上的必要性，”其表示，“但說到底，讓人們開發(fā)和研究這項技術(shù)是非常重要的，而不是為其商業(yè)成功進行經(jīng)濟投資?！?/p>

另一方面， 聲稱它只是在謹慎行事。OpenAI 信任與安全團隊負責(zé)人戴夫?威爾納（）表示：“我們并不是認為透明度不好。更重要的是，我們正在努力弄清楚如何協(xié)調(diào)透明度和安全性。隨著這些技術(shù)變得越來越強大，在實踐中這些東西之間存在一定程度的緊張關(guān)系?！?/p>

“人工智能領(lǐng)域的許多規(guī)范和思維都是由學(xué)術(shù)研究團體構(gòu)建的，這些團體重視協(xié)作和透明度，這樣人們就可以在彼此的工作基礎(chǔ)上繼續(xù)發(fā)展，”說，“也許隨著這項技術(shù)的發(fā)展，這種情況需要有所改變?！?/p>

支持：Ren

原文：

運營/排版：何晨龍