新智元報道

編輯：桃子

【新智元導(dǎo)讀】沒想到，OpenAI短期工作無法推進(jìn)，都是GPU太缺了！

聽證會之后，Sam Altman帶著團(tuán)隊在歐洲開啟了「旅行」。

而在最近的一次訪談中，Altman也沒有藏著掖著，自曝自家AI的一切進(jìn)展，全得等GPU跟上了再說。

他討論了OpenAI的API，以及產(chǎn)品計劃，引起了許多人的關(guān)注。

許多網(wǎng)友紛紛表示，我喜歡Altman的坦誠。

值得一提的是，GPT-4的多模態(tài)能力，2024年應(yīng)該大部分Plus用戶就能上手了，前提還是有足夠GPU才行。

微軟老大哥斥資12億美元給OpenAI建的超算，還遠(yuǎn)遠(yuǎn)無法滿足GPT-4運(yùn)行時所需的算力。畢竟，GPT-4參數(shù)據(jù)稱有100萬億。

另外，Altman還透露，GPT-3也在OpenAI的開源計劃之中。

不知道是不是這次采訪內(nèi)容 透露了太多 OpenAI的「機(jī)密」，源文稿目前已被刪除，快點碼了。

劃重點

最新訪談，是來自AI開發(fā)平臺Humanloop的首席執(zhí)行官Raza Habib主持，采訪了Altman以及其他20位開發(fā)人員。

這次討論涉及到實際的開發(fā)者問題，以及與OpenAI的使命和AI的社會影響相關(guān)的更大的問題。

以下是關(guān)鍵要點：

1. OpenAI急缺GPU

2. OpenAI的近期路線圖：GPT-4多模態(tài)2024年開放

3. 通過API訪問ChatGPT插件近期不會發(fā)布

4. OpenAI只做ChatGPT這一「殺手級應(yīng)用」，目標(biāo)是讓ChatGPT成為一個超級智能的工作助手

5. GPT-3在開源計劃中

6. 模型性能的縮放法則繼續(xù)有效

接下來，將從6大點介紹Sam Altman究竟說了啥。

OpenAI目前嚴(yán)重依賴GPU

采訪的一切話題都是圍繞，「OpenAI太缺GPU了」。

這已經(jīng)拖延了他們許多的短期計劃。

目前，OpenAI的許多客戶都在抱怨API的可靠性和速度。Sam Altman解釋道，主要還是GPU太缺了。

OpenAI是英偉達(dá)DGX-1超算首位客戶

至于，支持32k tokens的上下文長度還不能推出給更多的人。

由于OpenAI還沒有克服技術(shù)上的障礙，看起來他們似乎今年就會有支持100k-1M tokens的上下文，但需要在研究上取得突破。

微調(diào)（Fine-Tuning）API也目前受到GPU可用性的限制。

OpenAI還沒有使用像Adapters或LoRa這樣的高效微調(diào)方法，因此微調(diào)對于運(yùn)行和管理來說是非常計算密集型的。

不過，未來他們將對微調(diào)提供更好的支持。甚至，OpenAI可能會托管一個社區(qū)貢獻(xiàn)的模型市場。

最后，專用容量提供也受到GPU可用性的限制。

今年年初，網(wǎng)友爆出OpenAI正在悄悄推出一個新的開發(fā)者平臺Foundry，讓客戶在專用容量上運(yùn)行該公司的新機(jī)器學(xué)習(xí)模型。

這一產(chǎn)品就是「為運(yùn)行較大工作負(fù)載的尖端客戶設(shè)計」。要使用這項服務(wù)，客戶必須愿意預(yù)付$100k的費(fèi)用。

然而，從透露的圖片信息可以看出，實例并不便宜。

運(yùn)行GPT-3.5的輕量級版本，3個月的委托將花費(fèi)78,000美元，一年將花費(fèi)2,000美元。

從另一側(cè)面也可以看出，GPU消耗價格不菲。

OpenAI近期路線圖

Altman分享了OpenAI API的暫定近期路線圖：

2023：

· 又快又便宜的 GPT-4ーー這是OpenAI的首要任務(wù)。

總的來說，OpenAI的目標(biāo)是，盡可能地降低「智能成本」。因此他們將努力繼續(xù)降低 API 的成本。

· 更長的上下文窗口ーー在不久的將來，上下文窗口可能支持高達(dá)100萬個tokens。

· 微調(diào) API——微調(diào)API將擴(kuò)展到最新的模型，但具體的形式將取決于開發(fā)人員真正想要的是什么。

· 有記憶的API ーー目前大部分token被浪費(fèi)在上文的傳輸中，將來會有一個能夠記住對話歷史的API版本。

2024：

· 多模態(tài)能力ーーGPT-4發(fā)布時曾演示了強(qiáng)大的多模態(tài)能力，但是在GPU得到滿足之前，這一功能還無法拓展到所有人。

插件「沒有 PMF」，短期內(nèi)不會出現(xiàn)在API中

許多開發(fā)者對通過API訪問ChatGPT插件非常感興趣，但Sam表示這些插件不會很快發(fā)布。

「除了Browsing外，插件系統(tǒng)還沒有找到PMF?！?/p>

他還指出，很多人想把他們的產(chǎn)品放到ChatGPT里，但實際上他們真正需要的是把ChatGPT放到他們的產(chǎn)品里。

除了ChatGPT，OpenAI不會發(fā)布更多產(chǎn)品

OpenAI的每一次動作，都讓開發(fā)者們抖三抖。

不少開發(fā)人員表示，OpenAI可能發(fā)布與他們競爭的產(chǎn)品的時候，對使用OpenAI API構(gòu)建應(yīng)用感到緊張。

而Altman表示，OpenAI不會在ChatGPT之外發(fā)布更多的產(chǎn)品。

在他看來，偉大的公司有一個「殺手級應(yīng)用」，ChatGPT就是要做這個創(chuàng)紀(jì)錄的應(yīng)用。

ChatGPT的愿景是成為一個超級智能的工作助理。OpenAI不會觸及到更多其他GPT的用例。

監(jiān)管是必要的，但開源也是必要的

雖然Altman呼吁對未來模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型是危險的。

他認(rèn)為，監(jiān)管或禁止現(xiàn)有模型將是一個巨大的錯誤。

采訪中，他重申了自己對開源重要性的信念，并表示OpenAI正在考慮將GPT-3開源。

而現(xiàn)在，OpenAI還沒有開源的部分原因是，他對有多少個人和公司有能力托管，和提供大模型表示懷疑。

模型性能「縮放法則」仍有效

近來，許多文章聲稱，巨型人工智能模型的時代已經(jīng)結(jié)束。然而，并沒有準(zhǔn)確反應(yīng)Altman原意。

OpenAI的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續(xù)產(chǎn)生性能。

不過，縮放的速度不能維持，因為OpenAI在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬倍，未來這樣做將不可持續(xù)。

這并不意味著OpenAI不會繼續(xù)嘗試使模型更大，只是意味著它們可能每年只會增加1倍/2倍，而不是增加多個數(shù)量級?？s放法則繼續(xù)有效的事實對AGI開發(fā)的時間線有重要的影響。

縮放假設(shè)是我們可能已經(jīng)有了構(gòu)建AGI所需的大部分部件，剩下的大部分工作將是將現(xiàn)有的方法擴(kuò)展到更大的模型和更大的數(shù)據(jù)集。

如果縮放的時代結(jié)束了，那么我們可能應(yīng)該預(yù)期AGI會更遠(yuǎn)。縮放法則繼續(xù)有效強(qiáng)烈暗示了實現(xiàn)AGI時間線會變短。

網(wǎng)友熱評

有網(wǎng)友調(diào)侃道，

OpenAI：必須通過法規(guī)來保護(hù)我們的護(hù)城河。還是OpenAI：Meta在我們的護(hù)城河里撒尿，讓我們也暗示一下我們的模型要開源吧。

還有人稱，如果GPT-3真的開源了，像LLMa一樣，需要大約5天的時間在M1芯片上就能運(yùn)行了。

社區(qū)開發(fā)人員能夠幫OpenAI解決GPU瓶頸，前提是他們開源模型。沒幾天，開發(fā)者們就能讓其運(yùn)行在CPU和邊緣設(shè)備。

GPU短缺一事，有人認(rèn)為是OpenAI資金鏈出了問題，買不起。

然而還有人稱，明顯是缺乏供應(yīng)。除非芯片制造業(yè)發(fā)生革命，否則相對于消費(fèi)GPU來說，可能總是會出現(xiàn)供應(yīng)不足的情況。

還有網(wǎng)友懷疑，英偉達(dá)的價值還是被低估？計算需求的階梯式變化可能持續(xù)數(shù)年...

英偉達(dá)剛剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許會成就一個世界超越2萬億美元的芯片廠。

參考資料：

https://humanloop.com/blog/openai-plans

https://news.ycombinator.com/item?id=36141544