2月20日晚，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室的邱錫鵬教授團(tuán)隊(duì)發(fā)布了國內(nèi)首個(gè)類ChatGPT模型MOSS，該名字與《流浪地球》系列電影中的人工智能550W量子計(jì)算機(jī)MOSS同名。

南都記者了解獲悉，MOSS可執(zhí)行對(duì)話生成、編程、事實(shí)問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。目前，MOSS已由邱錫鵬教授團(tuán)隊(duì)發(fā)布至公開平臺(tái)，邀請(qǐng)公眾參與內(nèi)測(cè)。

南都實(shí)測(cè)：實(shí)行邀請(qǐng)碼機(jī)制注冊(cè)

南都記者實(shí)測(cè)發(fā)現(xiàn)，目前，MOSS賬號(hào)的注冊(cè)實(shí)行邀請(qǐng)碼機(jī)制，或者填寫內(nèi)測(cè)申請(qǐng)等待對(duì)方將邀請(qǐng)碼發(fā)送到郵箱后，才能參與內(nèi)測(cè)。目前內(nèi)測(cè)申請(qǐng)的渠道較為擁擠，網(wǎng)頁長時(shí)間顯示加載中。有網(wǎng)友表示，由于瞬時(shí)訪問壓力過大，MOSS服務(wù)器昨晚被網(wǎng)友擠崩了。

對(duì)此，邱錫鵬教授團(tuán)隊(duì)在公開平臺(tái)發(fā)布公告回應(yīng)稱，“最初的想法只是想將MOSS進(jìn)行內(nèi)測(cè)，以便我們可以進(jìn)一步優(yōu)化，沒有想到會(huì)引起這么大的關(guān)注”，“我們一個(gè)學(xué)術(shù)研究的實(shí)驗(yàn)室無法做出和ChatGPT能力相近的模型，MOSS只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證ChatGPT的技術(shù)路線，并且實(shí)現(xiàn)各種對(duì)話能力。”

國盛證券此前對(duì)GPT技術(shù)的訓(xùn)練成本進(jìn)行的估算顯示，GPT-3 訓(xùn)練一次的成本約為 140 萬美元，對(duì)于一些更大的 LLM（大型語言模型），訓(xùn)練成本介于 200 萬美元至 1200 萬美元之間。以 ChatGPT 在 1 月的獨(dú)立訪客平均數(shù) 1300 萬計(jì)算，其對(duì)應(yīng)芯片需求為 3 萬多片英偉達(dá) A100 GPU，初始投入成本約為 8 億美元，每日電費(fèi)在 5 萬美元左右。要維持這些服務(wù)器和網(wǎng)絡(luò)的總成本支出超過 1000 億美元。

日前，在南都舉辦的關(guān)于ChatGPT的沙龍上，專家表示，開發(fā)大模型中國企業(yè)面臨一場(chǎng)硬仗，需要國內(nèi)的企業(yè)形成合力，“這里面需要天才的介入，也需要像阿里、百度這樣的大企業(yè)來發(fā)動(dòng)，將智慧匯聚在一起，形成我們自己的布局和戰(zhàn)略?！?/p>

MOSS的短板：中文水平不夠高

邱錫鵬教授團(tuán)隊(duì)同時(shí)解釋了產(chǎn)品取名“MOSS”的原因——“我們?cè)谟?xùn)練完成第一代模型的時(shí)候，正值《流浪地球2》熱映，片中MOSS給團(tuán)隊(duì)每個(gè)人都留下了深刻的印象，因此便使用了這樣一個(gè)名稱來指代我們的模型，以表示我們對(duì)最前沿AI模型的不懈追求?！?/p>

邱錫鵬教授團(tuán)隊(duì)透露，在MOSS完成初步的驗(yàn)證之后，會(huì)將MOSS的經(jīng)驗(yàn)、代碼、模型參數(shù)開源出來供大家參考。

邱錫鵬本人表示：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)上的重要挑戰(zhàn)?！?/p>

據(jù)了解，MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。但MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個(gè)階段?！癕OSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間?！鼻皴a鵬坦言。

此外，MOSS的最大短板是中文水平不夠高?！癕OSS的英文回答水平比中文高，因?yàn)樗哪Ｐ突鶎W(xué)習(xí)了3000多億個(gè)英文單詞，中文詞語只學(xué)了約300億個(gè)?！敝饕蚴腔ヂ?lián)網(wǎng)上中文網(wǎng)頁干擾信息如廣告很多，清洗難度很大。為解決這一問題，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室正在加緊推進(jìn)中文語料的清洗工作，并將清洗后的高質(zhì)量中文語料用于下一階段模型訓(xùn)練。

“MOSS”火出圈：商標(biāo)注冊(cè)跟風(fēng)涌現(xiàn)

提到MOSS，很容易讓人聯(lián)想到《流浪地球2》中的那句臺(tái)詞?！?50W聽起來不像是名字，但把它反過來，叫MOSS，直譯為小苔蘚，是不是感覺親切了一些?！盡OSS平靜的語調(diào)和閃爍的紅色燈光，穿插在故事主線中，給觀眾留下了深刻的印象。

據(jù)統(tǒng)計(jì)，春節(jié)檔電影《流浪地球2》累計(jì)票房已超過38億元。在該片票房加持下，郭帆也成為中國影史上第七位“百億票房導(dǎo)演”。

在這種影響力下，MOSS也成了香餑餑。天眼查App顯示，“MOSS”商標(biāo)已被多方注冊(cè)為商標(biāo)，申請(qǐng)人包括科技公司、電商公司、傳媒公司以及自然人許某某、譚某某等，國際分類包括科學(xué)儀器、燈具空調(diào)、運(yùn)輸貯藏等。

“MOSS”商標(biāo)相關(guān)的知識(shí)產(chǎn)權(quán)情況。來源：天眼查

最近的一枚“MOSS”商標(biāo)是某科技公司申請(qǐng)于2023年1月，國際分類為手工器械，目前商標(biāo)狀態(tài)為申請(qǐng)中。

值得一提的是，復(fù)旦復(fù)華（600624.SH）今日（2月21日）開盤漲停，截至記者發(fā)稿，仍處于漲停板狀態(tài)，股價(jià)報(bào)6.78元。盡管公司方面已回應(yīng)稱，MOSS為復(fù)旦大學(xué)研發(fā)，與本公司無關(guān)。目前復(fù)旦復(fù)華的主營業(yè)務(wù)為生物醫(yī)藥、軟件和園區(qū)板塊，未參與MOSS研發(fā)。

采寫：南都記者 趙唯佳 發(fā)自上海