2月20日，復(fù)旦團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類ChatGPT模型MOSS ，引起不少網(wǎng)友關(guān)注。由于瞬時(shí)訪問壓力過大，MOSS服務(wù)器當(dāng)晚被網(wǎng)友擠崩。2月21日，MOSS官網(wǎng)發(fā)布公告稱，MOSS還是一個(gè)非常不成熟的模型，距離ChatGPT還有很長(zhǎng)的路需要走。據(jù)了解，在MOSS完成初步驗(yàn)證后，團(tuán)隊(duì)會(huì)將MOSS的經(jīng)驗(yàn)、代碼、模型參數(shù)開源供大家參考。

據(jù)了解，MOSS可執(zhí)行對(duì)話生成、編程、事實(shí)問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。MOSS開發(fā)的基本步驟與ChatGPT一樣，包括自然語言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。在對(duì)話能力階段，復(fù)旦團(tuán)隊(duì)采用了不同的技術(shù)路線，通過讓MOSS和人類以及其他對(duì)話模型都進(jìn)行交互，顯著提升了其學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。

領(lǐng)導(dǎo)開發(fā)MOSS模型的邱錫鵬教授表示，MOSS與ChatGPT的差距主要在自然語言模型基座預(yù)訓(xùn)練這個(gè)階段。MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間。

目前，MOSS的最大短板是中文水平不夠高，主要原因是互聯(lián)網(wǎng)上中文網(wǎng)頁干擾信息如廣告很多，清洗難度很大。為此，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室正在加緊推進(jìn)中文語料的清洗工作，并將清洗后的高質(zhì)量中文語料用于下一階段模型訓(xùn)練。

值得一提的是，復(fù)旦大學(xué)團(tuán)隊(duì)開發(fā)的這個(gè)對(duì)話式大型語言模型的名字剛好和《流浪地球》系列電影中的人工智能550W量子計(jì)算機(jī)MOSS重名。