對(duì)于任何事物的最新技術(shù)水平，百分之十是相當(dāng)大的提升。這就是Salesforce研究剛剛為深度學(xué)習(xí)語(yǔ)言模型的常識(shí)推理所取得的成果。在其論文中，解釋自己!利用語(yǔ)言模型進(jìn)行常識(shí)推理，明天在計(jì)算語(yǔ)言學(xué)協(xié)會(huì)(ACL)2019年會(huì)上展示，Salesforce研究人員揭示了兩個(gè)重要貢獻(xiàn)：CoSE，一個(gè)關(guān)于常識(shí)解釋的數(shù)據(jù)集;和CAGE，一個(gè)用于常識(shí)自動(dòng)生成解釋的模型。ZDNe借此機(jī)會(huì)與兩名負(fù)責(zé)此項(xiàng)工作的Salesforce Research Scientists進(jìn)行了問(wèn)答，Nazneen Rajani和Bryan McCann。

作為提醒，Salesforce研究側(cè)重于問(wèn)答，作為通過(guò)愛(ài)因斯坦促進(jìn)數(shù)據(jù)訪問(wèn)的一種方式。我們之前已經(jīng)看到其他Salesforce研究人員如何調(diào)查知識(shí)圖的使用情況。

Rajani和McCann的工作采用了不同的方法，但也建立在之前的一些貢獻(xiàn)上。對(duì)于一些世界領(lǐng)先的研究人員來(lái)說(shuō)，常識(shí)推理是一個(gè)開(kāi)放的問(wèn)題。例如，構(gòu)建CAGE的關(guān)鍵因素之一是OpenAI GPT。配音這個(gè)語(yǔ)言模型最近打開(kāi)由伊隆·馬斯克的OpenAI來(lái)源為“太危險(xiǎn)了”在野外被釋放可能是過(guò)于謹(jǐn)慎。

然而，它是語(yǔ)言模型的最新技術(shù)。正如Rajani和McCann指出的那樣，這些自然語(yǔ)言處理網(wǎng)絡(luò)僅限于文本，作為生活在現(xiàn)實(shí)世界中的不良替代品。因此，研究人員通過(guò)讓他們閱讀一系列令人難以置信的文本來(lái)訓(xùn)練模型，包括所有維基百科，數(shù)千本書(shū)，以及其他方法，也可以通過(guò)查詢Google來(lái)獲得結(jié)果。

這些模型使用名為Commonsense Question Answering(CQA)的多項(xiàng)選擇測(cè)試進(jìn)行測(cè)試，該測(cè)試包含需要常識(shí)推理才能回答的問(wèn)題。在典型的深度學(xué)習(xí)方式中，模型在CQA的一些示例上進(jìn)行訓(xùn)練，然后在不同的問(wèn)題集上進(jìn)行測(cè)試。與人類相比，已知這些讀得很好的神經(jīng)網(wǎng)絡(luò)在這項(xiàng)任務(wù)上的表現(xiàn)非常糟糕。

常識(shí)問(wèn)答(CQA)數(shù)據(jù)集中的示例問(wèn)題和答案選擇以及常識(shí)解釋。圖像：Salesforce研究

Rajani和McCann創(chuàng)建了一個(gè)以CQA為模型的數(shù)據(jù)集，但除了問(wèn)題的答案之外，它們還包括解釋。這就是他們創(chuàng)建CoSE的方式，CoSE是Commonsense Explanations的數(shù)據(jù)集。正如Rajani所說(shuō)，CoSE v1.0有8500個(gè)例子，v1.11有10,962個(gè)例子，包括訓(xùn)練和驗(yàn)證集。對(duì)于深度學(xué)習(xí)標(biāo)準(zhǔn)，這不是很多數(shù)據(jù)。

Rajani和McCann承認(rèn)這一點(diǎn)，并且增加數(shù)據(jù)集是他們未來(lái)工作的目標(biāo)之一。McCann表示，他們希望將此數(shù)據(jù)集收集流程擴(kuò)展到該領(lǐng)域的其他基準(zhǔn)，包括自由格式文本，結(jié)構(gòu)化信息和來(lái)自圖像或視頻的視覺(jué)信號(hào)，以便他們可以訓(xùn)練解釋許多不同領(lǐng)域的模型。

使用Mechanical Turk上的眾包產(chǎn)生了解釋。要求Turkers提供問(wèn)題的答案，解釋答案，并突出引導(dǎo)他們解釋問(wèn)題的部分。讓我們注意到，最近使用Mechanical Turk進(jìn)行知識(shí)圖表質(zhì)量處理的研究表明，眾包是這類任務(wù)的可行解決方案。

拉賈尼提到有一些例子需要重新注釋，即使他們對(duì)解釋的質(zhì)量有最初的限制，因?yàn)樗麄円呀?jīng)陷入困境。設(shè)計(jì)任務(wù)并收集數(shù)據(jù)大約需要三周時(shí)間。CoSE可以被其他研究人員使用并進(jìn)一步增強(qiáng)，并且可以在GitHub上獲得。