Salesforce Research：為愛因斯坦提供動(dòng)力的知識(shí)圖和機(jī)器學(xué)習(xí)

現(xiàn)實(shí)生活中可解釋的人工智能可能意味著愛因斯坦不僅要回答你的問題，還要提供理由。在圖形和機(jī)器學(xué)習(xí)的交叉點(diǎn)上完成自然語言處理的最新技術(shù)。

精選

Windows 7與Windows 10：這是一個(gè)很大的推動(dòng)力

數(shù)字化轉(zhuǎn)型：超級(jí)馬拉松運(yùn)動(dòng)員的10節(jié)課

英特爾在量子計(jì)算領(lǐng)域提供AI突破

最佳直播電視和視頻流服務(wù)：剪線鉗的首選

一個(gè)超級(jí)怪異的話題，可能會(huì)在現(xiàn)實(shí)世界中產(chǎn)生超級(jí)重要的影響。這種描述非常適合從冷融合到知識(shí)圖的任何東西，因此需要進(jìn)行一些拆包。(提示：這是關(guān)于Salesforce的，據(jù)我們所知，Salesforce并沒有融入冷聚變。)

另外：

如果你是科學(xué)，你很可能知道arXiv.org。arXiv是科學(xué)論文的電子出版物預(yù)印本庫。換句話說，這是最前沿研究經(jīng)常出現(xiàn)的地方。幾個(gè)月前，來自Salesforce的研究人員的出版物出現(xiàn)在arXiv中，名為“帶有獎(jiǎng)勵(lì)形成的多跳知識(shí)圖推理”。

本文闡述了一種將知識(shí)圖與機(jī)器學(xué)習(xí)結(jié)合使用的技術(shù);具體而言，機(jī)器學(xué)習(xí)的一個(gè)分支稱為強(qiáng)化學(xué)習(xí)。作為一種充分利用兩個(gè)世界的方法，這是一個(gè)很有希望的東西：策劃的，自上而下的知識(shí)表示(知識(shí)圖)，以及緊急的，自下而上的模式識(shí)別(機(jī)器學(xué)習(xí))。

這個(gè)看似枯燥的話題引起了我們的興趣，原因有很多，其中最重要的原因是看到Salesforce正在應(yīng)用這一點(diǎn)。Salesforce的研究科學(xué)家，該論文的主要作者Xi Victoria Lin非常友好地回答了我們的問題。

SALESFORCE RESEARCH：一切都是為了回答問題

從顯而易見的事實(shí)開始，本文發(fā)表的事實(shí)本身就說明了很多。如今，Sal??esforce可能面臨著其他人在研究人員配備時(shí)所面臨的同樣問題：機(jī)器學(xué)習(xí)在現(xiàn)實(shí)世界問題中的適用性的蓬勃發(fā)展意味著吸引和留住研究人員的競(jìng)爭(zhēng)正在激烈進(jìn)行。

此外：

研究界人士通過在會(huì)議和期刊上發(fā)表文章，有與世界分享成就的精神。據(jù)推測(cè)，這與我們?yōu)楹慰吹阶罱鼇碜許alesforce等地的一些出版物有很大關(guān)系。

Lin在2018年的自然語言處理經(jīng)驗(yàn)方法會(huì)議(NLP)中提出的這篇論文受到了好評(píng)。作者還在Github上發(fā)布了源代碼。但那是什么，他們的方法的動(dòng)機(jī)和新穎性是什么?

Salesforce Einstein：Salesforce產(chǎn)品中嵌入的虛擬AI助手。Salesforce正在研究如何在其功能中添加可解釋的問題解答。

(圖片來源：Salesforce)

對(duì)于Salesforce Research來說，這都是關(guān)于問答的。這顯然可以瀏覽他們的主要主題和出版物。考慮到Salesforce的產(chǎn)品，這是有意義的：要求在CRM中找到您感興趣的任何內(nèi)容，而不是必須通過API或用戶界面，無論多么好 - 都不會(huì)那么容易和高效。設(shè)計(jì)那些可能是?

林說：

“在不久的將來，我們希望機(jī)器能夠回答多模態(tài)信息的問題，包括非結(jié)構(gòu)化數(shù)據(jù)，如文本和圖像，以及結(jié)構(gòu)化知識(shí)圖和網(wǎng)絡(luò)表。這項(xiàng)工作是向建筑邁出的一步阻止，使問答系統(tǒng)能夠有效地從(不完整的)知識(shí)圖中檢索目標(biāo)信息。“

她接著補(bǔ)充說，Salesforce Research的目標(biāo)是解決AI的溝通問題。Lin和她的同事研究各種NLP問題，從文本摘要的進(jìn)步到學(xué)習(xí)如何構(gòu)建更高效的自然語言界面到統(tǒng)一的語言理解方法：

“深度學(xué)習(xí)是實(shí)驗(yàn)室的主題，這意味著我們也在NLP以外的領(lǐng)域工作，包括核心機(jī)器學(xué)習(xí)項(xiàng)目，如新穎的神經(jīng)架構(gòu)和其他應(yīng)用領(lǐng)域，如計(jì)算機(jī)視覺和語音技術(shù)。”

尚未在實(shí)際數(shù)據(jù)上進(jìn)行測(cè)試

林還強(qiáng)調(diào)，深度學(xué)習(xí)并不是最終目的。例如，有人向她指出，Lin的團(tuán)隊(duì)提出的使用深度強(qiáng)化學(xué)習(xí)的路徑尋找方法與1992年論文中提出的“關(guān)系尋路”技術(shù)有關(guān)：

“該論文中的學(xué)習(xí)算法不是基于神經(jīng)的。我從中得到的結(jié)論是，重新審視歸納邏輯編程中的早期發(fā)現(xiàn)，并可能將它們與深度學(xué)習(xí)方法相結(jié)合，可能會(huì)產(chǎn)生更強(qiáng)大的算法。”

顯而易見的整合點(diǎn)是愛因斯坦，Salesforce自己的虛擬助手。根據(jù)Lin的回答，看起來這個(gè)作品并沒有被融入愛因斯坦，盡管從概念上講它似乎是可能的。Lin解釋說，這項(xiàng)工作是一個(gè)研究原型，使用公開提供給學(xué)術(shù)界的基準(zhǔn)數(shù)據(jù)集。

另外：

一個(gè)不完整的知識(shí)圖，其中一些鏈接(邊)不明確。(圖片：Lin等人)

似乎Salesforce數(shù)據(jù)和基礎(chǔ)結(jié)構(gòu)未在發(fā)布的上下文中使用。Lin使用的所有數(shù)據(jù)都可以放入4G RAM機(jī)器中。Līn表示，并不真正需要用于表示和存儲(chǔ)的特殊數(shù)據(jù)結(jié)構(gòu)，以便快速訪問圖表。

“我將圖表的事實(shí)存儲(chǔ)在一個(gè)簡(jiǎn)單的.txt文件中，并在運(yùn)行實(shí)驗(yàn)時(shí)將整個(gè)圖表讀入內(nèi)存。這是學(xué)術(shù)界KG研究的常見做法。將該模型應(yīng)用于行業(yè)規(guī)模的知識(shí)圖表需要特殊的基礎(chǔ)設(shè)施。”

多跳推理是對(duì)不完整知識(shí)圖的查詢應(yīng)答(QA)的有效方法。但是，這種方法存在一些問題：假陰性和對(duì)虛假路徑的敏感性。Lin的工作有助于解決這些問題，主要是通過添加更多不完整知識(shí)圖的鏈接。

我們想知道的一件事是這些鏈接是存儲(chǔ)還是動(dòng)態(tài)生成。Lin解釋說，到目前為止，他們已經(jīng)為原型動(dòng)態(tài)生成答案。但在現(xiàn)實(shí)世界中，這兩種方法很可能是混合的：

“人們會(huì)緩存生成的鏈接，定期手動(dòng)驗(yàn)證它們，并將經(jīng)過驗(yàn)證的鏈接添加回知識(shí)圖表中以便重復(fù)使用并生成新的推理路徑。我們還沒有在真實(shí)數(shù)據(jù)上測(cè)試這個(gè)假設(shè)。”

圖表和機(jī)器學(xué)習(xí)的勝利

Lin的工作的另一個(gè)貢獻(xiàn)是在嵌入方法中所謂的知識(shí)圖關(guān)系的符號(hào)組合。嵌入是一種廣泛用于機(jī)器學(xué)習(xí)的技術(shù)，包括使用圖形的機(jī)器學(xué)習(xí)推理。但是這種方法沒有明確地利用邏輯組合規(guī)則。

另外：

例如，從嵌入(A born_in California)和(California is_in US)，(A born_in US)可以推斷出來。但是像這樣的邏輯組合步驟是通過知識(shí)圖嵌入隱含地學(xué)習(xí)的。這意味著這種方法不能提供這樣的邏輯推理路徑作為答案的支持證據(jù)。

Lin的方法將離散圖形路徑作為輸入，因此明確地模擬了組合性。這意味著它可以為用戶提供推理路徑，該路徑由知識(shí)圖中存在的邊緣組成，作為支持證據(jù)。換句話說，這可以導(dǎo)致所謂的可解釋AI，使用知識(shí)圖的結(jié)構(gòu)作為答案的支持證據(jù)，代價(jià)是計(jì)算密集度更高的算法。

圖形和機(jī)器學(xué)習(xí)的結(jié)合是一個(gè)有前途的研究方向，作為橋接自上而下和自下而上的AI的一種方式獲得了更多的關(guān)注瘋狂的AI

結(jié)合圖形和機(jī)器學(xué)習(xí)最近受到了很多關(guān)注，特別是自DeepMind，Google Brain，麻省理工學(xué)院和愛丁堡大學(xué)的研究人員發(fā)表的工作以來。我們問Lin她對(duì)此的看法是什么：圖表是否適合喂養(yǎng)神經(jīng)網(wǎng)絡(luò)?林認(rèn)為這是一個(gè)懸而未決的問題，并且在這個(gè)方向上需要進(jìn)行大量的研究：

“NLP中的神經(jīng)網(wǎng)絡(luò)和圖形的組合是相當(dāng)初步的 - 大多數(shù)神經(jīng)架構(gòu)將序列作為輸入，這是最簡(jiǎn)單的圖形。甚至我們的模型也使用關(guān)系路徑而不是關(guān)系子圖形。”

Lin提到了南加州大學(xué)和微軟的研究人員所做的工作[PDF]，它將LSTM推廣到模型圖。她還提到了阿姆斯特丹大學(xué)的Thomas N. Kipf所做的工作[PDF]，提出圖形卷積網(wǎng)絡(luò)來學(xué)習(xí)支持節(jié)點(diǎn)分類和其他下游任務(wù)的隱藏節(jié)點(diǎn)表示。

“看到越來越多的神經(jīng)架構(gòu)專門用于提供一般圖形作為輸入，這絕對(duì)是有趣的。我們現(xiàn)在看到圖形用于表示多個(gè)AI域之間的對(duì)象之間的關(guān)系。圖形是一種強(qiáng)大的表示形式通過簡(jiǎn)單地改變節(jié)點(diǎn)和邊緣的定義，我們可以使用它來模擬各種數(shù)據(jù)類型。

雖然對(duì)圖形的推斷很難，但它提供了一種集成多模態(tài)數(shù)據(jù)(文本，圖像，表格等)的潛在方法。加州大學(xué)歐文分校的研究人員在EMNLP中提出了一篇非常有趣的論文，它通過利用多模態(tài)關(guān)系數(shù)據(jù)來改進(jìn)知識(shí)圖的完成。例如，他們提出的體系結(jié)構(gòu)將圖像和自由格式文本作為節(jié)點(diǎn)特征。

外賣?基于圖形的機(jī)器學(xué)習(xí)推理可能還處于早期階段，但最初的結(jié)果看起來很有希望。所以，如果有一天你看到愛因斯坦正在回答你的問題，以及支持這方面的證據(jù)，那么你可能會(huì)有像Lin這樣的圖表和研究人員來感謝它。