Facebook的人工智能研究人員在微軟和其他人的幫助下進行的競賽表明，讓機器參與閑聊的最先進技術(shù)仍然是令人厭煩和無意義的。新技術(shù)和基準可能會有所幫助。Facebook和微軟以及一些合作機構(gòu)的研究人員上周公布了一項名為“第二次會話智能挑戰(zhàn)”的正式文章，這是12月在蒙特利爾舉行的NeurIPS人工智能會議期間舉行的聊天機器人之間的競賽。雖然比賽發(fā)現(xiàn)一些更好的和一些更糟糕的聊天機器人程序，但總的來說，這些計算機的對話質(zhì)量與你在網(wǎng)上聊天機器人的任何互動一樣缺乏。

來自獲勝的實例 - 讓我們強調(diào)他們是獲勝者 - 神經(jīng)網(wǎng)絡(luò)方法包括如此惱人的蠢事作為陳述序列中的不一致。例如，競爭中的頂級團隊Lost in Conversation在一個關(guān)于他們都喜歡什么的隨意談話中聘請了一個人與機器人。機器說出了“我喜歡畫畫”這句話。當人類回應(yīng)“太棒了!你喜歡畫什么?”機器不會對繪畫有所反應(yīng)，而是“我喜歡畫出我喜歡的汽車的肖像”。(讓我們稱之為雙重錯誤：不僅繪畫不是繪畫，人們通常不繪制或繪制無生命物體的“肖像”。)

另外：

與機器人聊天時可能發(fā)生的令人痛苦的對話的一個例子。

Facebook AI Research等。

其他煩惱包括在同一話語中無意識地重復(fù)短語，例如“你有沒有寵物嗎?你有寵物嗎?”來自第二名的球隊Hugging Face。熱鬧的例子包括自相矛盾。計算機上寫著“剛讀完一本書”，一個人問道：“哪本書?”計算機回答“我讀的不多，我更喜歡閱讀。”

研究人員寫道，也許表明了令人厭惡的聊天機器人，通過在Facebook的Messenger應(yīng)用程序上進行交談而自愿測試這些東西的人，大多數(shù)人最終調(diào)出機器人或進行“毫無意義”甚至“冒犯”的對話。那些“在野外”的免費評估是如此混亂，他們不得不從機器人的評估中完全消除。

另一組人員獲得了在亞馬遜機械土耳其眾包平臺上測試機器的報酬。他們通常更加勤勉地堅持這項任務(wù)，毫不奇怪，因為他們得到了報酬。

另外：

作者看著土耳其志愿者給予機器的評級，他們指出，即使是像Lost in Translation and Hugging Face這樣表現(xiàn)最好的神經(jīng)網(wǎng)絡(luò)也“遭受了重復(fù)，一致性或有時'無聊'的錯誤。”另一個缺陷是機器“問了太多問題。”

“當模型提出太多問題時，”作者寫道，“它可以使談話變得脫節(jié)，特別是如果問題與之前的談話無關(guān)。”

他們指出，頂級競爭對手的神經(jīng)網(wǎng)絡(luò)“經(jīng)常在幾次對話中無法自我控制”。“即使他們偶爾發(fā)生這些問題，這些問題對于一個人類說話的伙伴來說也會特別刺耳。”人工智能還“提出已經(jīng)回答的問題。一個模特問'你做什么工作?'即使人類早先說“我在電腦上工作”導(dǎo)致人們回答“我只是告訴你傻”。

此外：

論文“第二次會話智力挑戰(zhàn)(ConvAI2)”由Facebook AI Research的Emily Dinan，Alexander Miller，Kurt Shuster，Jack Urbanek，Douwe Kiela，Arthur Szlam，Ryan Lowe，Joelle Pineau和Jason Weston撰寫，同時來自莫斯科物理科學(xué)與技術(shù)學(xué)院的Varvara Logacheva，Valentin Malykh和Mikhail Burtsev;蒙特利爾大學(xué)的尤利安塞爾班;Shrimai Prabhumoye，Alan W Black和Carnegie Mellon的Alexander Rudnicky;和微軟的杰森威廉姆斯。該論文發(fā)布在arXiv預(yù)打印服務(wù)器上。

聊天機器人的缺陷來自于盡管事實上研究人員在2017年相對于之前的競爭對手在團隊競爭的培訓(xùn)和測試框架方面做了很多改進。

來自獲獎聊天機器人團隊的片段，迷失在翻譯中。比其他人少得多的傻瓜，但仍然不是真正的崇高對話??。

Facebook AI Research等。

這一次，作者提供了一套基準的會話數(shù)據(jù)，一年前由Dinan，Urbanek，Szlam，Kiela和Weston以及蒙特利爾Mila機器學(xué)習(xí)研究所的Saizheng Zhang發(fā)布。這個名為“Persona-Chat”的數(shù)據(jù)集包含16,064個人類發(fā)言人的話語實例，要求他們在Mechanical Turk上互相聊天。另外一組1000多個人類話語作為神經(jīng)網(wǎng)絡(luò)的測試集保密。該數(shù)據(jù)集已提供給所有競爭研究人員，但并非所有人都使用過它。

幫助眾包Persona-Chat的每個人都被賦予了“他們應(yīng)該是誰”的形象 - 喜歡滑雪的人，或者最近有貓的人 - 以便人類對話者發(fā)揮作用。兩個發(fā)言者中的每一個都試圖在他們進行對話時保持他們的話語與該角色一致。同樣，可以在訓(xùn)練期間將配置文件提供給神經(jīng)網(wǎng)絡(luò)，因此堅持個性是競爭的嵌入式挑戰(zhàn)之一。

正如作者描述的挑戰(zhàn)，“任務(wù)旨在模擬兩個對話者第一次見面時的正常對話，并相互了解。

“這項任務(wù)在技術(shù)上具有挑戰(zhàn)性，因為它涉及提問和回答問題，以及保持一致的角色。”

不同的團隊使用了各種方法，但特別受歡迎的是“變形金剛”，這是對典型的“長期短期記憶”的修改，或由Google的Ashish Vaswani及其同事在2017年開發(fā)的LSTM神經(jīng)網(wǎng)絡(luò)。

那么為什么所有糟糕的結(jié)果呢?

回顧這些缺點，很明顯一些問題是機器在測試時試圖提高分數(shù)的機械方式。對于表示輪廓或角色的神經(jīng)網(wǎng)絡(luò)，機器似乎試圖通過重復(fù)句子來產(chǎn)生最佳分數(shù)，而不是創(chuàng)建真正引人入勝的句子。“我們經(jīng)常觀察模型幾乎逐字逐句地重復(fù)人物句，”他們寫道，“這可能會導(dǎo)致高人格檢測分數(shù)但是低接合度分數(shù)。

“訓(xùn)練模型使用角色創(chuàng)建引人入勝的反應(yīng)而不是簡單地復(fù)制它仍然是一個懸而未決的問題。”

必讀

谷歌人工智能領(lǐng)導(dǎo)者(CNET)稱，人工智能是非常非常愚蠢的

如何立即獲取所有Google智能助理的新聲音(CNET)

統(tǒng)一的Google AI部門是AI未來的明確信號(TechRepublic)

前5：關(guān)于AI的事情(TechRepublic)

他們寫道，這可以追溯到測試本身的設(shè)計和意圖。測試可能太淺，無法培養(yǎng)強大的會話技巧。“很明顯，智能代理的許多方面都沒有通過這項任務(wù)進行評估，例如使用長期記憶或深入的知識和深層推理，”作者觀察到。

“例如，'權(quán)力的游戲'被提及，但模仿這種對話的模型并不需要更多地了解該節(jié)目，因為在ConvAI2發(fā)言者傾向于淺談對方的興趣而不會長時間徘徊在一個話題上“。

作者提出，自然語言處理中的許多新興技術(shù)可能有助于解決一些缺點。

例如，這些團隊無法訪問谷歌去年年底推出的名為“BERT”的語言編碼器 - 解碼器神經(jīng)網(wǎng)絡(luò)。BERT可以改善句子表示。

同樣，研究中的新方向可能是一種解決方案。例如，F(xiàn)acebook AI作者去年年底推出了一種名為“對話自然語言推理”的東西，它通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來推斷一對話語是否“相互”或“相互矛盾”或是中立的。他們建議，通過培訓(xùn)一種非常不同的任務(wù)，這種方法可以“修復(fù)模型”。