斯坦福大學(xué)的Srijan Kumar博士的人工智能被用于清除虛假評(píng)論，但也可以幫助預(yù)測(cè)和抑制在線騷擾。

你如何控制在線巨魔?禁止他們?需要真實(shí)姓名?

Srijan Kumar博士是斯坦福大學(xué)計(jì)算機(jī)科學(xué)博士后研究員，他正在開(kāi)發(fā)一種預(yù)測(cè)在線沖突的AI。他的研究使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)來(lái)促進(jìn)健康的在線互動(dòng)，并遏制欺騙，不當(dāng)行為和虛假信息。

他的工作目前部署在印度電子商務(wù)平臺(tái)Flipkart內(nèi)，該平臺(tái)使用它來(lái)發(fā)現(xiàn)虛假評(píng)論者。我們?cè)谀霞又荽髮W(xué)健康在線互動(dòng)講座前與庫(kù)馬爾博士進(jìn)行了交談。

Kumar博士，您如何使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)來(lái) 抵制在線騷擾?你的系統(tǒng)如何識(shí)別巨魔?

在我的研究中，我構(gòu)建了數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)方法，以解決在線不當(dāng)行為，這種行為是虛假信息和惡意用戶。我的方法有雙重目的：第一，表征他們的行為，第二，在他們損害其他用戶之前檢測(cè)它們。我已經(jīng)能夠調(diào)查各種各樣的在線不當(dāng)行為，包括欺詐性評(píng)論，惡作劇，在線拖釣和多賬戶濫用等。

Srijan Kumar博士，斯坦福大學(xué)計(jì)算機(jī)科學(xué)博士后研究員

你是如何教AI來(lái)發(fā)現(xiàn)這些模式的?

我開(kāi)發(fā)了統(tǒng)計(jì)分析，圖形挖掘，嵌入和基于深度學(xué)習(xí)的方法來(lái)表征正常行為的樣子，[和]用它來(lái)識(shí)別異常或惡意行為。通常，我們也可能已經(jīng)知道惡意行為的例子，在這種情況下，我創(chuàng)建了監(jiān)督學(xué)習(xí)模型，我使用這些示例作為訓(xùn)練數(shù)據(jù)來(lái)識(shí)別其他類(lèi)似的惡意實(shí)體。

您的研究目前正在Flipkart中使用。他們?cè)噲D解決什么問(wèn)題，他們?nèi)绾魏饬拷Y(jié)果?

我在Flipkart上提到的關(guān)鍵問(wèn)題是在他們的平臺(tái)上識(shí)別虛假評(píng)論和假評(píng)論者。這是所有平臺(tái)中普遍存在的問(wèn)題 ; 最近的調(diào)查估計(jì)有多達(dá)15%的在線評(píng)論是假的。因此，識(shí)別和清除虛假評(píng)論至關(guān)重要，因?yàn)槲覀冏鳛橄M(fèi)者的決定受到他們的影響。

這里叫什么方法?

我的方法稱(chēng)為REV2，它使用用戶評(píng)論產(chǎn)品的評(píng)論圖來(lái)識(shí)別欺詐者[誰(shuí)]對(duì)低質(zhì)量產(chǎn)品給予高評(píng)分，或者對(duì)高質(zhì)量產(chǎn)品評(píng)分較低。REV2 [比較]我們對(duì)先前確定的假審查者案例的建議。

AI是否有可能密切關(guān)注社交網(wǎng)絡(luò)并在即將出現(xiàn)不良行為時(shí)發(fā)出警報(bào)?這是純粹的基于模式的分析，是有感知的數(shù)據(jù)處理還是完全不同的東西?

通過(guò)從以前的此類(lèi)案例中學(xué)習(xí)，可以主動(dòng)預(yù)測(cè)何時(shí)可能出現(xiàn)問(wèn)題。例如，在我最近的研究中，我表明可以準(zhǔn)確預(yù)測(cè)Reddit在線平臺(tái)中的一個(gè)社區(qū)何時(shí)會(huì)攻擊/騷擾/哄騙另一個(gè)社區(qū)。這種現(xiàn)象被稱(chēng)為“brigading”，我表明，旅減少了未來(lái)對(duì)受攻擊社區(qū)的參與。這對(duì)用戶及其交互是有害的，這需要方法來(lái)避免它們。因此，我創(chuàng)建了一個(gè)基于深度學(xué)習(xí)的模型，該模型使用文本和社區(qū)結(jié)構(gòu)以高精度預(yù)測(cè)社區(qū)是否會(huì)攻擊另一個(gè)社區(qū)。這些模型具有實(shí)際用途，因?yàn)樗梢蕴嵝焉鐓^(qū)版主注意接收攻擊。

您是否看到在“輕推”中使用的工作的邏輯推斷，以提示用戶在起訴前清理其行為?類(lèi)似于班上的一位老師，在他們陷入犯罪策劃的幫派之前，對(duì)后排的麻煩制造者保持警惕?

絕對(duì)!一個(gè)自然而令人興奮的后續(xù)工作是如何阻止壞演員做惡意行為并鼓勵(lì)每個(gè)人保持良性。這將有助于我們?yōu)槊總€(gè)人創(chuàng)建一個(gè)健康，協(xié)作，更具包容性的在線生態(tài)系統(tǒng)。實(shí)現(xiàn)這一目標(biāo)存在許多有趣的挑戰(zhàn)，需要新的干預(yù)方法和更好的預(yù)測(cè)模型。實(shí)現(xiàn)更好的在線對(duì)話并推動(dòng)人們成為更好的自我將成為我未來(lái)的重點(diǎn)之一。

您是否有過(guò)在線騷擾的個(gè)人經(jīng)歷，或者這是一個(gè)有趣的AI問(wèn)題需要解決?

我遵循這一研究方向的一個(gè)主要原因是看到我的一些朋友被社交媒體巨魔騷擾。這導(dǎo)致尋找非算法方法來(lái)遏制這個(gè)問(wèn)題。作為一項(xiàng)具有挑戰(zhàn)性的任務(wù)，它激起了我內(nèi)心科學(xué)家的興趣，我最終學(xué)會(huì)了創(chuàng)建數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)方法來(lái)幫助解決這些問(wèn)題。

你正在合作完成120萬(wàn)美元的DARPA資助項(xiàng)目“ 積極社會(huì)工程防御 ”，該項(xiàng)目一直持續(xù)到2022年。該機(jī)構(gòu)要求你證明什么?

在這個(gè)項(xiàng)目中，我們正在研究惡意行為者如何對(duì)毫無(wú)戒心的受害者進(jìn)行社會(huì)工程攻擊。社交工程攻擊是非常細(xì)致和復(fù)雜的個(gè)性化攻擊，旨在危害敏感信息。因此，我們想要回答的關(guān)鍵問(wèn)題是：我們能預(yù)測(cè)社會(huì)工程攻擊何時(shí)發(fā)生; 我們?cè)鯓硬拍艿钟麄兡?

最后，作為一名科學(xué)家，您真正興奮的是如何預(yù)測(cè)人類(lèi)行為?你覺(jué)得我們?cè)絹?lái)越接近理解是什么讓我們“嘀嗒”了嗎?

人類(lèi)行為是高度不穩(wěn)定和不可預(yù)測(cè)的，這使得預(yù)測(cè)變得有趣和具有挑戰(zhàn)性。話雖如此，我確實(shí)認(rèn)為人工智能在理解人類(lèi)行為方面確實(shí)越來(lái)越好。舉一個(gè)例子，推薦系統(tǒng)在預(yù)測(cè)我們想要的東西方面明顯好于幾年前。然而，需要解決的這個(gè)難題的一個(gè)關(guān)鍵部分是預(yù)測(cè)惡意實(shí)體在被捕獲和被禁止后將如何重建自己。因此，我熱衷于構(gòu)建新的機(jī)器學(xué)習(xí)和AI模型來(lái)解決這個(gè)問(wèn)題。