人類能夠“閱讀”他人的肢體語(yǔ)言，以獲得他們情緒狀態(tài)的線索。例如，注意到朋友因敲擊腳而感到緊張，或者站得很高的親人感到自信?，F(xiàn)在，賓夕法尼亞州立大學(xué)的一個(gè)研究小組正在探索是否可以訓(xùn)練計(jì)算機(jī)做同樣的事情。

該團(tuán)隊(duì)正在研究現(xiàn)代計(jì)算機(jī)視覺(jué)技術(shù)是否能夠與人類在現(xiàn)實(shí)世界，無(wú)約束情境中識(shí)別身體表情的認(rèn)知能力相匹配。如果是這樣，研究人員表示，這些功能可能會(huì)在信息管理和檢索，公共安全，病人護(hù)理和社交媒體等領(lǐng)域?qū)崿F(xiàn)大量創(chuàng)新應(yīng)用。

“未來(lái)的計(jì)算機(jī)和機(jī)器人將與更多人進(jìn)行互動(dòng)，”信息科學(xué)與技術(shù)學(xué)院(IST)教授，研究團(tuán)隊(duì)成員James Wang說(shuō)。“今天的計(jì)算機(jī)在很大程度上只是遵循命令。未來(lái)，機(jī)器人和計(jì)算機(jī)將更像人類的合作伙伴并一起工作。為此，他們需要了解自己的情緒。”

IST博士候選人Yu Luo與王和其他教師一起工作，處理了大量的電影剪輯，并建立了超過(guò)13,000個(gè)人物角色的數(shù)據(jù)集，近10,000個(gè)身體動(dòng)作。根據(jù)研究人員的研究，研究表明，在識(shí)別人類情感時(shí)，人體可能比面部更具診斷性。

“心理學(xué)這個(gè)詞被稱為'社會(huì)編輯'，”羅說(shuō)。“人們可以用它來(lái)操縱他們的面部表情，但是控制他們的身體要困難得多。身體語(yǔ)言投射出不同的情感。”

接下來(lái)，研究人員使用計(jì)算機(jī)視覺(jué)方法在場(chǎng)景中的不同幀中定位和跟蹤每個(gè)人，最終在具有唯一ID號(hào)的剪輯中標(biāo)記每個(gè)人。最后，研究人員利用眾包的人類注釋器來(lái)審查電影剪輯，并確定26個(gè)分類情緒中的每個(gè)人的情感，即和平，感情，自尊，期待，參與，信心，快樂(lè)，快樂(lè)，興奮，驚喜，同情，困惑，斷絕，疲勞，尷尬，向往，不贊成，厭惡，煩惱，憤怒，敏感，悲傷，不安，恐懼，痛苦和痛苦，以及情感的三個(gè)維度，即效價(jià)，喚醒和支配。

“我們發(fā)現(xiàn)根據(jù)肢體語(yǔ)言解釋情緒很復(fù)雜，”王說(shuō)。“我們正在努力理解許多細(xì)微之處。即使是人類也存在許多不一致之處。

“在解釋情緒方面，人們并不認(rèn)同對(duì)方，”他補(bǔ)充道。“你可能認(rèn)為一個(gè)人很開(kāi)心，我可能認(rèn)為他們很興奮，也許我們兩個(gè)都是正確的。通常沒(méi)有基本事實(shí)，這使得數(shù)據(jù)驅(qū)動(dòng)建模極具挑戰(zhàn)性。”

一旦研究人員構(gòu)建了數(shù)據(jù)集并為每個(gè)人應(yīng)用了人類感知的情感注釋，他們就會(huì)使用最先進(jìn)的統(tǒng)計(jì)技術(shù)來(lái)驗(yàn)證其質(zhì)量控制機(jī)制，并徹底分析其驗(yàn)證數(shù)據(jù)標(biāo)簽的共識(shí)水平。此外，他們從人類骨骼和圖像序列構(gòu)建了自動(dòng)情緒識(shí)別系統(tǒng)。具體而言，深度學(xué)習(xí)技術(shù)和手工制作的基于拉班運(yùn)動(dòng)分析的功能證明了該任務(wù)的有效性。

他們發(fā)現(xiàn)計(jì)算機(jī)模型能夠以高精度識(shí)別喚醒，或者體驗(yàn)感覺(jué)如何充滿活力。然而，研究人員還發(fā)現(xiàn)人類在識(shí)別效價(jià)方面比計(jì)算機(jī)更好 - 經(jīng)驗(yàn)感覺(jué)是消極的還是積極的。

目前的結(jié)果是通過(guò)IST??學(xué)院的種子資助實(shí)現(xiàn)的，并且正在進(jìn)行的研究得到亞馬遜研究獎(jiǎng)計(jì)劃的最新獎(jiǎng)項(xiàng)的支持。該團(tuán)隊(duì)最近還獲得了國(guó)家科學(xué)基金會(huì)的一項(xiàng)規(guī)劃項(xiàng)目，旨在建立一個(gè)社區(qū)，以開(kāi)發(fā)將用于本研究的數(shù)據(jù)基礎(chǔ)設(shè)施。

王和羅與其他賓夕法尼亞州立大學(xué)的研究人員一起參與了這個(gè)項(xiàng)目，其中包括葉劍波，IST學(xué)院的前博士生和實(shí)驗(yàn)室同伴; Reginald Adams和Michelle Newman，心理學(xué)教授; 和統(tǒng)計(jì)學(xué)教授賈莉。最近提交了臨時(shí)專利申請(qǐng)，該工作將在即將出版的“ 國(guó)際計(jì)算機(jī)視覺(jué)期刊”上發(fā)表。

“這一研究領(lǐng)域的進(jìn)入壁壘相當(dāng)高，”王說(shuō)。“你必須使用心理學(xué)方面的知識(shí)，你必須開(kāi)發(fā)和整合數(shù)據(jù)科學(xué)方法，你必須使用統(tǒng)計(jì)建模來(lái)正確收集情感數(shù)據(jù)。這表明我們?cè)谶@個(gè)重要的信息子領(lǐng)域處于科學(xué)和技術(shù)的最前沿。 “