麻省理工學(xué)院的研究人員在處理各種物體時戴著傳感器手套，編制了大量的數(shù)據(jù)集，使人工智能系統(tǒng)能夠通過觸摸識別物體。該信息可用于幫助機器人識別和操縱物體，并可輔助假肢設(shè)計。研究人員開發(fā)了一種低成本的針織手套，稱為“可伸縮觸覺手套”(STAG)，幾乎整個手上都配備了約550個微型傳感器。當(dāng)人類以各種方式與物體相互作用時，每個傳感器捕獲壓力信號。神經(jīng)網(wǎng)絡(luò)處理信號以“學(xué)習(xí)”與特定對象相關(guān)的壓力信號模式的數(shù)據(jù)集。然后，系統(tǒng)使用該數(shù)據(jù)集對對象進行分類，并通過單獨感覺預(yù)測其權(quán)重，無需視覺輸入。

在Nature發(fā)表的一篇論文中，研究人員描述了他們使用STAG編制的26個常見物體的數(shù)據(jù)集 - 包括汽水罐，剪刀，網(wǎng)球，勺子，筆和杯子。使用數(shù)據(jù)集，系統(tǒng)可以高達76%的準確度預(yù)測對象的身份。該系統(tǒng)還可以預(yù)測大約60克內(nèi)的大多數(shù)物體的正確重量。

目前使用的類似的基于傳感器的手套運行數(shù)千美元，并且通常僅包含大約50個捕獲較少信息的傳感器。盡管STAG生產(chǎn)的分辨率非常高，但它的市售材料總價約為10美元。

觸覺傳感系統(tǒng)可以與傳統(tǒng)的計算機視覺和基于圖像的數(shù)據(jù)集結(jié)合使用，從而使機器人更加人性化地理解與物體的相互作用。

“人類可以很好地識別和處理物體，因為我們有觸覺反饋。當(dāng)我們觸摸物體時，我們會感覺周圍并意識到它們是什么。機器人沒有那么豐富的反饋，”Subramanian Sundaram博士18歲，前研究生計算機科學(xué)與人工智能實驗室(CSAIL)。“我們一直希望機器人做人類可以做的事情，比如做菜或其他家務(wù)。如果你想讓機器人做這些事情，他們必須能夠很好地操縱物體。”

研究人員還使用數(shù)據(jù)集來測量對象交互過程中手部區(qū)域之間的協(xié)作。例如，當(dāng)某人使用食指的中間關(guān)節(jié)時，他們很少使用拇指。但索引和中指的提示始終對應(yīng)于拇指的使用。“我們第一次量化地表明，如果我使用我的一部分手，我有多大可能使用另一部分手，”他說。

假肢制造商可以潛在地使用信息來選擇放置壓力傳感器的最佳位置，并幫助定制假肢以適應(yīng)人們經(jīng)常與之交互的任務(wù)和物體。

在論文上加入Sundaram是：CSAIL博士后，Petr Kellnhofer和Jun-Yan Zhu;CSAIL研究生Yunzhu Li;Antonio Torralba，EECS教授，麻省理工學(xué)院 - IBM Watson AI實驗室主任;和Wojciech Matusik，電氣工程和計算機科學(xué)副教授，計算制造團隊負責(zé)人。

STAG與導(dǎo)電聚合物層壓，改變了對施加壓力的抵抗力。研究人員通過導(dǎo)電聚合物薄膜上的孔縫合導(dǎo)電線，從指尖到手掌底部。螺紋重疊的方式將它們變成壓力傳感器。當(dāng)戴著手套的人感覺到，舉起，握住并掉落物體時，傳感器記錄每個點的壓力。

線程從手套連接到外部電路，外部電路將壓力數(shù)據(jù)轉(zhuǎn)換為“觸覺圖”，這些圖基本上是在手的圖形上生長和收縮的點的簡短視頻。圓點代表壓力點的位置，它們的大小代表力 - 點越大，壓力越大。

從這些地圖中，研究人員通過與26個物體的相互作用編制了大約135,000個視頻幀的數(shù)據(jù)集。神經(jīng)網(wǎng)絡(luò)可以使用這些框架來預(yù)測物體的身份和重量，并提供有關(guān)人類掌握的見解。

為了識別物體，研究人員設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò)(CNN)，通常用于對圖像進行分類，將特定的壓力模式與特定物體聯(lián)系起來。但訣竅是從不同類型的抓取中選擇幀來獲得對象的完整畫面。

這個想法是模仿人類可以用幾種不同的方式握住物體的方式，以便在不使用視力的情況下識別物體。同樣，研究人員的CNN從視頻中選擇最多八個半隨機幀，代表最不相似的掌握 - 比如，從底部，頂部和手柄拿著一個杯子。

但CNN不能只選擇每個視頻中數(shù)千個隨機幀，或者它可能不會選擇不同的握手。相反，它將相似的幀組合在一起，從而產(chǎn)生對應(yīng)于唯一抓取的不同群集。然后，它從每個簇中拉出一幀，確保它具有代表性樣本。然后，CNN使用它在訓(xùn)練中學(xué)習(xí)的接觸模式來從所選擇的幀預(yù)測對象分類。

“我們希望最大化框架之間的差異，以便為我們的網(wǎng)絡(luò)提供最好的輸入，”Kellnhofer說。“單個群集中的所有幀都應(yīng)該具有類似的簽名，這些簽名代表了抓取對象的類似方式。從多個群集中采樣模擬人類交互式嘗試在探索對象時找到不同的抓取。”

為了進行重量估算，研究人員建立了一個單獨的數(shù)據(jù)集，大約11,600幀，來自手指和拇指，持有和掉落的物體的觸覺地圖。值得注意的是，CNN沒有經(jīng)過任何測試框架的訓(xùn)練，這意味著它無法學(xué)會將重量與物體聯(lián)系起來。在測試中，將單幀輸入CNN。從本質(zhì)上講，CNN會檢測由物體重量引起的手周圍壓力，并忽略其他因素造成的壓力，例如手部定位以防止物體滑落。然后它根據(jù)適當(dāng)?shù)膲毫τ嬎阒亓俊?/p>

該系統(tǒng)可與已經(jīng)在機器人關(guān)節(jié)上的傳感器組合，測量扭矩和力，以幫助他們更好地預(yù)測物體重量。“關(guān)節(jié)對于預(yù)測體重非常重要，但是我們捕獲的指尖和手掌也有重要的重量成分，”Sundaram說。