原標(biāo)題：中山大學(xué)與港中深團(tuán)隊(duì)給機(jī)器人裝上靈巧雙手，遠(yuǎn)程精準(zhǔn)復(fù)刻人類(lèi)動(dòng)作

在《鐵甲鋼拳》里，機(jī)器人可以完美地模仿人類(lèi)的動(dòng)作，不論是熱舞還是打拳，都幾乎分毫不差，讓人大呼過(guò)癮。

不過(guò)在現(xiàn)實(shí)中要這樣控制機(jī)器人還是很困難的。特別是如果控制機(jī)器人的操作員不在機(jī)器人身邊，而是遠(yuǎn)程控制，那就難上加難了。

困難的事情才有挑戰(zhàn)性，而且還很有意義。比如在現(xiàn)實(shí)中，手術(shù)機(jī)器人通常就是由一個(gè)外科醫(yī)生遠(yuǎn)程控制，讓機(jī)器人精確地捕捉到人的雙手運(yùn)動(dòng)信息。然后，將捕捉到的運(yùn)動(dòng)信息映射到機(jī)器人的運(yùn)動(dòng)上，才能實(shí)現(xiàn)遠(yuǎn)程操作。不過(guò)，現(xiàn)有的手勢(shì)捕捉方法有些復(fù)雜，主要通過(guò)數(shù)據(jù)手套、腕帶和光學(xué)標(biāo)記。這些方法不僅價(jià)格昂貴，而且校準(zhǔn)起來(lái)很費(fèi)時(shí)費(fèi)力。

說(shuō)到動(dòng)作捕捉，有XBOX的玩家可能會(huì)問(wèn)，Kinect能否一戰(zhàn)？

答案是不能。

微軟的Kinect雖然不錯(cuò)，但它只能捕捉到人體的運(yùn)動(dòng)，對(duì)精細(xì)的手部動(dòng)作也無(wú)能為力。其實(shí)也不是Kinect特別拉跨，大多數(shù)手機(jī)應(yīng)用程序也都只能估算2D手勢(shì)。

所以這雙手運(yùn)動(dòng)捕捉可是個(gè)老大難問(wèn)題，就像在計(jì)算機(jī)視覺(jué)領(lǐng)域里摸黑找路。為什么呢？嗯，因?yàn)樽笥沂珠L(zhǎng)得太像了，就像雙胞胎一樣，讓人傻傻分不清楚。再加上手勢(shì)種類(lèi)多，每個(gè)人的手都不一樣，這就讓檢測(cè)和區(qū)分雙手變得更加困難。

▍還得靠神經(jīng)網(wǎng)絡(luò)

那有人就要問(wèn)啦：“那怎么辦呢？”別急，科學(xué)家們想出了一個(gè)好辦法：從單張RGB圖像中估計(jì)3D手勢(shì)。但這個(gè)方法也不是那么容易實(shí)現(xiàn)的，因?yàn)槭謩?shì)和手勢(shì)之間的相似性很高，經(jīng)常讓人眼花繚亂。而且手勢(shì)還會(huì)自遮擋。最最關(guān)鍵的是，圖像里缺乏深度信息，要猜出3D手勢(shì)究竟長(zhǎng)什么樣，真讓人腦殼疼。

為了解決這些問(wèn)題，中山大學(xué)聯(lián)合香港中文大學(xué)（深圳）的科研團(tuán)隊(duì)提出了一種方便又便宜的好方法。他們先用視覺(jué)傳感器捕捉操作員雙手的位置和姿勢(shì)。然后，雙手運(yùn)動(dòng)信息會(huì)映射到仿生雙臂機(jī)器人的運(yùn)動(dòng)上。在這個(gè)系統(tǒng)中，包括一種通過(guò)視覺(jué)的雙手運(yùn)動(dòng)捕捉方法，該方法由DuHandLocaNet和3DHandPoseNet兩個(gè)部分組成。

DuHandLocaNet用于檢測(cè)和定位雙手的位置，并分辨左右手，這些信息可以映射到機(jī)器人的手上。而3DHandPoseNet可以從所捕捉到的人類(lèi)手部的圖片中估計(jì)雙手的3D姿態(tài)，這些3D手勢(shì)信息可以映射到五指靈巧機(jī)械手上。該研究論文以Dual-Hand Motion Capture by Using Biological Inspiration for Bionic Bimanual Robot Teleoperation為名發(fā)表在中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊《Cyborg and Bionic Systems》上。

除了關(guān)注人類(lèi)操作員的手部動(dòng)作，這個(gè)方法還有一個(gè)機(jī)智的操作，那就是它也同時(shí)捕捉人類(lèi)身體的位置和動(dòng)作，用來(lái)輔助判斷手的姿勢(shì)和左右手。

對(duì)啊，在身體左邊的是左手，在身體右邊的是右手，之前怎么就沒(méi)想到呢？！

▍先找到雙手的位置

DuHandLocNet 可以在RGB圖像上檢測(cè)雙手并區(qū)分左右手。它使用并行網(wǎng)絡(luò)，其中一個(gè)子網(wǎng)絡(luò)用于手部檢測(cè)，另一個(gè)子網(wǎng)絡(luò)用于身體姿勢(shì)估計(jì)，它通過(guò)使用身體正向運(yùn)動(dòng)學(xué)樹(shù)（body forward kinematic (FK) tree）來(lái)輸出所估計(jì)的雙手位置和手性。

DuHandLocNet的表現(xiàn)：下圖中從左到右分別是人類(lèi)操作員手部動(dòng)作的原始圖像，不同人的手有大有小，所做的手勢(shì)也不一樣。手部檢測(cè)子網(wǎng)絡(luò)和身體姿勢(shì)子網(wǎng)絡(luò)可以準(zhǔn)確地檢測(cè)出的手部和身體的動(dòng)作。

▍再估計(jì)3D手勢(shì)

在檢測(cè)到雙手后，定位手部的RGB圖像會(huì)被送進(jìn)3DHandPoseNet里，這樣就能解析出3D手勢(shì)了。為了能更準(zhǔn)確地估計(jì)3D手勢(shì)，這個(gè)網(wǎng)絡(luò)采用了一種級(jí)聯(lián)結(jié)構(gòu)，還引入了損失函數(shù)來(lái)衡量模型預(yù)測(cè)結(jié)果和真實(shí)結(jié)果之間的差距。這個(gè)網(wǎng)絡(luò)是由三個(gè)模塊組成的：一個(gè)是特征提取模塊（FEM），負(fù)責(zé)提取2D手關(guān)節(jié)點(diǎn)的特征；一個(gè)是級(jí)聯(lián)模塊（CaM），負(fù)責(zé)微調(diào)2D手關(guān)節(jié)點(diǎn)的特征；最后一個(gè)是3D姿勢(shì)回歸模塊（PRM），負(fù)責(zé)回歸3D手勢(shì)。

有了這一頓操作，3DHandPoseNet就能幫我們準(zhǔn)確地解析出3D手勢(shì)了。

從原始圖像、輸出的2D手勢(shì)、從相機(jī)視角輸出的3D手勢(shì)和從另一個(gè)視角輸出的3D手勢(shì)：

▍給Baxter機(jī)器人換上一雙巧手

Baxter機(jī)器人在雙臂機(jī)器人里早就是紅人了（紅色的機(jī)器人），它能做的事情還真不少，甚至還會(huì)疊起衣服這種軟綿綿的東西。

但它人生最大的痛是跟人劃拳總是輸，誰(shuí)讓它只有兩根指頭呢。

這就等于輸在了起跑線上了，那怎么行?。】勺尶茖W(xué)家們操碎了心。所以一直有好事者嘗試給它裝上像人類(lèi)一樣的手掌和5根指頭，好讓它享受更多自由（成為合格的打工人）：

這不，中山大學(xué)團(tuán)隊(duì)也一樣，給Baxter換上了一雙靈巧的小手：

既然都這樣了，那啥也別說(shuō)了，開(kāi)始搬磚吧：用雙手搬運(yùn)一個(gè)大箱子，還有用雙手將一個(gè)杯子另一個(gè)杯子，看這架勢(shì)以后也可以去奶茶店試試運(yùn)氣？

實(shí)驗(yàn)效果來(lái)看，團(tuán)隊(duì)所提出的DuHandLocNet和3DHandPoseNet可以很精確地把人類(lèi)操作員的動(dòng)作映射到機(jī)器人上，證明了這種方法的有效性。未來(lái)他們將繼續(xù)研究更為精準(zhǔn)和穩(wěn)健的雙手運(yùn)動(dòng)捕捉方法，通過(guò)基于視頻的手部檢測(cè)和手部姿態(tài)估計(jì)技術(shù)來(lái)提高整體的運(yùn)動(dòng)捕捉精度和魯棒性，甚至還將引入混合現(xiàn)實(shí)和共享控制方法，與仿生雙臂機(jī)器人遙操作相結(jié)合，以增強(qiáng)用戶(hù)的沉浸感和操作效率。

文章鏈接：

https://spj.science.org/doi/10.34133/cbsystems.0052