MIT开发超声波腕带：精准控制机器人手部动作

下次你滑动手机时，不妨停下来欣赏一下这个壮举：这个看似平凡的动作之所以成为可能，要归功于手部34块肌肉、27个关节以及100多根肌腱和韧带的协调配合。确实，我们的双手是身体最灵巧的部分。模仿手部的各种细微手势一直是机器人技术和虚拟现实领域的长期挑战。

现在，MIT工程师设计出一款超声波腕带，能够实时精确追踪佩戴者的手部动作。该腕带在手部移动时产生手腕肌肉、肌腱和韧带的超声波图像，并配备人工智能算法，可持续将图像转换为相应的五指和手掌位置。

研究人员可以训练腕带学习佩戴者的手部动作，设备能够实时将这些动作传达给机器人或虚拟环境。

在演示中，团队展示了佩戴腕带的人员可以无线控制机器人手臂。当人做手势或指向时，机器人也会做同样的动作。在这种无线木偶操控互动中，佩戴者可以操控机器人在钢琴上演奏简单的曲调，并将小篮球投进桌面篮筐。使用同样的腕带，佩戴者还可以操控电脑屏幕上的物体，比如捏合手指来放大和缩小虚拟物体。

团队正在使用这款腕带从更多具有不同手部尺寸、手指形状和手势的用户那里收集手部动作数据。他们设想建立一个大型手部动作数据库，可用于训练人形机器人完成灵巧任务，例如执行某些外科手术程序。超声波腕带还可用于在视频游戏、设计应用或其他虚拟环境中抓取、操控和交互物体。

"我们认为这项工作在用可穿戴超声波腕带替代虚拟现实和增强现实中的手部追踪技术方面具有直接影响，"MIT机械工程Uncas and Helen Whitaker教授Xuanhe Zhao说。"它还可以为灵巧的人形机器人提供大量训练数据。"

Zhao、Gengxi Lu及其同事在今天发表在《自然电子学》上的论文中介绍了腕带的新设计。他们的MIT合作者包括前博士后Xiaoyu Chen、Shucong Li和Bolei Deng；研究生SeongHyeon Kim和Dian Li；博士后Shu Wang和Runze Li；以及MIT教务长兼电气工程与计算机科学Vannevar Bush教授Anantha Chandrakasan。其他合作者是南加州大学的研究生Yushun Zheng和Junhang Zhang、Baoqiang Liu、Chen Gong以及周启发教授。

观察牵引线

目前有多种方法来捕捉和模仿人类手部灵巧性。一些方法使用摄像头记录人在操控物体或执行任务时的手部动作。其他方法涉及让人佩戴带有传感器的手套，记录人的手部动作并将数据传输给接收机器人。但是为不同应用建立复杂的摄像头系统是不实用的，容易受到视觉障碍影响。而传感器密集的手套可能会限制人的自然手部动作和感觉。

第三种方法使用来自手腕或前臂肌肉的电信号，科学家随后将这些信号与特定的手部动作相关联。研究人员在这种方法上取得了重大进展，但这些信号容易受到环境噪音的影响。它们也不够敏感，无法区分动作中的细微变化。例如，它们可能能辨别拇指和食指是捏在一起还是分开，但无法捕捉中间的路径变化。

Zhao的团队想知道超声波成像是否能够捕捉更灵巧和连续的手部动作。他的团队一直在开发各种形式的超声波贴片——医生办公室使用的换能器的微型化版本，配有可以安全粘附在皮肤上的水凝胶材料。

在新研究中，团队将超声波贴片设计融入到可穿戴腕带中，以持续成像手腕的肌肉和肌腱。

"你手腕的肌腱和肌肉就像牵引木偶的线，而木偶就是你的手指，"Lu说。"所以想法是：每次你拍摄线的状态照片，你就知道手的状态。"

映射操控

团队设计了一款带有智能手表大小超声波贴片的腕带，并添加了约手机大小的板载电子设备。他们将腕带固定在志愿者的手腕上，确认设备在志愿者做各种手势移动手指时产生清晰连续的手腕图像。

接下来的挑战是将手腕的黑白超声波图像与手部的特定位置联系起来。事实证明，手指和拇指能够实现22个自由度，或不同的伸展或角度方式。研究人员发现，他们可以在手腕超声波图像中识别与这22个自由度相关的特定区域。例如，一个区域的变化与拇指伸展相关，而另一个区域的变化与食指动作相关。

为了建立这些连接，佩戴腕带的志愿者会将手移动到各种位置，同时研究人员用围绕志愿者的多个摄像头记录手势。通过将超声波图像某些区域的变化与摄像头记录的手部位置相匹配，团队可以用手部相应自由度标记手腕图像区域。但要连续实时完成这种转换，对人类来说是不可能的任务。

因此，团队转向人工智能。他们使用可训练识别图像模式并将其与特定标签相关联的AI算法，在这种情况下是手部的各种自由度。研究人员用他们精心标记的超声波图像训练算法，注释与特定自由度相关的图像区域。他们在新的超声波图像集上测试算法，发现它正确预测了相应的手势。

一旦研究人员成功将AI算法与腕带配对，他们在更多志愿者身上测试了设备。在新研究中，八名具有不同手部和手腕尺寸的志愿者佩戴腕带，形成各种手势和抓握动作，包括做出美国手语中所有26个字母的手势。他们还握持网球、塑料瓶、剪刀和铅笔等物体。在每种情况下，腕带都精确追踪和预测了手部位置。

为了演示潜在应用，团队开发了一个简单的计算机程序，与腕带无线配对。当佩戴者做捏合和抓握动作时，手势对应于电脑屏幕上物体的放大和缩小，以及以流畅连续的方式虚拟移动和操控物体。

研究人员还测试了腕带作为简单商用机器人手臂的无线控制器。佩戴腕带时，志愿者做弹奏键盘的动作。机器人随后实时模仿这些动作在钢琴上演奏简单曲调。同样的机器人还能够模仿人的手指敲击来玩桌面篮球游戏。

Zhao计划进一步微型化腕带的硬件，并在来自具有更广泛手部尺寸和形状的志愿者的更多手势和动作上训练AI软件。最终，团队正在构建一个任何人都可以佩戴的可穿戴手部追踪器，以高度灵巧地无线操控人形机器人或虚拟物体。

"我们相信这是通过可穿戴手腕成像追踪灵巧手部动作的最先进方法，"Zhao说。"我们认为这些可穿戴超声波腕带可以为虚拟现实和机器人手臂提供直观多样的控制。"

这项研究得到了MIT、美国国立卫生研究院、美国国家科学基金会、美国国防部以及通过新加坡-MIT研究与技术联盟的新加坡国家研究基金会的部分支持。

Q&A

Q1：超声波腕带是如何工作的？

A：超声波腕带通过产生手腕肌肉、肌腱和韧带的超声波图像来工作。配备的人工智能算法持续将这些图像转换为相应的五指和手掌位置，从而实时追踪手部动作并传达给机器人或虚拟环境。

Q2：这个腕带与传统的手部追踪技术相比有什么优势？

A：与摄像头系统相比，腕带不受视觉障碍影响；与传感器手套相比，不会限制自然手部动作；与肌肉电信号方法相比，超声波成像不易受环境噪音影响，能够捕捉更细微的动作变化和连续的手部运动。

Q3：超声波腕带有哪些应用场景？

A：腕带可用于控制机器人手臂，如演奏钢琴和投篮；操控虚拟现实和增强现实中的物体；训练人形机器人执行灵巧任务，包括外科手术程序；以及在视频游戏、设计应用等虚拟环境中抓取和操控物体。