首页 >> 胡晓晴

装有传感器的手套可学习人类抓握的特征德令哈

三鑫娱乐网 2022-06-27 21:48:34

装有传感器的手套可学习人类抓握的特征

麻省理工学院的研究人员戴着传感器包装的手套处理各种物体时，已经编译了一个庞大的数据集，该数据集使AI系统能够仅通过触摸即可识别物体。

可以利用这些信息来帮助机器人识别和操纵物体，并可以帮助假肢设计。

研究人员开发了一种低成本的针织手套，称为“可缩放触觉手套”，几乎在整个手部都配备了约550个微小传感器

当人类以各种方式与物体交互时，每个传感器都会捕获压力信号。一个神经网络处理该信号“学习”的相关的特定对象的压力信号模式的数据集。

然后，系统使用该数据集对物体进行分类并通过单独感觉来预测其重量，而无需视觉输入。

在《自然》杂志上发表的一篇论文中，研究人员描述了他们使用STAG编译的26个常见对象的数据集，包括汽水罐，剪刀，网球，勺子，钢笔和杯子。使用数据集，系统可以以高达76％的准确度预测对象的身份。该系统还可以预测大约60克内大多数物体的正确重量。

今天使用的类似的基于传感器的手套要花费数千美元，并且通常仅包含约50个传感器，这些传感器捕获的信息较少。即使STAG产生非常高分辨率的数据，它还是由市售材料制成，总计约10美元。

触觉传感系统可以与传统的计算机视觉和基于图像的数据集结合使用，从而使机器人对与物体的交互更具人性化的理解。

Subramanian Sundaram博士说：“由于我们有触觉反馈，因此人类可以很好地识别和处理物体。当我们触摸物体时，我们会感觉到并意识到它们是什么。

机器人没有那么丰富的反馈。” '18，计算机科学与人工智能实验室的前研究生。“我们一直希望机器人做人类可以做的事情，例如洗碗或做其他杂事。如果要机器人做这些事情，他们必须能够很好地操纵物体。”

研究人员还使用数据集来测量对象交互过程中手部区域之间的协作。例如，当某人使用食指的中指时，他们很少使用拇指。

但是食指和中指的尖端始终与拇指的使用相对应。他说：“我们第一次定量地表明，如果我用一只手的一部分，那么我用另一只手的可能性有多大。”

假肢制造商可以潜在地使用信息，例如，选择放置压力传感器的最佳位置，并帮助假肢根据人们经常与之互动的任务和对象进行定制。

加入本文的Sundaram是：CSAIL博士后Petr Kellnhofer和Jun-Yan；CSAIL研究生李云珠；EECS教授兼MIT-IBM Watson AI实验室主任Antonio Torralba；以及电子工程和计算机科学副教授，计算制造小组负责人Wojciech Matusik。

STAG作为一个从人的掌握中学习的平台。STAG与导电聚合物层压在一起，该聚合物可改变对施加压力的抵抗力。

研究人员缝制了导电线，穿过导电聚合物薄膜中的孔，从指尖到手掌的底部。螺纹重叠，将其变成压力传感器。当戴手套的人感觉到，举起，握住和掉下物体时，传感器会记录每个点的压力。

螺纹从手套连接到外部电路，外部电路将压力数据转换为“触觉图”，这实际上是在手的图形上逐渐增长和收缩的点的简短视频。点表示压力点的位置，其大小表示力-点越大，压力越大。

研究人员从这些地图上收集了来自与26个对象的交互作用的约135,000个视频帧的数据集。这些框架可以被神经网络用来预测物体的身份和重量，并提供有关人类抓地力的见解。

为了识别物体，研究人员设计了通常用于对图像进行分类的卷积神经网络，以将特定的压力模式与特定的物体相关联。但是诀窍是从不同类型的抓握中选择镜框以获得物体的全貌。

这个想法是模仿人类可以几种不同的方式握住物体的方式，以便在不使用视力的情况下识别物体。类似地，研究人员的CNN可以从视频中选择最多八个半随机帧，这些帧代表最不相似的抓握力-例如，从底部，顶部和手柄握住杯子。

但是CNN不能只是从每个视频的数千个中选择随机帧，否则它可能不会选择不同的抓地力。

取而代之的是，它将相似的帧组合在一起，从而形成与独特抓点相对应的不同簇。然后，它从每个聚类中拉出一帧，以确保它具有代表性的样本。然后，CNN使用在训练中学到的接触模式来根据所选帧预测对象分类。

Kellnhofer说：“我们希望最大化帧之间的差异，以便为我们的网络提供最佳输入。”

“单个群集内的所有帧都应具有相似的签名，代表相似的抓取对象的方式。从多个群集中进行采样可以模拟人类在探索对象时以交互方式尝试寻找不同的抓握。”

为了进行重量估算，研究人员从用手指和拇指拿起，握住和放下的物体的触觉图上建立了约11,600帧的单独数据集。

值得注意的是，CNN并未在其测试过的任何帧上训练，这意味着它无法学会将重量与物体关联起来。在测试中，将单个帧输入到CNN中。

本质上，CNN会拾取由物体的重量引起的手周围的压力，而忽略其他因素引起的压力。然后根据适当的压力计算重量。

该系统可以与已经在机器人关节上的传感器相结合，以测量扭矩和力，以帮助他们更好地预测物体的重量。Sundaram说：“关节对于预测体重很重要，但是从指尖到手掌，重量也有重要的组成部分。”