对于人类来说，找到一个埋在一堆物品下的丢失的钱包非常简单 - 我们只需从一堆物品中取出东西，直到找到钱包。但对于机器人来说，这项任务涉及对桩和其中物体的复杂推理，这带来了严峻的挑战。

麻省理工学院的研究人员之前展示了一种机器人手臂，它结合了视觉信息和射频（RF）信号，以找到用RFID标签标记的隐藏物体（反射天线发送的信号）。在这项工作的基础上，他们现在已经开发了一种新系统，可以有效地检索埋在一堆中的任何物体。只要堆积中的某些项目具有RFID标签，目标项目就不需要标记以供系统恢复。

该系统背后的算法，称为FuseBot，可以推断出桩下物体的可能位置和方向。然后，FuseBot找到最有效的方法来移除障碍物并提取目标物品。这种推理使FuseBot能够在一半的时间内找到比最先进的机器人系统更多的隐藏物品。

这种速度在电子商务仓库中可能特别有用。负责处理退货的机器人可以使用FuseBot系统更有效地找到未分类堆中的物品，资深作者Fadel Adib说，他是电气工程和计算机科学系副教授，也是媒体实验室信号动力学组主任。

“这篇论文首次表明，环境中仅存在RFID标记的物品，就可以让您更轻松地以更有效的方式完成其他任务。我们能够做到这一点，因为我们在系统中添加了多模态推理 - FuseBot可以对视觉和RF进行推理，以了解一堆项目，“Adib补充道。

加入Adib论文的是研究助理Tara Boroushaki，他是主要作者;劳拉·多兹;和Nazish Naeem。该研究将在机器人技术：科学与系统会议上发表。

定位标签

最近的一份市场报告显示，超过90%的美国零售商现在使用RFID标签，但该技术并不普遍，导致只有桩中的某些物体被标记的情况。

这个问题激发了该小组的研究。

借助 FuseBot，机械臂使用连接的摄像机和射频天线从混合堆中检索未标记的目标物品。该系统使用其相机扫描桩以创建环境的3D模型。同时，它从天线发送信号以定位RFID标签。这些无线电波可以穿过大多数固体表面，因此机器人可以“看到”深埋在堆中。由于目标项目未标记，FuseBot知道该项目不能位于与RFID标签完全相同的位置。

算法融合了这些信息，以更新环境的3D模型并突出显示目标项目的潜在位置;机器人知道它的大小和形状。然后，系统对堆中的物体和RFID标签位置进行推理，以确定要删除的物品，目标是找到移动最少的目标物品。

将这种推理纳入系统具有挑战性，Boroushaki说。

机器人不确定物体在桩下是如何定向的，或者一个粘糊糊的物品如何被更重的物品压在上面而变形。它通过概率推理克服了这一挑战，利用它对物体的大小和形状及其RFID标签位置的了解来模拟物体可能占据的3D空间。

当它删除项目时，它还使用推理来决定接下来删除哪个项目是“最佳”的。

“如果我给一个人一堆物品来搜索，他们很可能会先删除最大的物品，看看它下面有什么。机器人所做的是相似的，但它也结合了RFID信息，以做出更明智的决定。它问，'如果它从表面上移走这一堆东西，它会对这个堆了解多少？'”Boroushaki说。

在移除物体后，机器人再次扫描桩，并使用新信息来优化其策略。

检索结果

这种推理以及它对RF信号的使用，使FuseBot比仅使用视觉的先进系统更具优势。该团队使用真正的机械臂和装有家居用品（如办公用品，毛绒动物和衣服）的堆进行了180多次实验试验。他们改变了桩的大小和每堆中RFID标记物品的数量。

FuseBot在95%的时间内成功提取目标项目，而其他机器人系统则为84%。它使用40%的移动次数实现了这一点，并且能够以两倍多的速度定位和检索目标物品。

“通过整合这些RF信息，我们看到成功率有了很大的提高。同样令人兴奋的是，我们能够与以前的系统相匹配，并在目标项目没有RFID标签的情况下超越它，“Dodds说。

FuseBot可以应用于各种设置，因为执行其复杂推理的软件可以在任何计算机上实现 - 它只需要与具有摄像头和天线的机械臂进行通信，Boroushaki补充道。

在不久的将来，研究人员计划将更复杂的模型整合到FuseBot中，以便它在可变形物体上表现更好。除此之外，他们还有兴趣探索不同的操作，例如将物品推开的机械臂。该系统的未来迭代也可以与移动机器人一起使用，该机器人在多个堆中搜索丢失的物体。

这项工作部分由美国国家科学基金会，斯隆研究奖学金，NTT DATA，Toppan，Toppan Forms和MIT Media Lab资助。