机器人学习物体操纵和推动动态的基础

编译新颖的Omnipus dataSet的关键是构建模块化对象（图为镜像），使机器人系统能够捕捉推动行为的广泛普遍性。中央件在其中心和点上包含标记，因此运动检测系统可以检测到毫米内的位置。

麻省理工学院研究人员编译了一个数据集，该数据集捕获了物理推动数百种不同对象的机器人系统的详细行为。使用DataSet - 其善良的最大和大多数佩戴者 - 研究人员可以培训机器人来“学习”推动对许多复杂对象操纵任务的基础的动态，包括重新定向和检查对象，以及整洁的场景。

为了捕获数据，研究人员设计了一种自动化系统，该系统由工业机器人组成，具有精确控制，3D运动跟踪系统，深度和传统摄像机，以及将所有东西拼接在一起的软件。手臂推动可调节重量，形状和质量分布的模块化物体。对于每个推动，系统捕获这些特征如何影响机器人的推动。

DataSet称为“Omnipush”，包含250个不同的250个对象，总计62,500个独特的推动。研究人员已经使用了，例如，构建帮助机器人预测物体在被推动时降落的模型。

“我们需要很多丰富的数据来确保我们的机器人可以学习，”机械工程系（Meche）的研究生和第一作者的纸质课程中的第一作者说，这是在即将举行的国际会议上展示的纸张智能机器人和系统。“在这里，我们从真正的机器人系统中收集数据，[和]物体足以捕获推动现象的丰富性。重要的是帮助机器人了解如何推动工作，并将该信息转化为现实世界中的其他类似物体。“

加入纸巾是：佛罗里亚特拉·艾特和日元林，研究生科学与人工智能实验室和电气工程系和计算机科学系（EECS）; Tomas Lozano-Perez，卓越教学教授学院; Leslie P. Kaelbling，Panasonic计算机科学与工程教授; Phillip Isola，EECS助理教授;和Meche的副教授和Alberto Rodriguez。

多样化数据

为什么要关注推动行为？Rodriguez解释说，涉及物体和表面之间摩擦摩擦的推动动力学在更高级机器人任务中至关重要。考虑到可视和技术上令人印象深刻的机器人，可以发挥jenga，罗德里埃斯最近合作。“机器人正在执行一个复杂的任务，而是驱动该任务的机制的核心仍然是推动受例如块之间摩擦影响的物体，”Rodriguez说。

Omnipush在由Rodriguez，Bauza，Bauza，Bauza和其他研究人员上建立在制造和机制实验室（Mcube）的类似数据集上建立在仅捕获10个物体上推动数据的其他研究人员。在2016年推出的数据集后，他们收集了研究人员的反馈。一个投诉缺乏对象普遍性：在数据集上培训的机器人曾努力将信息概括为新对象。还没有视频，这对于计算机视觉，视频预测和其他任务非常重要。

对于他们的新数据集，研究人员利用了工业机器人的精确控制推动器的速度和位置，基本上是垂直钢杆。随着ARM推动物体，在电影，虚拟现实和研究中使用了“VICON”运动跟踪系统 - 用于研究物体。还有一个RGB-D相机，它将深度信息添加到捕获的视频。

键是构建模块化对象。由铝制成均匀的中心件，看起来像四尖的恒星，重约100克。每个中央部件都包含其中心和点的标记，因此VICON系统可以检测其毫米内的姿势。

四个形状中的较小件 - 凹入，三角形，矩形和圆形 - 可以磁性地连接到中心部件的任何一侧。每件重量在31至94克之间，但额外的重量，范围为60至150克，可以落入碎片中的小孔中。诸如拼图的所有拼图水平和垂直对齐，这有助于使摩擦具有相同形状和质量分布的单个物体。所有不同侧面，重量和质量分布的所有组合都增加了250个独特的物体。

对于每个推动，手臂自动移动到从物体上几厘米的随机位置。然后，它选择随机方向并将对象推一秒钟。从它停止的位置开始，它会选择另一个随机方向并重复该过程250次。每个推送记录对象和RGB-D视频的姿势，可用于各种视频预测目的。收集数据每天需要12小时，持续两周，总计超过150小时。手动重新配置对象时才需要人为干预。

对象没有特别模拟任何现实生活项目。相反，他们旨在捕捉“运动学”的普遍性和“群众不对称”的现实世界对象的预期，这为现实世界对象的运动进行了模拟的物理学。然后，机器人可以推断，说，Omnipush对象的物理模型，具有不均匀的群众分布到任何具有相似不均匀的重量分布的现实世界的群众。

“想象一下，用四条腿推桌子，大部分重量都超过了一条腿。当你推桌子时，你会看到它旋转在沉重的腿上并必须重新调整。理解批量分布及其对推动结果的影响，是机器人可以使用这套对象学习，“Rodriguez说。

推动新的研究

在一个实验中，研究人员使用了Omnipush来训练模型以预测推动物体的最终姿势，仅给出推动的初始姿势和描述。他们在150个Omnipush对象上培训了模型，并在对象的保持部分上进行了测试。结果表明，Omnipush培训的模型是在几个类似数据集上培训的模型的两倍。在纸质中，研究人员还以其他研究人员可以使用的准确性记录基准。

由于Omnipush捕获了推动的视频，因此一个潜在的应用是视频预测。例如，协作者现在正在使用数据集来培训机器人，以基本上“想象”推动两点之间的对象。在OFNIPUSH上训练之后，机器人作为输入两个视频框架给出，显示其起始位置和结束位置的对象。使用启动位置，机器人预测所有未来的视频帧，可确保对象达到其最终位置。然后，它以匹配每个预测的视频帧的方式推动对象，直到它与结束位置达到帧。

“机器人问道，'如果我这样做，那么对象在这个框架中会在哪里？'然后，它选择最大化使物体在它想要的位置的可能性的动作，“Bauza说。“它决定如何通过首先想象图像在推动之后改变图像中的像素如何改变物体。”

“Omnipush包括对象运动的精确测量，以及世界上机器人和物体之间的重要互动的视觉数据，”卡内基瓜大学计算机科学与机器人教授Matthew T. Mason说。“机器人学研究人员可以使用这些数据来开发和测试新的机器人学习…方法，以燃料在机器人操纵中延续延续。”

参考：“Omnipush：准确，佩戴，现实世界数据集推动动态与RGB-D视频”由Maria Bauza，Ferran Bauza，Ferran Halet，Yen-Chen Lin，Tomas Lozano-Perez，Leslie P. Kaelling，Phillip Isolla和Alberto Rodriguez，10月1日2019年，计算机科学>机器人.ARXIV：
1910.00618