想象一个比萨制造商与一个球的面团。她可能用抹刀把面团放到砧板然后用擀面杖压平它变成一个圆。容易,对吧?如果这个披萨制造商是一个机器人。gydF4y2Ba

对于机器人,使用可变形物体像面团棘手,因为面团的形状可以改变在许多方面,很难代表方程。另外,创建一个新的形状的面团需要多个步骤和使用不同的工具。是特别困难的一个机器人学习操作任务的长序列步骤——有许多可能的选择——因为学习通过试验和错误经常发生。gydF4y2Ba

麻省理工学院的研究人员、卡内基梅隆大学和加州大学圣地亚哥分校想出了一个更好的方法。他们创建了一个框架,一个机器人操作系统,使用一个两阶段学习过程,从而使机器人能够在很长时间内执行复杂的dough-manipulation任务。“老师”算法解决机器人每一步必须完成的任务。然后,火车一个“学生”机器学习模型,学习抽象概念对何时以及如何执行每个技能需要在任务期间,喜欢用擀面杖。有了这些知识,系统原因如何执行完成整个任务的技能。gydF4y2Ba

研究人员表明,该方法,他们称之为DiffSkill,可以在模拟执行复杂的操作任务,像面团切割和传播,或收集的面团切肉板,而优于其他机器学习方法。gydF4y2Ba

除了比萨生产,这种方法可以应用在其他设置,机器人需要操纵变形物体,如护理机器人提要,沐浴,或者连衣裙老年或运动障碍。gydF4y2Ba

“这个方法更接近我们作为人类我们的行动计划。当一个人一个世界范围的任务,我们不写下所有的细节。我们有一个高级规划师大致告诉我们中间的阶段和一些我们需要达成的目标,然后我们执行它们,”李Yunzhu说研究生的计算机科学与人工智能实验室(CSAIL),和作者的一篇论文DiffSkill。gydF4y2Ba

李的合作者包括作者Xingyu林、卡内基梅隆大学的一名研究生();研究生Zhiao黄在圣地亚哥加州大学的;约书亚·b·特南鲍姆教授保罗·e·牛顿职业发展认知科学和计算在麻省理工学院大脑与认知科学系和CSAIL的成员;卡内基梅隆大学助理教授大卫•举行;壮族Gan和高级作者,研究科学家MIT-IBM沃森AI实验室。这项研究将会在国际会议学习表示。gydF4y2Ba

学生和老师gydF4y2Ba

DiffSkill框架中的“老师”一个轨迹优化算法能够解决短期视野的任务,在一个对象的初始状态和目标位置很近。轨迹优化器在模拟现实世界的物理模型(称为微物理模拟,把“Diff”“DiffSkill”)。“老师”算法使用模拟器中的信息来了解面团必须在每一个阶段,一次一个,然后输出轨迹。gydF4y2Ba

那么“学生”gydF4y2Ba神经网络gydF4y2Ba学会模仿老师的行为。作为输入,采用两个摄像机的图像,一个显示面团在其当前状态,另一个显示面团的最后任务。神经网络生成一个高级计划来决定如何链接不同的技能达到我们的目标。然后生成特定的,短期视野轨迹为每个技能和直接发送命令的工具。gydF4y2Ba

研究人员使用这种技术与三个不同的实验模拟dough-manipulation任务。在一个任务中,机器人用抹刀把面团放到砧板然后用擀面杖压平。在另一个,机器人使用钳子收集面团的计数器,地方在抹刀,转移到一个砧板。在第三个任务,机器人削减一堆面团一半使用一把刀,然后使用夹持运输每一个不同的位置。gydF4y2Ba

研究人员开发出一种机器人操作系统可以执行复杂的面团操纵任务模拟工具,收集面团和将其放置到一个砧板(左),切割一块面团一半,分离部分(中心),然后提升面团砧板上用擀面杖压扁(右)。他们的技术能够成功执行这些任务,而其他机器学习方法失败。gydF4y2Ba

更胜一筹gydF4y2Ba

DiffSkill能够超越流行技术,依靠强化学习,在机器人学习任务通过试验和错误。事实上,DiffSkill是唯一的方法,是能够成功地完成所有三个面团的操作任务。有趣的是,研究人员发现,“学生”的神经网络甚至可以超越“老师”算法,林说。gydF4y2Ba

“我们的框架为机器人提供了一种新颖的方式获得新的技能。这些技能可以链接来解决更复杂的任务超出了之前的机器人系统的能力,”林说。gydF4y2Ba

因为他们的方法着重于控制工具(铲刀、擀面杖等)。它可以应用到不同的机器人,但前提是他们使用特定的工具研究人员定义。在未来,他们计划的形状工具集成到“学生”的推理网络它可以应用到其他设备。gydF4y2Ba

研究人员打算提高DiffSkill的性能通过使用3 d数据作为输入,而不是图像很难转移从模拟到真实的世界。他们也想使神经网络规划过程更高效和收集更多不同训练数据来增强DiffSkill推广新情况的能力。从长远来看,他们希望DiffSkill适用于更多不同的任务,包括布操纵。gydF4y2Ba

支持这项工作,在某种程度上,由美国国家科学基金会,LG电子,MIT-IBM沃森AI实验室,美国海军研究办公室,国防高级研究计划局机常识程序。gydF4y2Ba