几条传送带运输巧克力棒:它们是演示机的一部分，展示了如何将人工智能用于运动控制。真正的工厂还需要做的是包装巧克力棒——当然是自动化的。在西门子数字工业公司的智能进料演示机中，巧克力棒必须均匀地放置在出料带上的槽中。西门子(Siemens)研究部门虚拟机电一体化专家马丁•比肖夫(Martin Bischoff)表示:“进气带上的杆件间隔是随机的。”“系统控制器通过改变传送带的速度来实现这一点。一条由三条传送带组成的生产线可以加速或减速，以确保巧克力在出料带上的位置正确。为这个应用程序开发一个优化的控制算法是一个棘手的编程任务——如果你不相信，那就自己试试吧。通过强化学习，我们训练了一个人工智能控制器来实现这一任务。”gydF4y2Ba

强化学习是一种人工智能方法，其工作方式与大多数人学习骑自行车的方式非常相似——通过反复试验，不需要任何基本的物理知识:新手在骑行测试中直接体验自己的技术是否好，从而逐渐变得越来越好。“这正是强化学习的工作方式，”慕尼黑路德维希·马克西米利安大学(Ludwig Maximilian University)技术专家兼应用强化学习讲师米歇尔·托基奇(Michel Tokic)解释道。“给人工智能一个目标规格，比如‘糖果棒只能放在目标领域，系统应该在这个过程中尽可能快地工作’。然后，人工智能对仿真模型进行最初完全随机的控制尝试，并接收由光屏障信号触发的关于每次尝试效果如何的反馈。有了这个反馈，一个目标导向的控制算法在许多自动化训练周期后出现。”gydF4y2Ba

工厂控制系统中的错误可能造成代价高昂或危险的后果。因此，作为标准，在没有风险的工厂数字双胞胎上开发和测试控制(gydF4y2Ba西门子虚拟调试gydF4y2Ba)．工厂的数字双胞胎也可以用来训练人工智能。gydF4y2Ba

“在与数字双胞胎进行了大约72小时的训练后(在一台标准电脑上;在云端的计算机集群上大约24小时)，人工智能已经准备好控制真正的机器。这绝对比人类开发这些控制算法快得多，”比肖夫说。通过强化学习，人工智能开发了一种解决方案策略，即尽可能快地运输前面传送带上的所有巧克力棒，而准确的速度只在最后一个传送带上控制——有趣的是，这与传统的控制系统有很大不同。gydF4y2Ba

由Martin Bischoff领导的研究人员能够使他们的方法更加实用，他们通过压缩和编译训练好的控制模型，使它们在西门子Simatic控制器上实时循环同步运行。负责生产机器业务部门数字机器和创新部门的Thomas Menzel认为，让人工智能在数字双胞胎上独立学习复杂控制任务的方法具有巨大潜力:“在AI运动训练器的名称下，这种方法现在正在帮助几个共同创造的合作伙伴在更短的时间内开发特定应用的优化控制。生产机器现在不再局限于已经开发出PLC控制程序的任务，而是可以实现人工智能可以学习的所有任务。与我们的SIMATIC产品组合的集成使得这项技术的使用特别具有工业级。”gydF4y2Ba