在本周发表的一篇论文在预印本服务器Arxiv.org,一个研究小组从谷歌大脑,Google X,和加利福尼亚州伯克利大学的描述一个扩展现有人工智能方法,使代理人——例如,一个机器人——决定行动在执行之前采取行动。这个想法是，模仿一个人或动物的行为将在未来导致更健壮、更不易失败的系统。

研究人员指出,虽然在视频游戏AI算法取得了成功,机器人抓住,和操作任务,大多数使用阻塞observe-think-act范式——一个代理假设环境仍将静态虽然“认为”,因此其行动将执行在同一州的计算。这在模拟中是正确的，但在现实世界中则不然，在现实世界中，环境状态随着代理处理观察和计划下一步操作而演变。

该团队的解决方案是一个可以在机器学习上下文中处理并发环境的框架。它利用标准的强化学习公式——通过奖励驱动agent向目标前进的公式——其中，agent从一组可能的状态接收一个状态，并根据策略从一组可能的动作中选择一个动作。环境返回从转换分布中采样的下一个状态和一个奖励，以便代理学习如何最大化每个状态的期望回报。

除了前面的操作之外，还有两个额外的特性——操作选择时间和向量化(vectorto -to-go, VTG)——有助于封装并发知识。(研究人员将VTG定义为在测量环境状态时要执行的最后一个动作。)并发操作环境在执行前一个操作和捕获状态之后捕获状态。策略选择一个操作并执行它，而不管前一个操作是否已经完成——即使这需要中断前一个操作。

研究人员在一个真实世界的机器人手臂上进行了实验，他们的任务是抓住并移动垃圾箱中的各种物体。他们说，他们的框架取得了可与基线阻塞模型相比的成功，但就策略持续时间而言，它比阻塞模型快了49%，而阻塞模型可以度量策略的总执行时间。此外，并发模型能够执行比基线“更平滑”和更快速的轨迹。

“并发方法可能允许机器人在动态环境中进行控制，在此环境中，机器人不可能在计算动作之前停止环境，”合著者写道。“在这些情况下，机器人必须同时思考和行动。”

此前，谷歌(google)领导的一项研究描述了一种人工智能系统，该系统通过模仿动物的动作来赋予机器人更大的灵活性。两位作者认为，他们的方法可以促进机器人的发展，使其能够完成现实世界中的任务，比如在多层仓库和配送中心之间运输材料。

版权说明： 本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。

标签：