技术小站8

网站首页 互联网 > 正文

研究人员创建了一个新的模型来评估人工智能生成的导航指令

2021-11-08 10:39:44 互联网 来源:
导读 新兴的人工智能子领域专注于使用模型来提高遵循人类指令的机器人的性能。这些模型生成的方向(例如“走楼梯,进入左边第一个房间”)明显提高

新兴的人工智能子领域专注于使用模型来提高遵循人类指令的机器人的性能。这些模型生成的方向(例如“走楼梯,进入左边第一个房间”)明显提高了机器人在模拟和真实环境中的导航性能。然而,谷歌研究人员的一项研究发现,这些模型的性能仅略好于不依赖AI的基于模板的技术。此外,共同作者断言,包括BLEU、ROUGE、METEOR和苹果酒在内的自然语言基准对于评估模型生成的导航指令的质量是无效的。

遵循自然语言指令的机器人在许多情况下非常有用,例如工业存储。在这种情况下,工人可能没有自由的手来操纵人类的操作。它们也可能适用于养老院等护理设施,在那里,患者和医疗保健提供者可以指示机器人执行口头命令来执行任务。米斯蒂机器人公司前首席执行官蒂姆恩瓦尔预测,20年内,每个家庭和办公室都会有一个机器人。另一方面,像加州大学伯克利分校教授肯戈德伯格这样的现实主义者预测,还需要5到10年的时间才能看到,可以大规模生产的家庭机器人可以在孩子、整洁的家具和清淡的饭菜之后被捡起来。做其他家务。

Mike Monotti介绍了GameBeat的第三天:推动游戏发展,进入元宇宙1。

谷歌的合著者声称,他们的实验表明,缺乏合适的评估指标阻碍了改进导航指令生成器的努力。除SPICE(澳大利亚国立大学和麦格理大学附属研究人员首次提出的视频字幕基准)外,共同作者发现,目前还没有与人工寻路结果相关的标准指标。

这位研究人员在一篇详述其工作的论文中写道:“现有的指令生成器仍有很大的改进空间。”“我们的结果及时提醒我们,在将新领域应用文本评价指标时,要始终按照人工判断进行验证。”

为了解决这一问题,研究人员开发了“指令-轨迹兼容”模型,声称其性能优于现有的无参考自动评估指标。他们说它可以用于强化学习环境,或者在其他情况下,停止使用高质量的过滤导航指令。

研究人员写道:“人(而不是机器)有足够的资源,通过更多的努力成功地遵循低质量的指令.自然语言生成的进步正在增加对能够准确评估各个领域生成的文本的评估指标的需求”。“生成接地导航指令是提高…寻路(机器人)性能的最有前途的方向之一,其本身就是一项具有挑战性且重要的语言生成任务。”


版权说明: 本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。


标签:




热点推荐
热评文章
随机文章