学界 | 日本研究者提出新算法：让机器人通过多模态深度强化学习获得社会智能

正文

请到「今天看啥」查看全文

我们一直在期待机器人能在我们的日常生活中发挥重要的作用，而作为机器人强国的日本也一直是这一领域的领导者之一。近日，日本大阪大学和日本科学枝术振兴机构（JST）ERATO ISHIGURO 共生人机交互项目（Symbiotic Human-Robot Interaction Project）的研究者在 arXiv 提交了一篇论文，介绍了他们在机器人的社会智能上的研究成果。另外值得一提的是，他们的实验用到了著名的 Pepper 机器人。

摘要

要让机器人与人类在类似我们社会那样的社会世界中共存，它们需要掌握类似人类的社交技能，这是很关键的。通过编程的方式来让机器人掌握这些技能是很艰难的。在这篇论文中，我们提出了一种多模态深度 Q 网络（MDQN：Multimodal Deep Q-Network），可以让机器人通过试错的方法来学习类似人类的交互技能。这篇论文的目标是开发能够在与人类的交互过程中收集数据并且能够使用端到端的强化学习从高维度传感信息中学习人类交互行为的机器人。本论文表明，机器人在经过了与人类的 14 天交互之后，可以成功学会基本的交互技能。

图 1：机器人向人学习社交技能

算法介绍

这里提出的算法由两个独立工作的流组成：一个用于处理灰度帧（grayscale frame），另一个用于处理深度帧（depth frame）。

下面的 Algorithm 1 概述了这个算法。因为该模型有两个流，因为其参数 θ 和 θ- 是由两个网络的参数构成的。和 DQN [10] 不同，我们将数据生成阶段和训练阶段分开了。每一天的实验都对应于一个 episode，在这期间，算法要么执行数据生成阶段，要么执行训练阶段。

请到「今天看啥」查看全文