优步研究实验室负责人开发新的人工智能算法

一种新型的机器学习算法刚刚掌握了一些已被证明是人工智能的头疼的回归视频游戏。

接下来的人将会知道人工智能算法在古老，优雅的策略游戏Go中击败了世界顶级人类玩家，这是最难以想象的游戏之一。但是，来自8位电脑游戏时代的两个像素化经典作品 - 蒙特祖玛的复仇和陷阱已经阻碍了AI研究人员。

这种看似矛盾的原因是有道理的。蒙特苏马的复仇和陷阱虽然看似简单，但看似简单！通过强化学习已经不受掌握，这种技术本来擅长学习征服视频游戏。DeepMind是Alphabet的子公司，专注于人工智能，着名地用它来开发能够学习如何在专家级别上玩几个经典视频游戏的算法。强化学习算法与大多数游戏很好地融合，因为他们根据积极的反馈调整他们的行为 - 得分上升。该方法的成功使人们产生了希望，AI算法可以教会自己做各种有用的东西，这些东西目前对机器来说是不可能的。

蒙特祖玛的复仇和陷阱的问题！是没有可靠的奖励信号。两个标题都涉及典型场景：主角探索充满致命生物和陷阱的块状世界。但是在每种情况下，许多在游戏中前进所必需的行为都无助于提高分数，直到很久以后。普通的强化学习算法通常无法摆脱蒙特祖玛的复仇和陷阱中的第一个房间！他们得分正好为零。

这些新算法来自优步在旧金山的人工智能研究团队，由Jeff Clune领导，他也是怀俄明大学的副教授。该团队在一个环境中展示了一种根本不同的机器学习方法，该环境几乎没有提供显示算法的线索。

这种方法引出了一些有趣的实际应用，Clune和他的团队在今天发布的博客文章中写道 - 例如，在机器人学习中。这是因为未来的机器人需要弄清楚在复杂的环境中应该做些什么并且只提供一些稀疏的奖励。

优步于 2016年12月启动了人工智能实验室，目标是实现可能对其业务有用的根本性突破。更好的强化学习算法最终可用于自动驾驶和优化车辆路线等事项。

人工智能研究人员通常试图解决蒙特祖玛的复仇与陷阱所带来的问题！通过指导强化学习算法有时随机探索，同时为探索增加奖励 - 所谓的“内在动机”。

但优步研究人员认为，这无法捕捉人类好奇心的一个重要方面。“我们假设当前内在动机算法的一个主要弱点是脱离，”他们写道。“其中算法忘记了他们访问过的有前途的区域，这意味着他们不会回到他们身边，看看他们是否会导致新的状态。”

该团队新的强化学习算法系列，被称为Go-Explore，记住了之前的状态，并将在稍后返回特定区域或任务，看看它是否有助于提供更好的整体效果。研究人员还发现，通过让人类玩家突出有趣或重要的区域来增加一些领域知识，可以大大加快算法的学习和进步。这很重要，因为可能存在许多真实情况，您希望算法和人员一起工作来解决一项艰巨的任务。

他们的代码在蒙特祖玛的复仇中平均得分为400,000分 - 比人类专家的平均值高出一个数量级。在陷阱！它平均增加了21,000，远远超过大多数人类玩家。

“这些结果令人印象深刻，”斯坦福大学助理教授Emma Brunskill说，他专门研究强化学习。她说，令人惊讶和令人兴奋的是，这些技术产生了如此巨大的优势。

其他人工智能研究人员一直在嘲笑这些臭名昭着的硬视频游戏。10月，旧金山非营利组织OpenAI的一个团队展示了一种能够在Montezuma的复仇方面取得重大进展的算法。

最近，斯坦福大学的Brunskill小组在陷阱方面取得了较小的进展！使用类似优步团队的方法。

现在AI算法可以解决这些视频游戏，挑战是从街机中出现并解决现实问题。

Brunskill同意这种工作可能对机器人技术产生重大影响。但她说，其他现实世界的情况，特别是那些涉及人类行为建模的情况，要困难得多。“看看这种方法对于更复杂的设置有多好，这将是非常有趣的，”她说。