日前，DeepMind 推出一种全新的分布式智能体训练框架 IMPALA，该框架具有高度可扩展性，将学习和执行过程分开，使用了一种名为 V-trace 的离策略（off-policy）修正算法，具有显著的加速性能，极高的效率。具体如何呢，雷锋网AI 研习社将其原文编译整理如下：

深度强化学习 （DeepRL） 在一系列任务中取得很显著的成果，比如机器人的连续控制问题、玩围棋和 Atari 等游戏。目前为止，我们看到的这些成果仅限于单一任务，每个任务都要单独对智能体进行调参和训练。

在我们最近的工作中，研究了在多个任务中训练单个智能体。

今天我们发布 DMLab-30，这是一组横跨很多挑战的新任务，在视觉统一的环境中，有着普通的行动空间（action space）。想训练好一个在许多任务上都有良好表现的智能体，需要大量的吞吐量，有效利用每个数据点。

为此，我们开发了一种全新的、高度可扩展的分布式智能体训练框架 IMPALA（重点加权行动-学习器框架，Importances Weighted Actor-Learner Architectures），这种框架使用了一种名为 V-trace 的离策略（off-policy）修正算法。

DMLab-30

DMLab-30 是通过开源强化学习环境 DeepMind Lab 设计的一系列新任务。有了 DMLab-30，任何深度强化学习研究人员都能够在大范围的、有趣的任务中测试系统，支持单独测试、多任务环境测试。

这些任务被设计得尽可能多样化。它们有着不同的目标，有的是学习，有的是记忆，有的则是导航。它们的视觉效果也各不相同，比如有的是色彩鲜艳、现代风格的纹理，有的是黎明、正午或夜晚的沙漠中微妙的棕色和绿色。环境设置也不同，从开阔的山区，到直角迷宫，再到开放的圆房间，这里都存在。

此外，一些环境中还有「机器人」，这些机器人会执行以目标为导向的行为。同样重要的是，任务不同，目标和奖励也会有所不同，比如遵循语言指令、使用钥匙开门、采摘蘑菇、绘制和跟踪一条复杂的不能回头的路径这些任务，最终目的和奖励都会有所不同。  

但是，就行动空间和观察空间来说，任务的环境是一样的。可以在每个环境中对智能体进行训练。在 DMLab 的 GitHub 页面上可以找到更多关于训练环境的细节。

IMPALA:：重点加权行动-学习器框架

为了在 DMLab-30 中训练那些具有挑战性的任务，我们开发了一个名为 IMPALA 的分布式智能体框架，它利用 TensorFlow 中高效的分布式框架来最大化数据吞吐量。

IMPALA 的灵感来自流行的 A3C 框架，后者使用多个分布式 actor 来学习智能体的参数。

在这样的模型中，每个 actor 都使用策略参数的克隆在环境中行动。actor 会周期性地暂停探索来共享梯度，这些梯度是用一个中央参数服务器来计算的，会实时更新（见下图）。

另一方面，在 IMPALA 中，不会用 actor 来计算梯度。它们只是用来收集经验，这些经验会传递给计算梯度的中央学习器，从而得到一个拥有独立 actor 和 learner 的模型。

现代计算系统有诸多优势，IMPALA 可以利用其优势，用单个 learner 或多个 learner 进行同步更新。以这种方式将学习和行动分离，有助于提高整个系统的吞吐量，因为 actor 不再需要执行诸如Batched A2C 框架中的等待学习步骤。

这使我们在环境中训练 IMPALA 时不会受到框架渲染时间的变动或任务重新启动时间的影响。

IMPALA 中的学习是连续的，不同于其他框架，每一步学习都要暂停

然而，将行动与学习分离会导致 actor 中的策略落后于 learner。为了弥补这一差异，我们引入 V-trace——条理化的离策略 actor critic 算法，它可以对 actor 落后的轨迹进行补偿。可以在我们的论文 IMPALA: Scalable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures 中看到该算法的具体细节。

IMPALA 中的优化模型相对于类似智能体，能多处理 1 到 2 个数量级的经验，这使得在极具挑战的环境中进行学习成为可能。

我们将 IMPALA 与几个流行的 actor-critic 的方法进行了比较，发现它具有显著的加速效果。此外，使用 IMPALA 的情况下，随着 actor 和 learner 的增长，吞吐量几乎是按线性增长的。这表明，分布式智能体模型和 V-trace 算法都能支持极大规模的实验，支持的规模甚至可以达到上千台机器。

当在 DMLab-30 上进行测试时，与 A3C 相比，IMPALA 的数据效率提高了 10 倍，最终得分达到后者的两倍。此外，与单任务训练相比，IMPALA 在多任务环境下的训练呈正迁移趋势。

IMPALA 论文地址：https://arxiv.org/abs/1802.01561

DMLab-30 GitHub地址：https://github.com/deepmind/lab/tree/master/game_scripts/levels/contributed/dmlab30