深度强化学习相关库概览

知己知彼,方能百战不殆!

在写一个新的DRL库之前,不妨先学习下已有工具包的组织架构,以及不同的工具包都有哪些优缺点。

以下是本文重点考虑的几个库(也欢迎推荐其它优秀的库):

DeepRL

整个库是围绕着Agent对象展开的,通过config初始化Agent对象,然后在外围执行run_iterationsrun_episodes控制进度。OO的思想有点重,以至于初始化的时候需要指定的部分非常多。

Pros

Cons

Coach

目前粗略看了下,真的是相当清晰。要是有一些Guide知道如何新写一个Agent,怎么做Compare等等,应该会有更多的人Envolve进来。后面写的时候应该会反复参考这个库。

怎么并行化运行多个task,以及维护一个Parameter Server,暂时没有想好如何在Julia中实现,直觉告诉我这点应该是Julia的优势。

TensorForce

目前文档还不是很全,但目前看到的几点值得学习的地方是: