强化学习机器学习深度学习【免费下载链接】dopamineDopamine is a research framework for fast prototyping of reinforcement learning algorithms.项目地址https://gitcode.com/gh_mirrors/dopami/dopamine点击查看免费下载导读Runner是 Dopamine 强化学习研究框架中负责跑实验的核心对象它封装了 Agent 与环境之间完整的交互、训练、评估、日志与断点续训流程。本文以 Runner 类参考文档 为主线结合 run_experiment.py 源码系统讲解 Runner 的构造参数、迭代iteration调度机制、训练/评估阶段划分、断点保存与恢复原理并给出可直接运行的代码与命令行示例帮助你掌握 Dopamine 实验的骨架。一、什么是 Dopamine 实验Experiment在 Dopamine 中实验experiment一词特指模拟 Agent 与环境之间的交互并汇报这些交互所产生的统计量。Dopamine 的 Runner 类参考文档 开篇即给出了这一定义而Runner正是负责完成这一过程的调度对象它初始化环境例如 Atari 2600 游戏它初始化 TensorFlow Session与Agent它从最近的 checkpoint 恢复训练如果存在它以迭代为单位循环执行训练阶段与评估阶段并汇报统计量、写日志、保存检查点。从源码结构看Runner定义于 dopamine/discrete_domains/run_experiment.py其类注释中附带了一个极简的可运行示例这也是官方推荐的最小化接入方式。二、最小可运行示例训练一个 DQN AgentRunner 参考文档给出了一个简单场景在 Atari 环境上训练 DQN Agent。其完整代码如下import dopamine.discrete_domains.atari_lib base_dir /tmp/simple_example def create_agent(sess, environment): return dqn_agent.DQNAgent(sess, num_actionsenvironment.action_space.n) runner Runner(base_dir, create_agent, atari_lib.create_atari_environment) runner.run()这段代码展示了Runner的核心构造契约base_dir实验根目录所有子目录checkpoints、logs都会挂在其下create_agent_fn一个工厂函数接收(session, environment)并返回一个 Agent 实例其参数num_actions由环境的action_space.n动态推导create_environment_fn默认即 atari_lib.create_atari_environment用于按游戏名创建 Gym 环境。注意上述示例中的runner.run()在较新的版本中已更名为runner.run_experiment()见下文运行完整实验小节但初始化契约保持一致。读者可参考 run_experiment_test.py 中大量run_experiment.Runner(...)的用例来理解其实际用法。三、Runner 构造参数详解Runner.__init__的完整签名来自 run_experiment.py如下def __init__(self, base_dir, create_agent_fn, create_environment_fnatari_lib.create_atari_environment, checkpoint_file_prefixckpt, logging_file_prefixlog, log_every_n1, num_iterations200, training_steps250000, evaluation_steps125000, max_steps_per_episode27000, clip_rewardsTrue, use_legacy_loggerTrue, fine_grained_print_to_consoleTrue):各参数的含义、默认值及对实验的实际影响如下表参数类型默认值说明base_dirstr必填实验根目录用于承载 checkpoints、logs 等子目录构造时会调用_create_directories()创建目录结构create_agent_fncallable必填接收(sess, environment)并返回 Agent 的工厂函数create_environment_fncallableatari_lib.create_atari_environment按游戏名创建 Gym 环境的工厂函数checkpoint_file_prefixstrckptcheckpoint 文件名前缀实际生成形如ckpt.0、ckpt.1的文件logging_file_prefixstrlog日志文件名前缀log_every_nint1每 N 个迭代写一次日志文件当iteration % log_every_n 0时触发logger.log_to_filenum_iterationsint200迭代总数阈值实验循环range(start_iteration, num_iterations)training_stepsint250000每个迭代的训练步数下限Agent 步数对应经典的 Nature DQN 设置evaluation_stepsint125000每个迭代的评估步数下限max_steps_per_episodeint27000单 episode 的最大步数达到该值强制终止当前 episodeclip_rewardsboolTrue是否将奖励裁剪到 [-1, 1]Dopamine 的默认设定详见_run_one_episode中的np.clip(reward, -1, 1)use_legacy_loggerboolTrue是否使用旧版Logger源码会在启用时打印弃用警告推荐迁移到新的CollectorDispatcher指标体系fine_grained_print_to_consoleboolTrue是否在控制台实时打印Steps executed / Episode length / Return便于调试构造时的内部动作Runner.__init__会依次执行以下初始化对应 run_experiment.py 中的文档注释调用_create_directories()创建{base_dir}/checkpoints目录并在使用旧版 Logger 时创建{base_dir}/logs调用create_environment_fn()初始化环境以summary_writerself._base_dir调用create_agent_fn创建 Agent源码注释指出这是一种hack由于 Agent 现在负责管理 Session因此传入 base_dir 而非真正的 SummaryWriter由 Agent 内部据此创建 writer从 Agent 上取回_sess与summary_writer调用_initialize_checkpointer_and_maybe_resume()加载最新 checkpoint若有创建CollectorDispatcher指标分发器并通过set_collector_dispatcher注入 Agent。四、迭代Iteration调度训练与评估的交替Dopamine 复刻了 (Mnih et al., 2015) 的训练/评估交错方式每个迭代由_run_one_iterationrun_experiment.py统一编排┌───────────────────────── 一个 Iteration ─────────────────────────┐ │ 1. _run_train_phase: agent.eval_mode False │ │ 连续跑完整 episode直到累计步数达到 training_steps │ │ 统计train_episode_lengths / train_episode_returns │ │ train_average_return / train_average_steps_per_second │ │ 2. _run_eval_phase: agent.eval_mode True │ │ 关闭学习epsilon 等探索策略切换为评估配置 │ │ 连续跑完整 episode直到累计步数达到 evaluation_steps │ │ 统计eval_episode_lengths / eval_episode_returns │ │ eval_average_return │ │ 3. 通过 CollectorDispatcher 写出 Train/NumEpisodes、 │ │ Train/AverageReturns、Eval/AverageReturns 等指标 │ │ 若 summary_writer 存在则写 TensorBoard 汇总 │ └───────────────────────────────────────────────────────────────────┘关键实现细节训练阶段_run_train_phase先将self._agent.eval_mode False计时并以self._training_steps为下限调用_run_one_phase随后计算平均回报与每秒步数并写入统计对象与日志。评估阶段_run_eval_phase将self._agent.eval_mode True后执行同样循环但 Agent 不学习。阶段推进_run_one_phase遵循 Machado et al., 2017 的约定——跑完整 episode直至累计步数达到min_steps下限期间每个 episode 的episode_lengths与episode_returns都会被追加到IterationStatistics见 iteration_statistics.py。episode 循环_run_one_episode调用_initialize_episode()环境 reset agent.begin_episode循环执行_run_one_step当environment.game_over为真或步数达到max_steps_per_episode时终止。特别地Atari 中失去一条命is_terminalTrue但游戏未结束时会向 Agent 发出人工 episode 终止信号_end_episode再通过begin_episode继续这与生命制游戏的处理约定一致。运行完整实验run_experiment顶层入口方法run_experimentrun_experiment.py执行主循环for iteration in range(self._start_iteration, self._num_iterations): statistics self._run_one_iteration(iteration) if self._use_legacy_logger: self._log_experiment(iteration, statistics) self._checkpoint_experiment(iteration) if self._has_collector_dispatcher: self._collector_dispatcher.flush()即每个迭代先跑训练评估再写日志、保存 checkpoint、冲刷指标。若num_iterations start_iteration会给出警告并直接返回防止重复运行已完成实验。五、配套工厂函数create_agent 与 create_runnerRunner通常不直接手工实例化而是通过模块级工厂函数创建二者均为gin.configurable因此可通过 gin 配置文件绑定参数。5.1 create_agent按名称创建 Agent签名见 create_agent 参考文档create_agent(sess, environment, agent_nameNone, summary_writerNone, debug_modeFalse)sesstf.compat.v1.Sessionenvironmentgym 环境agent_nameAgent 名称字符串支持dqn、rainbow、implicit_quantile、jax_dqn、jax_quantile、jax_rainbow、full_rainbow、jax_implicit_quantilesummary_writer用于在 TensorBoard 中输出 Agent 内部训练统计当debug_modeFalse时会被强制置为None源码 run_experiment.py因为开启会拖慢训练对未知的agent_name抛出ValueError。5.2 create_runner按调度类型创建 Runner签名见 create_runner 参考文档create_runner(base_dir, schedulecontinuous_train_and_eval)schedulecontinuous_train_and_eval返回标准Runner训练 评估循环schedulecontinuous_train返回TrainRunner仅训练其他取值抛出ValueError: Unknown schedule。5.3 TrainRunner仅训练模式TrainRunner继承自Runner见 TrainRunner 参考文档 与源码 run_experiment.py构造后立即将self._agent.eval_mode False重写_run_one_iteration跳过评估阶段仅运行训练阶段并只写出Train/*系列 TensorBoard 汇总checkpoint 与日志机制与基类完全一致。六、命令行入口与 gin 配置实战Runner的典型启动方式是通过 discrete_domains/train.py 命令行入口它定义了三个 flagFlag类型说明--base_dirstring必填实验根目录--gin_filesmulti-stringgin 配置文件路径列表如dopamine/agents/dqn/dqn.gin--gin_bindingsmulti-string覆盖配置的 gin 绑定如DQNAgent.epsilon_train0.1、create_environment.game_name\Pong\标准启动命令python -m dopamine.discrete_domains.train \ --base_dir/tmp/dopamine_runs \ --gin_filesdopamine/agents/dqn/dqn.gin \ --gin_bindingsatari_lib.create_atari_environment.game_namePong其执行流程对应 train.py 的maintf.compat.v1.disable_v2_behavior()关闭 TF2 行为run_experiment.load_gin_configs(gin_files, gin_bindings)解析 gin 配置create_runner(base_dir)按 schedule 创建 Runner调用runner.run_experiment()启动完整实验。gin 配置中的 Runner 参数绑定以 dopamine/agents/dqn/configs/dqn.gin 为例Runner 相关配置可直接通过 gin 绑定create_agent.agent_name dqn Runner.num_iterations 200 Runner.training_steps 250000 # agent steps Runner.evaluation_steps 125000 # agent steps Runner.max_steps_per_episode 27000 # agent steps配套的还有atari_lib.create_atari_environment.game_name Pong、sticky_actions True对应 Machado et al., 2017 的粘滞动作建议等环境配置以及WrappedReplayBuffer.replay_capacity 1000000、batch_size 32等回放缓冲配置——这些参数共同构成了一个可复现的 Nature/Rainbow 风格实验。七、Checkpoint断点保存与自动恢复Runner 的断点机制由 checkpointer.py 提供_initialize_checkpointer_and_maybe_resumerun_experiment.py实现了从最近 checkpoint 恢复创建Checkpointer(self._checkpoint_dir, checkpoint_file_prefix)通过checkpointer.get_latest_checkpoint_number()扫描sentinel_checkpoint_complete.*文件返回最大迭代号无有效 checkpoint 时返回 -1若存在调用self._agent.unbundle(...)让 Agent 恢复网络权重等状态并校验 bundle 中必须包含logs与current_iteration两个键将start_iteration设为current_iteration 1从而跳过已完成的迭代继续训练源码注释特别说明checkpoint 0 存在意味着迭代 0 已完成。保存侧_checkpoint_experimentrun_experiment.py在每次迭代结束后调用self._agent.bundle_and_checkpoint(...)打包数据再附上current_iteration与logs最后由Checkpointer.save_checkpoint写入形如ckpt.N的文件并落一个sentinel_checkpoint_complete.N哨兵文件。Checkpointer 还会自动清理旧 checkpoint默认保留最近 4 个可通过checkpoint_duration调整并支持keep_every参数保留周期性的里程碑 checkpoint。八、统计与日志体系迭代内统计IterationStatistics见 iteration_statistics.py以键 - 值列表的形式按 episode 累积train_episode_lengths、train_episode_returns、eval_episode_lengths、eval_episode_returns以及阶段平均回报、每秒步数等TensorBoard_save_tensorboard_summaries写入Train/NumEpisodes、Train/AverageReturns、Train/AverageStepsPerSecond、Eval/NumEpisodes、Eval/AverageReturns等标量每个迭代对应一个 step日志文件_log_experiment在iteration % log_every_n 0时把iteration_{i}数据写入{base_dir}/logs下的文件旧版 Logger 机制新版指标体系CollectorDispatcher见 dopamine/metrics/collector_dispatcher.py支持将指标分发到 TensorBoard、控制台或 pickle 收集器是官方推荐的替代旧 Logger 的方案。九、源码与测试印证核心实现dopamine/discrete_domains/run_experiment.pyRunner、TrainRunner、create_agent、create_runner、load_gin_configs均在此文件断点机制dopamine/discrete_domains/checkpointer.py迭代统计dopamine/discrete_domains/iteration_statistics.py命令行入口dopamine/discrete_domains/train.py官方参考文档模块总览 run_experiment.md以及 Runner、TrainRunner、create_agent、create_runner 四份类/函数参考测试用例tests/dopamine/discrete_domains/run_experiment_test.py 覆盖了create_runner的两种 schedule 分支、create_agent的多种 agent_name 映射、Runner 的构造与run_experiment完整流程含 checkpoint 恢复、训练/评估统计断言等是理解 Runner 行为契约的最直观佐证。十、小结Runner是 Dopamine 实验的调度中枢它把环境交互 - Agent 学习 - 周期评估 - 日志/指标 - 断点保存封装成一个可配置、可恢复的迭代循环。无论是通过三行代码直接实例化还是借助train.py与 gin 配置驱动其背后都遵循同一套迭代契约。理解Runner的构造参数与内部阶段划分是上手 Dopamine、复现 baseline、乃至在其上扩展新 Agent 与实验调度的第一步。赞分享强化学习机器学习深度学习【免费下载链接】dopamineDopamine is a research framework for fast prototyping of reinforcement learning algorithms.项目地址https://gitcode.com/gh_mirrors/dopami/dopamine点击查看免费下载相关推荐MMSegmentation 训练引擎深度实战Runner 循环、钩子与优化器配置全解析MMSegmentation 训练引擎深度实战Runner 循环、钩子与优化器配置全解析 MMSegmentationOpenMMLab 语义分割工具箱将人工智能深度学习计算机视觉探索MMEngine深度学习训练的强大引擎探索MMEngine深度学习训练的强大引擎 项目介绍 MMEngine 是一个基于 PyTorch 的深度学习模型训练基础库。它作为 OpenMMLab 所有人工智能深度学习预训练分布式训练静态网站PWA实现Instatic离线访问与推送通知配置静态网站PWA实现Instatic离线访问与推送通知配置 Instatic作为一款现代自托管视觉CMS不仅提供直观的网站构建体验还支持ProgressivCMS后端前端上一篇如何快速打造你的个性化Obsidian主页3款精美模板完全指南下一篇Simple Clock安卓平台上的开源全能时间管理解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考