人工智能分布式训练强化学习任务调度模型推理服务【免费下载链接】rayRay is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.项目地址https://gitcode.com/gh_mirrors/ra/ray点击查看免费下载本文是 Ray RLlib 官方文档 fault-tolerance.md 的深度解读与实践指南聚焦 RLlib 在分布式强化学习训练中应对机器故障、Spot 实例抢占、网络中断与 Ray 集群异常的三层容错机制WorkerEnvRunner级恢复、环境级容错、以及基于 Ray Tune 的实验级故障恢复。读完本文你将掌握如何通过AlgorithmConfig.fault_tolerance()一键开启 Worker 自恢复与弹性训练、如何在单个子环境崩溃时不牵连整个采样进程、以及如何借助周期性 Checkpoint 让中断的调优实验从最近状态自动续跑并理解这些能力在 RLlib 源码中的具体实现路径。RLlib 容错能力全景三层防护体系RLlib 作为生产级分布式强化学习框架其容错能力覆盖了从最细粒度的单个环境实例到最粗粒度的整个调优实验三个层级层级故障对象核心机制关键配置Worker 恢复EnvRunner 采样 Actor机器/节点级故障弹性收缩 自恢复重建fault_tolerance(restart_failed_env_runnersTrue)环境级容错单个子环境实例静默重启故障子环境fault_tolerance(restart_failed_sub_environmentsTrue)、env_runners(num_envs_per_env_runner...)实验级容错整个 Trial / 实验周期性 Checkpoint Ray Tune 自动恢复Ray Tune 的 Periodic Checkpointing三者的关注粒度不同、故障边界不同可以独立开启也可以组合使用——例如在 Spot 实例上运行 on-policy 训练时通常需要同时考虑 Worker 级恢复与实验级 Checkpoint 恢复。下面逐一深入。Worker 级恢复弹性的 EnvRunnerGroup 与自恢复弹性Elasticity与自恢复Self-recoveryRLlib 为训练和评估两组 EnvRunner 均提供了自我恢复 弹性的EnvRunnerGroup源码见 rllib/env/env_runner_group.py实现 Worker 层面的容错。假设你在不同机器上启动了 n 个 EnvRunner Worker其中一台机器被抢占preemptedRLlib 仍能以最小中断继续训练与评估。文档明确了两个互补的性质弹性ElasticityRLlib 在移除某些 EnvRunner 的情况下继续训练。典型场景是 Trial 使用 Spot 实例Ray 可能回收节点导致一部分 Worker 无法调度——此时 RLlib 用剩余的健康 EnvRunner 以降低的速度继续训练而不是整体失败。自恢复Self-recovery只要条件允许RLlib 会尝试恢复此前被移除的 EnvRunner。恢复过程中RLlib 会先把最新状态同步给新恢复的 EnvRunner然后才让它开始采样新 episode。开启 Worker 级容错只需一行配置config.fault_tolerance(restart_failed_env_runnersTrue)底层实现状态感知的故障容忍 Actor 管理器RLlib 通过 rllib/utils/actor_manager.py 中的FaultTolerantActorManager状态感知、故障容忍的 Actor 管理器实现该能力。这个管理器在 Ray Core 之上维护一组远程 Actor 的健康状态ResultOrError/CallResult/RemoteCallResults见 actor_manager.py把远程调用的返回值与RayError包装区分开上层代码可以通过result.ok与result.ignore_errors()统一处理部分失败提供同步foreach_actor、异步foreach_actor_async、fetch_ready_async_reqs等调用原语支持healthy_only、mark_healthy、timeout_seconds等健康感知参数EnvRunnerGroup的foreach_env_runner()env_runner_group.py内部即委托给该管理器并透传_ignore_ray_errors_on_env_runners其值等于ignore_env_runner_failures or restart_failed_env_runners。Worker 级恢复还依赖 Ray Core 的 Actor 故障恢复能力在 env_runner_group.py 中RLlib 构造远程 EnvRunner 时根据配置设置 Actor 的max_restartsself._remote_args { num_cpus: self._remote_config.num_cpus_per_env_runner, num_gpus: self._remote_config.num_gpus_per_env_runner, resources: self._remote_config.custom_resources_per_env_runner, max_restarts: ( config.max_num_env_runner_restarts if config.restart_failed_env_runners else 0 ), }即开启restart_failed_env_runners后Ray 会在 Actor 崩溃时自动重启它上限为max_num_env_runner_restarts否则max_restarts0失败即标记不健康。恢复后的新 EnvRunner 与失败前拥有相同的worker_index仅以self.recreated_workerTrue标记区分RLlib 会在恢复后先同步最新模型权重与状态再继续采样。fault_tolerance()配置组全参数详解fault_tolerance()方法定义于 rllib/algorithms/algorithm_config.py所有参数均可通过config.fault_tolerance(...)设置默认值见 algorithm_config.py参数默认值说明restart_failed_env_runnersTrueEnvRunner 失败时尝试以失败者的完全相同的副本重启。在可能随时被抢占的 SPOT 实例上训练时应设为True。设为True时ignore_env_runner_failures被忽略ignore_env_runner_failuresFalse忽略 EnvRunner 失败仅用剩余 EnvRunner 继续运行restart_failed_env_runnersTrue时该设置不生效max_num_env_runner_restarts1000单个 EnvRunner 允许的最大重启次数。默认 1000 足以应对普通瞬时故障同时避免因 Worker 或环境自身存在 bug 导致无限重启delay_between_env_runner_restarts_s60.0两次连续重启之间的间隔秒。若 EnvRunner/评估 EnvRunner 存在远程依赖可调大该值避免重连请求洪峰并给故障方留出恢复时间同时给 Ray 留出回传错误日志的时间restart_failed_sub_environmentsFalse向量化环境中的某个子环境在 step 时抛错则只重启该子环境不打扰其余子环境、不导致 EnvRunner 崩溃num_consecutive_env_runner_failures_tolerance100在最终让整个 Algorithm 崩溃前容忍的连续 EnvRunner 失败次数评估 EnvRunner 同样计入。仅在ignore_env_runner_failures或restart_failed_env_runners为True时有意义env_runner_health_probe_timeout_s30.0等待EnvRunner.ping.remote()健康探针响应的最大秒数。健康 ping 本身很廉价但因通过阻塞式ray.get()执行默认值不宜过大env_runner_restore_timeout_s1800.0恢复已恢复的 EnvRunner Actor 状态的最大等待秒数默认 30 分钟此外还有一个相关但归属env_runners()的配置validate_env_runners_after_construction默认True见 algorithm_config.py用于控制是否在远程 EnvRunner 构造完成后校验其健康。环境级容错让单个子环境安静地重启采样Rollout或评估 Worker 常常并行运行多个环境例如为了充分利用 GPU 的并行算力。这种并行度由env_runners(num_envs_per_env_runner...)控制默认 1。此时若仅仅因为某一个环境报错就要重建整个 Worker代价过高。因此 RLlib 支持只重启单个环境实例而不会把错误向上冒泡到更高层组件。开启方式config.fault_tolerance(restart_failed_sub_environmentsTrue)从 algorithm_config.py 的源码注释可以确认其行为细节向量化环境中的某个子环境在 env stepping 时抛出任何错误EnvRunner 都会尝试重启该子环境不影响其他仍然完好的子环境EnvRunner 本身也不会崩溃。如果你的环境希望在 step 中主动触发该子环境应被重建可以直接从环境的step方法中抛出ray.rllib.env.env_runner.StepFailedRecreateEnvError抛出该异常时 RLlib 不会记录错误日志。重要注意环境重启是阻塞的官方文档明确给出警告Environment restarts are blocking.也就是说当某个子环境重启时所属的 rollout Worker 会一直等待该环境回来并完成初始化期间无法继续采样。因此对on-policy 算法而言在 Worker 层面恢复可能更好——让训练以弹性 Worker 集合继续推进同时在后台重建环境官方推荐的组合是config.env_runners(num_envs_per_env_runner1) config.fault_tolerance( restart_failed_sub_environmentsFalse, restart_failed_env_runnersTrue, )即单环境 不开子环境重启 开启 Worker 重启把容错粒度上移到 Worker 层。这与本仓库中面向故障环境的示例 rllib/examples/fault_tolerance/crashing_and_stalling_env.py 所演示的崩溃型/卡死型环境场景是配套的。实验级容错与恢复Ray Tune 的 Periodic Checkpointing第三层容错发生在实验/Trial级别由 Ray Tune 提供。当 RLlib 与 Ray Tune 配合使用时可以启用周期性 Checkpointing见 RLlib 的 checkpoints.md 文档将实验状态保存到指定的持久化存储位置。一旦某个 Trial 失败Ray Tune 会自动从最近一次 Checkpoint 的状态重新启动该 Trial而不是从零开始。RLlib 的 Checkpoint 体系基于CheckpointableAPIrllib/utils/checkpoints.py 提供三个核心方法save_to_path把当前Algorithm或任意Checkpointable组件的状态写到本地磁盘或云存储restore_from_path把已保存的状态加载回一个正在运行的对象from_checkpoint直接根据 Checkpoint 实例化全新对象——先利用元数据构建原始对象的裸实例再从 Checkpoint 目录中的状态信息恢复其状态。因此实验级容错的完整闭环是Tune 按固定周期 Checkpoint → 故障发生时 → Tune 检测到 Trial 失败 → 用最新 Checkpoint 重建并续跑。它和 Worker 级恢复的分工是Worker 级恢复应对采样节点瞬时故障而实验级恢复应对更严重的、无法在运行中自愈的失败。其他重要注意事项启动期健康检查validate_env_runners_after_construction默认情况下RLlib 会在 Worker 初始构造期间执行健康检查validate_env_runners_after_constructionTrue。如果训练开始时 RLlib 无法建立健康的 Worker 舰队整个 Job 会直接报错退出——这是一种快速失败策略避免在坏环境上浪费算力。若你的环境本身天生就不稳定flaky可以关闭该检查config.env_runners(validate_env_runners_after_constructionFalse)值得注意的是EnvRunnerGroup的构造逻辑env_runner_group.py在捕获到RayActorError且actor_init_failedTrue时会向上抛出 EnvRunner 构造过程中的原始异常而非笼统的 Ray 包装错误以保证用户能看到故障真实原因。连续失败容忍num_consecutive_env_runner_failures_tolerance如果训练过程中没有任何健康 Worker 剩余RLlib 不会立刻失败而是等待若干次迭代iterations期待部分 Worker 恢复超过容忍阈值后整个训练 Job 才失败。可配置的迭代次数即config.fault_tolerance(num_consecutive_env_runner_failures_tolerance100) # 默认 100需要说明该参数对评估evaluationEnvRunner 的失败同样计数。并且对于restart_failed_sub_environments触发的子环境重启EnvRunner 本身不会受影响也不会抛出错误故障子环境在后台被静默重启因此不消耗该容忍计数。实战一个完整的容错训练配置结合文档与源码给出一个面向Spot 实例 不稳定环境 实验可恢复场景的完整 PPO 配置示例from ray.rllib.algorithms.ppo import PPOConfig config ( PPOConfig() .environment(CartPole-v1) .env_runners( num_env_runners4, # 关键启动后校验每个远程 EnvRunner 是否健康。 # 环境本身不稳定时可改为 False。 validate_env_runners_after_constructionTrue, # 每个 EnvRunner 内并行环境数。 num_envs_per_env_runner1, ) .fault_tolerance( # 开启 Worker 级自恢复Spot 实例随时可能被抢占。 restart_failed_env_runnersTrue, # 单 Worker 最多重启 1000 次。 max_num_env_runner_restarts1000, # 重启间隔 60 秒避免洪峰。 delay_between_env_runner_restarts_s60.0, # 本例不启用子环境级重启环境数1无向量化意义。 restart_failed_sub_environmentsFalse, # 连续 100 次失败后才让整个训练失败。 num_consecutive_env_runner_failures_tolerance100, ) )若你的环境天生不稳定且无法快速构造可按需调整config.env_runners(validate_env_runners_after_constructionFalse)若你使用向量化环境num_envs_per_env_runner 1且单个子环境故障应被静默重建config.fault_tolerance(restart_failed_sub_environmentsTrue)若要为实验级恢复做准备请配合 Ray Tune 的周期 Checkpoint 使用详见 checkpoints.md。源码与测试如何验证这些机制仓库中与本主题直接相关的可验证素材配置定义rllib/algorithms/algorithm_config.py默认值与 fault_tolerance() 方法全部参数与语义。核心实现rllib/env/env_runner_group.py弹性 EnvRunner 集合、健康查询healthy_env_runner_ids()/num_healthy_env_runners()、状态同步sync_env_runner_states与 rllib/utils/actor_manager.pyFaultTolerantActorManager。EnvRunner 基类rllib/env/env_runner.py。故障环境测试rllib/env/tests/test_env_runner_failures.py、rllib/algorithms/tests/test_node_failures.py、rllib/algorithms/tests/test_eval_workers_all_unhealthy.py覆盖了 EnvRunner 故障、节点故障、评估 Worker 全部不健康等场景。故障环境示例rllib/examples/fault_tolerance/crashing_and_stalling_env.py 演示崩溃型/卡死型环境旧 API 栈示例 rllib/examples/_old_api_stack/algorithms/cartpole-crashing-recreate-workers-appo.py 演示 APPO 在 Worker 崩溃时重建 Worker。旧 API 参数迁移提示旧 API 栈中面向WorkerSet/ Rollout Worker 的容错参数已全部重命名且通过deprecation_warning(errorTrue)强制报错提示迁移见 algorithm_config.py对应关系如下旧参数已弃用新参数recreate_failed_workers/recreate_failed_env_runnersfault_tolerance(restart_failed_env_runners...)ignore_worker_failuresfault_tolerance(ignore_env_runner_failures...)max_num_worker_restartsfault_tolerance(max_num_env_runner_restarts...)delay_between_worker_restarts_sfault_tolerance(delay_between_env_runner_restarts_s...)num_consecutive_worker_failures_tolerancefault_tolerance(num_consecutive_env_runner_failures_tolerance...)worker_health_probe_timeout_sfault_tolerance(env_runner_health_probe_timeout_s...)worker_restore_timeout_sfault_tolerance(env_runner_restore_timeout_s...)validate_workers_after_constructionenv_runners(validate_env_runners_after_construction...)restart_failed_sub_environments原属于env_runners()fault_tolerance(restart_failed_sub_environments...)总结RLlib 的容错能力是分层的restart_failed_env_runnersTrue赋予 EnvRunner 集合弹性收缩与自恢复的能力底层由FaultTolerantActorManager与 Ray Actormax_restarts机制支撑restart_failed_sub_environmentsTrue让单个子环境故障不再牵连整个采样进程而 Ray Tune 的周期 Checkpoint 则为实验级故障兜底。理解弹性、自恢复、阻塞式环境重启、启动期健康检查、连续失败容忍这几个核心概念之间的取舍就能在 Spot 实例、不稳定环境、大规模集群等生产场景下构建出真正可持续运行的强化学习训练流水线。赞分享人工智能分布式训练强化学习任务调度模型推理服务【免费下载链接】rayRay is an AI compute engine. Ray consists of a core distributed runtime and a set of AI Libraries for accelerating ML workloads.项目地址https://gitcode.com/gh_mirrors/ra/ray点击查看免费下载相关推荐Ray项目RLlib容错与弹性训练机制深度解析Ray项目RLlib容错与弹性训练机制深度解析 概述 在分布式强化学习训练过程中硬件故障、网络中断、节点抢占等问题时有发生。Ray项目的RLlib模块提供了一人工智能分布式训练强化学习任务调度模型推理服务Awesome Agriculture中的机器学习与AI从作物预测到病虫害识别的应用案例Awesome Agriculture中的机器学习与AI从作物预测到病虫害识别的应用案例 Awesome Agriculture是一个专注于农业、 farmi文档知识库Ray 节点级容错机制工作节点、Head 节点与 Raylet 故障的影响范围与恢复原理Ray 节点级容错机制工作节点、Head 节点与 Raylet 故障的影响范围与恢复原理 一篇理解 Ray 集群坏节点行为的指南。Ray 集群由带 ray人工智能分布式训练强化学习任务调度模型推理服务上一篇告别适配烦恼Gradio响应式设计多设备兼容指南下一篇终极指南如何在C游戏开发中高效使用nlohmann/json进行JSON数据解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考