【免费下载链接】SkillRL[NeurIPS26] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning项目地址https://gitcode.com/gh_mirrors/sk/SkillRL点击查看免费下载SkillRLNeurIPS26基于递归技能增强强化学习的自进化智能体不仅提供 RL 训练框架还在 examples/sft_data_generation/ 目录下内置了一套完整的SFT 数据生成流水线把你模型在 ALFWorld、WebShop、Search 环境中跑出来的 Rollout 轨迹txt 文件自动加工成带技能注入与思维链推理的 SFT 训练语料。本文将带你完整跑通这条四步流水线从轨迹解析、技能记忆聚合到 o3 推理蒸馏与 alpaca 语料落盘。一、流水线总览一条命令跑通四步整个流程由三个环境脚本驱动对应三个目标环境run_alfworld.shrun_webshop.shrun_search.sh四步依次为阶段目录产物[1] 解析 去重preprocess/processed_trajectories.json[2] 技能记忆 聚合skill_memory/skill_bank.json[3] o3 推理蒸馏distillation/distilled_trajectories.json[4] 转 alpaca 语料postprocess/{instruction, output}JSON快速上手只需 3 个环境变量 1 条命令pip install openai export OPENAI_API_KEY... export ROLLOUT_DIR/path/to/your/rollout/txts # 你的Rollout轨迹目录 export WORK_DIR/path/to/output # 输出目录 bash run_alfworld.sh # 或 run_webshop.sh / run_search.sh注意流水线不包含Rollout 步骤本身——你需要先用自己的模型在目标环境中跑轨迹并落盘为 txt仓库提供了参考的轨迹写入实现如 examples/prompt_agent/gpt4o_alfworld.py。二、第 1 步解析与去重 Rollout 轨迹2.1 输入 txt 格式ALFWorld / WebShop轨迹按env000/test1.txt这样的目录组织每个文件包含逐步的 step 块 Trajectory for Test 0, Env 5 Step -1 | Action: None | Reward: 0.000 | Done: False Obs: - Welcome to TextWorld, ALFRED! - ... Step 00 | Action: go to countertop 1 | Reward: 0.000 | Done: False Obs: You arrive at countertop 1. ... Step 12 | Action: put plate 1 in box 1 | Reward: 10.000 | Done: True约定Step -1是初始状态成功步以Reward: 10.000和Done: True标记Search 环境则是Reward: 1.0。2.2 解析器做了什么以 parse_alfworld.py 为例它用正则逐块提取动作、奖励、观察、可行动作列表并做了质量筛选只保留纯成功或纯失败的环境all_success/all_fail跳过混杂环境按轨迹长度排序每个环境最多保留 N 条成功 / N 条失败轨迹。2.3 循环动作去重dedupe_repetitions.py 专门处理模型卡死在同一动作循环的情况它贪心地检测轨迹尾部是否与前面的窗口完全重复若重复则剪掉一整段重复循环避免把低质量的反复横跳写进 SFT 语料。 如果你的 Rollout 已经是自定义 JSON 格式可以跳过parse_*.py直接按 README 中约定的 schema 喂给第 2 步。三、第 2 步技能记忆生成与技能库聚合这是 SkillRL 技能增强思想在数据侧的落点分两个子步骤。3.1 逐轨迹技能记忆generate_memory_*.pygenerate_memory_alfworld.py 用 LLM默认 gpt-4o对每条轨迹调用三次提炼出三类结构化记忆contextual_description一行任务分类 结果摘要成功/失败根因refined_trajectory用反向因果链算法从最后一步往前回溯剪掉无关步骤并把实例 ID 抽象成占位符如 mug 1 → mugstrategic_guidelines成功轨迹产出planning_pattern规划链失败轨迹产出mistakes_to_avoid避坑清单。3.2 聚合为技能库aggregate_skills.pyaggregate_skills.py 把分散的轨迹记忆聚合成一个精炼的skill_bank.json结构包含general_skills通用原则如系统性探索task_specific_skills按任务类别分组的技能ALFWorld 6 类、WebShop 按商品类目、Search 按查询类型common_mistakes常见错误 原因 规避方法。该 schema 与 skill_generation/ 目录中的技能文件一致因此同一份技能库既可用于 RL 运行时的SkillsOnlyMemory也可用于本 SFT 蒸馏流水线——数据生成和训练共享同一套技能资产。四、第 3 步o3 推理蒸馏为每一步补上思维链distill_alfworld.py 是流水线的核心增值步骤技能检索注入skill_retrieval.py 按任务关键词把轨迹分类如 clean → clean 类、heat/hot → heat 类从技能库取出对应类别的技能拼成## Retrieved Relevant Experience系统提示块——这正是 SkillRL 技能增强在语料中的体现构造 ShareGPT 对话每步一个 (human, gpt) 回合human 侧包含观察 可行动作列表 最近 H 步历史gpt 侧输出think.../thinkaction.../action调用 o3 一次为整条轨迹的每一步批量生成 1-3 句策略性推理动作字符串直接取自原始轨迹保证动作合法有效合成终止步仅 ALFWorld由于环境中没有显式的done动作脚本会追加一个人工构造的终局回合训练模型学会在目标达成时主动结束任务。五、第 4 步展平为 alpaca 语料sharegpt_to_pairs.py 把多轮 ShareGPT 轨迹展平成逐步的(instruction, output)对instruction是系统提示 Retrieved Relevant Experience Current Progress含最近 H 步观察/动作历史output是think…/think加action…/action。产物与 HuggingFace 上的 SkillRL-SFT-Data 数据集 schema 完全一致可直接被 alpaca 风格的 SFT trainer 加载。WebShop 还多一道质检validate_and_fix_webshop.py 会修复三类常见脏数据——裸写的buy now补成click[buy now]、模型编造的非法动作如 check price、scroll整条剔除、以及click[description]前缺失click[ prev]时自动插入导航返回步。六、三环境关键差异速查ALFWorldWebShopSearch成功判定Reward: 10.000Reward: 10.000Reward: 1.0合成done步✅ 需要不需要不需要技能类别6 类任务按商品类目direct_retrieval / multi_hop后处理质检无动作词表归一化无Search 轨迹是纯文本问答格式searchanswer解析时通过文件名推断 QA 数据集来源规则不同可调整 parse_search.py 中的infer_data_source。七、常见问题与省钱建议API 成本第 2、3 步都会调用 LLM脚本内置了 token 计价见PRICE_INPUT/PRICE_OUTPUT默认每个环境只取一条轨迹生成记忆可用--all_trajectories扩展按需控制规模。换蒸馏模型--model参数默认o3可用环境变量DISTILL_MODEL覆盖为其他推理模型。只想复用技能库技能库 schema 已对齐 memory_data/ 中发布的 claude_style_skills 系列 JSON可以直接喂给第 3 步跳过第 2 步。总结SkillRL 的 SFT 数据流水线把轨迹 → 语料的关键动作拆成了四步解析去重 → 技能记忆聚合 → o3 推理蒸馏 → alpaca 展平质检。它最大的亮点在于技能库与 RL 训练共享同一 schema让 SFT 语料天然带有检索注入的经验 逐步思维链为后续 RL 阶段的技能增强打下数据基础。跟着 examples/sft_data_generation/README.md 的说明准备好自己的 Rollout 轨迹一条 bash 命令即可产出可直接训练的 SFT 数据集。赞分享【免费下载链接】SkillRL[NeurIPS26] SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning项目地址https://gitcode.com/gh_mirrors/sk/SkillRL点击查看免费下载相关推荐agno 工具调用轨迹数据生成实战从真实工具 Schema 到多轮轨迹的 SFT 数据流水线agno 工具调用轨迹数据生成实战从真实工具 Schema 到多轮轨迹的 SFT 数据流水线 本文围绕 agno 仓库中 cookbook/data_labe人工智能AI AgentAgent 框架多智能体工具调用RAGAgent 记忆Agent 工作流后端SkillRL训练流水线实战从记忆数据生成到GRPO训练的完整操作指南SkillRL训练流水线实战从记忆数据生成到GRPO训练的完整操作指南 SkillRLNeurIPS26是一个让 LLM Agent 通过递归技能增强N_m3u8DL-RE 入门实战3 条命令搞定 M3U8 下载、加密解密与直播录制N_m3u8DL RE 入门实战3 条命令搞定 M3U8 下载、加密解密与直播录制 网页播放器能播的流浏览器右键却存不下来N_m3u8DL RE 就是一台CLI音视频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考