【免费下载链接】DataArc-SynData-ToolkitSynthetic Data Generation Platform By DataArcTech项目地址https://gitcode.com/gh_mirrors/da/DataArc-SynData-Toolkit点击查看免费下载DataArc SynData Toolkit是一个开源合成数据生成平台除了能一键合成大模型训练数据还内置了基于 verl 的模型后训练模块——你只需一条sdg train命令就能在合成数据上完成SFT监督微调和GRPO群组相对策略优化训练再配合 DeepEval 评估闭环全程无需手写任何训练脚本。本文将带你快速上手这套合成数据 → 后训练 → 评估的完整工作流。为什么值得用后训练闭环一图看懂传统流程里造数据和训模型往往分散在两套工具里。DataArc SynData Toolkit 把这两步打通上游从本地语料、HuggingFace 或教师模型蒸馏三条路线合成数据下游直接接 verl 训练器形成闭环。官方给出的实测效果也很能打用合成数据训练的 Qwen-2.5-7B 在医疗、金融、法律三个领域上分别提升了 22%、21% 和 23 个百分点堪称小成本大收益。快速安装与一键启动 硬件要求、CUDA 版本与依赖配置详见官方文档 docs/DEPENDENCIES_zh.md。三步完成安装仓库中已内置 verl 框架无需单独安装# 1. 克隆项目 git clone https://gitcode.com/gh_mirrors/da/DataArc-SynData-Toolkit cd DataArc-SynData-Toolkit # 2. 安装 uv 包管理器 pip install uv # 3. 一键同步全部依赖 uv sync如果你要合成数据来喂给训练先创建.env文件填入 API 密钥再执行uv run sdg generate configs/sdg.yaml生成训练集。详细流程可参考使用场景文档 docs/USE_CASES_zh.md。SFT 训练一条命令完成监督微调SFTSupervised Fine-Tuning是最直观的后训练方式用问题-答案对直接教会模型标准答法。DataArc 的启动器会自动把 JSONL 数据转换成 verl 需要的 Parquet 格式你完全不用操心。配置文件样例见 configs/sft.yaml核心字段一目了然配置块关键项说明datatrain_files/val_files训练集与验证集路径JSONL 格式modelpath、lora_rank基座模型lora_rank: 0为全参微调设为 32/64 即启用 LoRA 省显存optimlr: 1e-5学习率trainertotal_epochs、save_freq训练轮数与检查点保存频率执行训练只需一条命令uv run sdg train configs/sft.yaml训练日志会实时打印到终端同时保存在检查点目录的logs/training.log中。SFT 在底层调用 verl 的 FSDP 训练器verl/trainer/fsdp_sft_trainer.py多卡并行开箱即用命令行还支持--num-gpus 4这类参数临时覆盖 GPU 数量。GRPO 训练让模型在组内比较中自我进化GRPOGroup Relative Policy Optimization是强化学习路线对同一问题让模型生成多组回答用奖励信号选出更好的回答来更新策略无需人工标注答案。配置文件见 configs/grpo.yaml比 SFT 多三块关键设置配置块关键项说明actorlr: 1e-6、use_kl_loss策略网络学习率KL 惩罚防止策略漂移rolloutn: 4、gpu_memory_utilization每个问题采样 4 个回答vLLM 显存占用比例rewarddata_source/custom_reward_function/reward_model三选一内置规则奖励、自定义奖励函数或奖励模型奖励配置是 GRPO 的核心。以数学题为例把reward.data_source设为openai/gsm8kverl 就会自动路由到内置的数学答案校验函数如 verl/utils/reward_score/gsm8k.py用标准答案核对模型输出得分。uv run sdg train configs/grpo.yamlGRPO 在底层调用 verl 的 PPO 主入口verl/trainer/main_ppo.py并通过algorithm.adv_estimator: grpo切换为 GRPO 优势估计。数据预处理逻辑JSONL 转 Parquet、注入 ground_truth封装在 sdgsystem/trainer/data_preprocessing.py 中全部自动完成。经验之谈先用 SFT 教会模型答对再用 GRPO 让它答得更好是当前公认的后训练黄金组合。可视化训练WebUI 里盯着 Loss 曲线跑不想碰命令行DataArc 的 React 前端提供了图形化训练页面源码见 sdgsystem/webui/src/pages/training-page/SFT 与 GRPO 一键切换填表即可启动。启动前后端两个终端分别执行# 终端 1FastAPI 后端 uv run fastapi dev sdgsystem/app/main.py # 终端 2React 前端 cd sdgsystem/webui pnpm install pnpm dev前端亮点包括通过 SSE 实时流式推送训练日志、自动解析train/loss和学习率指标、训练完成后可在界面里一键导出模型到 Hugging Face甚至能中途取消任务。前端细节可查阅 sdgsystem/webui/README_zh.md。合并权重与模型评估闭环的最后一步训练产出的 verl 检查点需要先合并成 HuggingFace 格式才能部署或评估python -m verl.model_merger merge --backend fsdp --local_dir checkpoint --target_dir output合并后用内置的 DeepEval 模块评估后训练效果覆盖答案正确性、格式合规性、成对偏好比较三大指标配置样例见 configs/eval.yamluv run sdg eval configs/eval.yaml评估代码位于 sdgsystem/deepeval/结果既保存到本地输出目录也可在 Confident AI 云端看板中可视化对比基座模型与后训练模型的表现。总结一条命令打通的后训练闭环回顾一下完整链路装uv sync一键装好全部依赖造uv run sdg generate configs/sdg.yaml合成训练数据训uv run sdg train configs/sft.yaml或grpo.yaml一条命令启动后训练评uv run sdg eval configs/eval.yaml验证效果对于想验证合成数据到底有没有用的团队这套工具链把试错成本压到了最低——改个配置、跑条命令就能拿到可量化的提升。更多源码细节可深入 sdgsystem/trainer/ 目录训练配置类定义在 sdgsystem/trainer/config.py方法实现在 sdgsystem/trainer/methods/。赞分享【免费下载链接】DataArc-SynData-ToolkitSynthetic Data Generation Platform By DataArcTech项目地址https://gitcode.com/gh_mirrors/da/DataArc-SynData-Toolkit点击查看免费下载相关推荐使用 TRL 完成大模型后训练全流程SFT、奖励模型、DPO、PPO 与 GRPO 实战指南使用 TRL 完成大模型后训练全流程SFT、奖励模型、DPO、PPO 与 GRPO 实战指南 导读 本文以 AI Research SKILLs 仓库中 TRAI 技能人工智能大模型深度学习DataArc SynData Toolkit图像模态教程如何用VLM生成VQA视觉问答训练数据DataArc SynData Toolkit图像模态教程如何用VLM生成VQA视觉问答训练数据 DataArc SynData Toolkit 是由 DatAgentic RL终极实战指南从SFT到GRPO的全流程模型训练Agentic RL终极实战指南从SFT到GRPO的全流程模型训练 想要掌握最前沿的Agentic RL技术吗本文为你带来从监督微调 SFT 到组策略优化教程文档AI Agent人工智能大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考