【免费下载链接】DiffusionNFT[ICLR 2026 Oral] DiffusionNFT: Online Diffusion Reinforcement with Forward Process项目地址https://gitcode.com/gh_mirrors/di/DiffusionNFT点击查看免费下载DiffusionNFT 是 ICLR 2026 Oral 论文「Online Diffusion Reinforcement with Forward Process」的官方实现通过前向扩散过程做在线强化学习来优化文生图模型。本文介绍如何用项目内置的 scripts/evaluation.py 脚本加载训练好的 LoRA 检查点分布式地跑 GenEval 与 OCR 两大基准测试并读懂评测结果。为什么训练后要跑基准测试DiffusionNFT 只更新一个轻量 LoRA 适配器基座模型SD3.5-Medium不变。想确认 LoRA 是否真的提升了数数能力GenEval和文字渲染准确性OCR最可靠的办法就是在固定测试集上量化打分而不是肉眼看几张图。论文的核心思路如下图所示与 GRPO 需要存储完整采样轨迹不同NFT 直接在前向过程加噪图像上做策略优化只需干净图像即可训练。跑完基准测试后你会得到类似论文这样的分数对比横轴为 GPU 训练时长DiffusionNFT 用约 1/25 的训练时间达到 0.98 的 GenEval 分数雷达图则展示 OCR、PickScore、HPSv2 等多维奖励的综合表现。评估环境与奖励模型准备评测脚本复用了训练代码的奖励模型实现flow_grpo/rewards.py因此需要先装好对应依赖和权重基准测试所需依赖说明GenEvalmmcv(1.x) mmdetection(2.x)本地目标检测无需远程服务OCRpaddlepaddle-gpu paddleocr python-Levenshtein识别图中文字并与 prompt 比对PickScore / Drawbenchopen-clip-torch、hpsv2x、image-reward 等同时使用 6 个奖励模型打分依赖安装命令与权重下载地址reward_ckpts目录可参考 README.md 中的Reward Preparation一节环境建议 Python 3.10克隆仓库后用pip install -e .安装项目本体git clone https://gitcode.com/gh_mirrors/di/DiffusionNFT cd DiffusionNFT pip install -e .两种 LoRA 加载方式scripts/evaluation.py 支持两种互斥的加载入口--lora_hf_pathHugging Face 上的 LoRA 仓库路径直接merge_and_unload合并进 transformer适合评估官方发布的 checkpoint通常配合 CFG如--guidance_scale 4.5--checkpoint_path本地训练产出的检查点目录如logs/nft/sd3/geneval/checkpoints/checkpoint-1018脚本会自动进入其下的lora子目录按 config/nft.py 相同的超参r32、lora_alpha64重建适配器后加载NFT 训练本身不使用 CFG所以配--guidance_scale 1.0。一键运行 GenEval / OCR 评估--dataset可选geneval、ocr、pickscore、drawbench四种scripts/evaluation.py。对应测试集文件已随仓库提供GenEvaldataset/geneval/test_metadata.jsonl约 2212 条含颜色、数量、空间关系等任务标签OCRdataset/ocr/test.txt约 1018 条带引号文本的提示词另有 dataset/pickscore/test.txt 与 dataset/drawbench/test.txt。标准评测命令以 8 卡为例单机少卡时改--nproc_per_node即可# HF LoRA启用 CFG torchrun --nproc_per_node8 scripts/evaluation.py \ --lora_hf_path jieliu/SD3.5M-FlowGRPO-GenEval \ --model_type sd3 --dataset geneval \ --guidance_scale 4.5 --mixed_precision fp16 --save_images # 本地 NFT LoRA不开 CFG torchrun --nproc_per_node8 scripts/evaluation.py \ --checkpoint_path logs/nft/sd3/geneval/checkpoints/checkpoint-1018 \ --model_type sd3 --dataset geneval \ --guidance_scale 1.0 --mixed_precision fp16 --save_images评测流程多卡按DistributedSampler均分测试集 → 每个 rank 生成 512×512 图像 → 调用multi_score打分 → 主进程汇总排序后落盘scripts/evaluation.py。核心参数速查表参数默认值说明--model_type必填目前仅支持sd3SD3.5-Medium--dataset必填决定测试集与奖励模型组合--lora_hf_path/--checkpoint_path二选一两种 LoRA 加载方式--guidance_scale1.0CFG 强度HF LoRA 建议 4.5NFT 本地 LoRA 用 1.0--num_inference_steps40推理步数--resolution512生成分辨率边长--mixed_precisionno建议fp16或bf16加速--output_dir./evaluation_output结果输出目录--save_images关加此开关保存生成图像如何读懂评测结果运行结束后会在output_dir中生成三类产物evaluation_results.jsonl逐条记录sample_id、prompt、metadata与各奖励分数average_scores.json各奖励项的均值控制台会同步打印--- Average Scores ---表格值为-10.0的失败样本会被剔除后再求均值images/按样本编号命名的生成图便于人工抽查。以 OCR 为例评估的是图中文字与 prompt 引号内文本的匹配程度下面这类带文字渲染的图正是典型的考察对象来自 flow_grpo/test_cases/ 的示例DiffusionNFT的OCR文字渲染基准测试示例图而 GenEval 会依据 dataset/geneval/test_metadata.jsonl 中的include/exclude标签做严格检测打分实现见 flow_grpo/gen_eval.py例如两只酒杯会检测是否恰好出现 2 个酒杯而非 3 个。常见问题与小贴士找不到lora子目录报错--checkpoint_path必须指向包含lora/子目录的检查点根目录如checkpoint-1018而不是直接指向lora文件夹本身。分数偏低检查--guidance_scale是否与 LoRA 来源匹配——NFT 训练时sample.guidance_scale 1.0见 config/nft.py用本地 LoRA 却开 4.5 的 CFG 会明显跑偏。多卡不均分GenEval 每卡 batch 为 14、OCR 为 16与测试集总量近似整除少卡运行无需修改DistributedSampler会自动补齐最后一批。显存吃紧VAE 固定 fp32transformer 与三个 text encoder 会按--mixed_precision降精度scripts/evaluation.py跑 pickscore/drawbench 时 6 个奖励模型同时加载显存占用最高可适当降低--nproc_per_node分批跑。只想快速验证 LoRA 能加载可先跑--dataset ocr依赖最简单、单卡几分钟即可出分。按以上步骤你就可以完整复现论文中 GenEval / OCR 等基准的评估流程量化对比自己训练的 DiffusionNFT LoRA 与基线模型Flow-GRPO、未微调 SD3.5-M的差距了。赞分享【免费下载链接】DiffusionNFT[ICLR 2026 Oral] DiffusionNFT: Online Diffusion Reinforcement with Forward Process项目地址https://gitcode.com/gh_mirrors/di/DiffusionNFT点击查看免费下载相关推荐smol-course 自动评估实战用 LightEval 跑通标准化基准测试与构建评估策略smol course 自动评估实战用 LightEval 跑通标准化基准测试与构建评估策略 导读 本篇文章基于 smol course 的 Automat教程人工智能大模型NLP微调QuickRecordermacOS 轻量录屏工具3 步完成硬件加速录制QuickRecordermacOS 轻量录屏工具3 步完成硬件加速录制 QuickRecorder 是一款基于 ScreenCaptureKit 框架的桌面应用音视频屏幕录制如何使用eval_harness对mesh-transformer-jax模型进行基准测试新手友好的完整指南如何使用eval_harness对mesh transformer jax模型进行基准测试新手友好的完整指南 mesh transformer jax是一个基大模型基础模型深度学习分布式训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考