人工智能大模型媒体生成微调教程提示工程本地部署【免费下载链接】various项目地址https://ai.gitcode.com/hf_mirrors/malcolmrey/various点击查看免费下载various是 malcolmrey 的 AI 模型训练与研究仓库其中收录了一套在单张RTX 5090上完成的Qwen-Image 2.1 LoRA 优化器实测基准AdamW、Prodigy、Automagic3 三种优化器在完全相同条件下训练人物 LoRA并对每个 checkpoint 的相似度、提示词遵循度、种子多样性、记忆化逐项打分。本文带你读完这份实测数据直接给出面向新手的LoRA 优化器选择指南。一句话核心结论练人物 LoRA 默认选 Automagic3约 1500 步即可——相似度在 1250 步左右就到达平台期提示词遵循度最好、LoRA 体积最小单张 5090 只需 13–16 分钟。 结论先行LoRA 训练该选哪个优化器优化器建议保留的 checkpoint结论Automagic3起始 lr1e-61250–2000取 ~1500✅ 默认首选。相似度 ~1250 步学满后一直保持到 2500提示词遵循度最好、适配器最小、不用纠结步数AdamW 8-bitlr1e-41250–1750稳妥备选。相似度稳定但 1500 步之后种子多样性缓慢下降Prodigyd_coef 1.0≤ 1500能不用就不用❌ 不推荐。学习率一路上爬、中期忽高忽低最终过训练到背答案、无视提示词 数据集大小不同时请换算成epoch思考约 60–80 个 epoch21–23 张图的训练集上1500 步 ≈ 65–71 个 epoch。用 Automagic3 时多训一点是无害的。 实测环境这套 5090 LoRA 基准是怎么搭的完整基准报告见 qwen/docs/QWEN_IMAGE_21_LORA_OPTIMIZER_BENCHMARK.md关键设置如下项目设置底模Qwen-Image 2.1ComfyUI 单文件 checkpointINT8 ConvRot硬件1× NVIDIA RTX 509032 GB训练实际占用约11 GB 显存LoRArank 16 / alpha 16覆盖全部 32 个 block 的 attention MLP共 192 层、39.8M 可训练参数分辨率 / batch512×512、batch 1、bf16数据集2 位人物Felicia Day 23 张、Rhea Seehorn 21 张全部为方形近景照跑法每个人物用 3 种优化器各训一遍每 250 步存一次 checkpoint其余参数完全一致三组实验只有优化器配置不同——数据集、rank、分辨率、时间步采样、随机种子全部相同因此所有差异都可以归因于优化器本身。仓库里还放着同款 Felicia Day 高分辨率训练集样例可以直接浏览感受数据集长什么样对应数据集与训练配置目录zimage-turbo-vs-base-training/dataset/ 评分方法别只用“像不像”一个指标每个 checkpoint 都用 3 条提示词 × 3 个种子采样再打 4 项分数指标工具衡量什么相似度 LikenessArcFaceInsightFace生成人脸与训练人脸中心的余弦相似度真人照片 ≈ 0.80超过 0.5 可视为同一人提示词遵循度 AdherenceQwen3-VL 裁判模型提示词要的盔甲、城堡、咖啡馆场景有没有真的画出来种子多样性 DiversityCLIP ViT-H/14同一提示词换种子的画面差异下降意味着构图开始“塌缩”记忆化 MemorizationCLIP ViT-H/14输出与单张训练图的接近程度逼近训练图之间的相似度就是“照抄”这份基准最重要的发现三种优化器在“像不像”上基本打平人像提示词下都能到 0.72–0.83肉眼难分伯仲。真正的差距在另外三项。 三种优化器行为差异学习率曲线说明一切AdamWProdigyAutomagic3学习率走势恒定1e-4自适应起步 ~2.3e-4训练中逐步上调结尾到3.6e-4 / 3.9e-4前 ~100 步冲到2.2–2.6e-4之后持续衰减到1.8e-5 / 8.5e-6训练结束时适配器强度 ‖ΔW‖2.7 / 3.48.0 / 9.71.4 / 1.1适配器增长线性线性且陡峭~1000 步后进入平台期AdamW恒定学习率行为稳定可预测适配器强度线性增长Prodigy自适应学习率“刹不住车”训练后期适配器强度达到 Automagic3 的约 6 倍Automagic3先冲后衰1000 步后权重更新基本停稳不再过度改动底模。 Prodigy 为什么被淘汰学习率不收敛导致过训练Prodigy 是三个里“煮过头”的那一个。以 Rhea 训练为例跑完全程时记忆化达到0.76超过训练图彼此间的相似度0.74——开始逐张复现训练图“咖啡馆”场景只保住了33%的图种子多样性塌到0.18底模0.34中期剧烈波动1500 步相似度 0.59 → 2000 步跌到 0.36 → 结尾又跳到 0.72。它最好的相似度数字恰好与最差的提示词遵循度和最严重的记忆化同时出现——这就是为什么只看“像不像”会被误导。下面这张咖啡馆场景对比图是最直观的说明Automagic3 从 500 步到结尾都稳住了场景、人群和长相而 Prodigy 的最后一个 checkpoint 已经把咖啡馆“换”成了影棚特写✅ Automagic3 为什么是默认答案相似度早 plateau、适配器最小学得快且稳相似度在 ~1000–1250 步到顶Felicia ≈ 0.60Rhea ≈ 0.56之后一直保持到终点提示词遵循度最好Felicia 组从 500 步起所有 checkpoint 的 P(yes) 1.00城堡、咖啡馆等场景从不被 LoRA 覆盖掉多样性与记忆化走平Rhea 组种子多样性维持在底模水平记忆化不上爬适配器最小结束时 ‖ΔW‖ 只有 1.1–1.4产出的 LoRA 文件也最小不用纠结步数1250–2500 步之间的 checkpoint 几乎可以互换多训不坏。⏱️ 13–16 分钟练完一个人物 LoRARTX 5090 耗时实测512px、batch 1、rank 16 条件下数据来自训练日志人物优化器总步数秒/步实际耗时FeliciaAdamW20010.65322.0 分钟FeliciaProdigy20010.83328.0 分钟FeliciaAutomagic320011.06735.9 分钟RheaAdamW24990.65027.3 分钟RheaProdigy24990.50021.0 分钟RheaAutomagic324990.62026.0 分钟三个实用结论优化器选择不影响速度——7B 模型的前向/反向占大头优化器开销可忽略GPU 空闲时三者都是 ~0.50–0.65 秒/步显存压力小全程约 11 GB16 GB 级别的卡也能跑推荐配置Automagic3、1500 步端到端约 13–16 分钟比烧一壶开水还快。整套基准含 500 张采样图与打分总共消耗约3.8 GPU 小时全部在单张 5090 上完成。 开箱即用最优 LoRA 优化器配置与提示词规则仓库里已备好按基准结论写好的 maltrainer 配置training-scripts/maltrainer/qwen_image_2_1_template.yaml关键参数如下train: max_steps: 1500 # 到这一步精确停止 save_every: 250 optimizer: automagic3 learning_rate: 1.0e-6 # 仅起点Automagic3 会自动自适应 automagic_polarity_history: 8 automagic_clip_threshold: 1.0 automagic_beta2: 0.999 weight_decay: 0.01备选方案optimizer: adamw8bitlearning_rate: 1.0e-4保留 1250–1750 步的 checkpoint 即可。⚠️ 必知的提示词规则类词必须带上基准还发现一个坑如果训练集的 caption 都写成 a woman …触发词从未被迫自己携带性别信息那么用trigger as a medieval knight这种不带 a woman 的提示词三种优化器都会画出一个男人——因为“骑士”的先验绝大多数是男性补上a woman后立刻 100% 修正。所以使用时请记住生成提示词写成trigger, a woman, …数据集 caption写成trigger, a woman with …让触发词与类词绑定 总结LoRA 优化器选择 5 条速查默认 Automagic3起始 lr1e-6训 ~1500 步60–80 epoch相似度早平台、适配器最小、多训无害AdamW 8-bit 备选lr1e-4恒定取 1250–1750 步 checkpoint留意 1500 步后多样性下滑该底模上避开 Prodigy学习率持续上爬、适配器暴涨终点往往记忆化并覆盖提示词场景别只用相似度判断模型好坏提示词遵循度、多样性、记忆化要一起看提示词永远带类词trigger, a woman, …触发词不会替你携带性别信息。更多模型的对照实测Z-Image Base vs Turbo、Klein 9B、SDXL 等可继续查看 zimage-turbo-vs-base-training/README.md 以及 training-scripts/ 下的各训练器现成模板。赞分享人工智能大模型媒体生成微调教程提示工程本地部署【免费下载链接】various项目地址https://ai.gitcode.com/hf_mirrors/malcolmrey/various点击查看免费下载相关推荐GLM-4.5-Air优化器选择AdamW vs Lion性能对比GLM 4.5 Air优化器选择AdamW vs Lion性能对比 引言大模型训练的优化器困境 你是否在训练GLM 4.5 Air时面临收敛速度慢、显存占用基础模型大模型NLPPyTorch Image Models优化器选择AdamW vs SGD对比指南PyTorch Image Models优化器选择AdamW vs SGD对比指南 在深度学习模型训练中选择合适的优化器是提升模型性能的关键一步。PyTor人工智能计算机视觉深度学习Optimum优化器对比AdamW vs Lion在Gaudi上Optimum优化器对比AdamW vs Lion在Gaudi上 引言 在深度学习模型的训练过程中优化器的选择对模型性能和训练效率有着至关重要的影响。Ada人工智能模型量化模型优化模型压缩大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考