【免费下载链接】Automodel Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support项目地址https://gitcode.com/gh_mirrors/aut/Automodel点击查看免费下载NeMo AutoModel 是 NVIDIA 开源的 PyTorch 分布式训练库原生支持 LLM/VLM/扩散模型的 Hugging Face 模型训练与微调。本文将带你使用它微调 Qwen-Image、FLUX.1-dev、Wan 2.1 等文生图/文生视频扩散模型通过 flow matching流匹配损失、FSDP2 数据并行和多分辨率数据分桶只需一份 YAML 配置 一条torchrun命令即可在单卡到多节点 GPU 集群上完成从数据预处理到推理出图的完整流程。一、为什么用 NeMo AutoModel 微调扩散模型预训练扩散模型如 FLUX 做文生图、Wan 做文生视频虽然效果惊艳但不认识你的私有风格、产品或场景。微调就是用自己的数据去适配模型而无需从头训练。NeMo AutoModel 的扩散训练栈有 4 个核心特点Flow Matching 损失采用流匹配框架学习噪声→数据的速度场是 FLUX、Wan、Qwen-Image 等现代 DiT 模型的标配训练目标FSDP2 数据并行所有模型统一使用 PyTorch 原生的 FSDP2 分片策略改一个dp_size就能从 8 卡扩到 16 卡、32 卡无缝集成 Hugging Face Diffusers直接用 HF 模型 ID 加载权重微调产出的 checkpoint 可保持 Diffusers 兼容格式diffusers_compatible: trueYAML 驱动、最小样板代码改配置不改代码CLI 还能直接覆盖任意字段例如--model.checkpoint ./checkpoints/LATEST官方文档详细讲解了这个流程docs/guides/diffusion/finetune.mdx。支持的主流模型模型任务参数量示例配置Qwen-Image文生图20Bexamples/diffusion/finetune/qwen_image_t2i_flow.yamlFLUX.1-dev文生图12Bexamples/diffusion/finetune/flux_t2i_flow.yamlWan 2.1 T2V 1.3B文生视频1.3Bexamples/diffusion/finetune/wan2_1_t2v_flow.yamlHunyuanVideo 1.5文生视频—examples/diffusion/finetune/hunyuan_t2v_flow.yamlQwen-Image-Edit-2511指令式图像编辑20Bexamples/diffusion/finetune/qwen_image_edit_2511_flow.yaml二、一键安装最快配置方法扩散模型微调需要diffusion和diffusion-media两个 extra后者提供 OpenCV 图像/视频预处理能力uv venv source .venv/bin/activate uv pip install nemo-automodel[diffusion,diffusion-media]如果你更倾向容器化环境推荐多节点部署使用可以直接拉取官方镜像docker pull nvcr.io/nvidia/nemo-automodel:26.10.00 docker run --gpus all -it --rm --shm-size8g nvcr.io/nvidia/nemo-automodel:26.10.00⚠️ Docker 容器默认不含 media 依赖进容器后需先执行cd /opt/Automodel uv pip install .[diffusion-media]另外容器退出会丢失 checkpoint务必把输出目录挂载到宿主机。三、数据准备先编码再训练扩散模型在**潜空间latent space**中训练而不是直接处理原始像素。为了不在每个训练步重复跑 VAE 和文本编码器NeMo AutoModel 要求先用内置的预处理工具把数据一次性编码为.meta缓存文件。每个缓存文件包含VAE 潜变量 文本编码嵌入 元数据原始分辨率、caption 等训练时全部在潜空间完成速度大幅提升。文生图数据预处理以 Qwen-Image / FLUX 为例把jpg/png/webp等图片放到一个目录caption 可以放在同名.json旁路文件中python -m tools.diffusion.preprocessing_multiprocess image \ --image_dir /data/images \ --output_dir /cache \ --processor flux \ --resolution_preset 512p文生视频数据预处理以 Wan 2.1 为例python -m tools.diffusion.preprocessing_multiprocess video \ --video_dir /data/videos \ --output_dir /cache \ --processor wan \ --resolution_preset 512p \ --caption_format sidecar工具会自动在所有 GPU 上并行分发编码任务每卡一个 worker。输出目录会按分辨率分桶如512x512/、832x480/训练时按桶采样避免不同尺寸样本混批造成的 padding 浪费。 完整参数说明支持--mode frames抽帧模式、--max_pixels自定义像素预算等见docs/guides/diffusion/dataset.mdx 和 tools/diffusion/preprocessing_multiprocess.py。四、配置训练 Recipe读懂一份 YAML微调由两部分驱动Recipe 脚本nemo_automodel/recipes/diffusion/train.py 中的TrainDiffusionRecipe负责加载模型、构建 dataloader、计算 flow matching 损失、checkpoint 与日志YAML 配置指定模型、数据、优化器、并行策略等所有超参——改配置即可无需动代码以 Qwen-Image 全参数微调配置 examples/diffusion/finetune/qwen_image_t2i_flow.yaml 为例各区块职责如下区块关键字段说明modelpretrained_model_name_or_path: Qwen/Qwen-ImageHF 模型 IDmode: finetune表示加载预训练权重适配step_schedulerglobal_batch_size: 40/ckpt_every_steps: 500全局有效 batch size 与 checkpoint 频率data.dataloadercache_dirbase_resolution: [512, 512]指向预处理缓存目录指定基础分辨率optimizerlr: 1e-5AdamW微调常用学习率Qwen-Image/FLUX 建议 1e-5 ~ 2e-5flow_matchingadapter_type: qwen_image必须与模型匹配Wan 用simple、FLUX 用fluxfsdpdp_size: 8设为节点 GPU 总数checkpointdiffusers_compatible: true输出 Diffusers 兼容的 safetensors方便直接加载推理 Qwen-Image 的 flow matching 采用logit_normal时间步采样 flow_shift: 2.23FLUX 则用guidance_scale引导嵌入——这些模型差异都已写进各自示例配置照抄即可。想省显存可以改用 LoRA 配置例如 examples/diffusion/finetune/qwen_image_t2i_flow_lora.yamldim: 64只训练注意力与 MLP 中的投影层硬件门槛低很多。五、启动微调一条 torchrun 命令搞定以 8 卡单机训练 Wan 2.1 为例入口脚本 examples/diffusion/finetune/finetune.pytorchrun --nproc-per-node8 \ examples/diffusion/finetune/finetune.py \ -c examples/diffusion/finetune/wan2_1_t2v_flow.yaml训练前记得改两处data.dataloader.cache_dir缓存目录和checkpoint.checkpoint_dir输出目录。训练过程中可配合wandb区块实时观察train_loss还支持data.validation_dataloaderval_every_steps定期跑验证集损失。多节点扩缩容单节点不够只需把dp_size改成全部节点 GPU 总数并在每台机器上执行带--nnodes/--node_rank的torchrun命令。完整多节点模板参考 examples/diffusion/finetune/wan2_1_t2v_flow_multinode.yaml2 节点 × 8 卡 dp_size: 16。六、推理出图从 checkpoint 到成品训练完成后用统一生成脚本 examples/diffusion/generate/generate.py 出图/出视频支持所有已支持的模型Qwen-Image 文生图配置 examples/diffusion/generate/configs/generate_qwen_image.yamlpython examples/diffusion/generate/generate.py \ -c examples/diffusion/generate/configs/generate_qwen_image.yaml \ --model.checkpoint ./checkpoints/LATEST \ --inference.prompts [一只在窗台上看雨花的橘猫]FLUX 文生图 / Wan 文生视频换用generate_flux.yaml、generate_wan.yaml即可。Wan 还支持多卡张量并行推理通过 CLI 覆盖--distributed.parallelism.tp_size 8降低单卡显存压力。提示--model.checkpoint ./checkpoints/LATEST会自动加载最新 checkpoint省去手工找路径的麻烦。七、硬件需求与选型建议组件最低配置推荐配置GPUA100 40 GBA100 80 GB / H100GPU 数量48内存128 GB256 GB存储500 GB SSD2 TB NVMe选型速查有限硬件试水视频生成Wan 2.1 1.3B单张 A100 40GB 即可跑️追求文生图质量FLUX.1-dev12Bguidance 引导可控✏️中文生态/图像编辑Qwen-Image / Qwen-Image-Edit-2511支持指令式编辑总结5 步走通扩散模型微调步骤做什么关键资源1. 安装uv pip install nemo-automodel[diffusion,diffusion-media]docs/guides/installation.mdx2. 准备数据预处理为.meta潜空间缓存tools/diffusion/preprocessing_multiprocess.py3. 配置复制一份 YAML改模型 ID 与缓存路径examples/diffusion/finetune/4. 训练torchrunfinetune.py启动 FSDP2 微调examples/diffusion/finetune/finetune.py5. 推理generate.py 微调 checkpoint 出图examples/diffusion/generate/generate.pyNeMo AutoModel 把扩散模型微调的脏活累活并行策略、分桶采样、checkpoint 管理、Diffusers 兼容导出全部封装进 recipe你只需要关心自己的数据和那份 YAML——这正是它开箱即用的含义所在。赞分享【免费下载链接】Automodel Pytorch Distributed native training library for LLMs/VLMs with OOTB Hugging Face support项目地址https://gitcode.com/gh_mirrors/aut/Automodel点击查看免费下载相关推荐NeMo Automodel 与 Diffusers 深度集成大规模扩散模型微调训练完全指南NeMo Automodel 与 Diffusers 深度集成大规模扩散模型微调训练完全指南 NeMo Automodel 是 NVIDIA 开源的 PyTo人工智能媒体生成深度学习音频如何从零开始预训练大模型NeMo AutoModel nanoGPT与DeepSeek-V3预训练完整指南如何从零开始预训练大模型NeMo AutoModel nanoGPT与DeepSeek V3预训练完整指南 想自己从零开始预训练大模型却不知从何下手 NeNeMo AutoModel大模型微调实战一条命令微调LLM的SFT完整指南NeMo AutoModel大模型微调实战一条命令微调LLM的SFT完整指南 NeMo AutoModel 是 NVIDIA 推出的 PyTorch 原生分布创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考