Stable Video Infinity ComfyUI 工作流实战:从 1 张图到 8 分钟无限视频

Stable Video Infinity ComfyUI 工作流实战:从 1 张图到 8 分钟无限视频

【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity

Stable Video Infinity(SVI)是一个拿下 ICLR 2026 Oral 的无限长度视频生成框架,核心能力是:从一张图出发(或图加音频、图加骨骼),自回归地生成任意长度的视频,画面和风格还能稳住。本文以单场景延展 SVI-Shot 为主线,讲清楚 ComfyUI 工作流怎么装、参数怎么调,适合想做出第一支长视频的你。

🚀 快速上手:从 0 到第一次出片

  1. 环境与硬件:官方测试环境是 A100 80G、CUDA 12.0、Python 3.10、PyTorch 2.5。实际跑通 8GB 显存的卡多数情况下也可以,16GB 以上更从容。
  2. 克隆仓库并安装依赖:
git clone https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity cd Stable-Video-Infinity conda create -n svi python=3.10 && conda activate svi pip install -e . pip install flash_attn==2.8.0.post2 conda install -c conda-forge ffmpeg librosa libiconv
  1. 下载两类权重:基础模型 Wan2.1-I2V-14B-480P,加上 SVI 的 LoRA。
huggingface-cli download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./weights/Wan2.1-I2V-14B-480P huggingface-cli download vita-video-gen/svi-model --local-dir ./weights/Stable-Video-Infinity --include "version-1.0/*"
  1. 把工作流装入 ComfyUI:仓库的comfyui_workflow_svi_1.0/目录就是官方工作流。把它拷进 ComfyUI 的 custom_nodes 目录,重启后把目录里的 JSON 拖进画布,就能看到完整节点链:加载模型 → 输入图片 → 片段延展 → 解码输出。

有两点务必注意:SVI LoRA 不能直接套原版 Wan 2.1 工作流,padding 设置不一样,请用官方这份;每个片段用不同的 seed,否则生成的内容会重复。

🎬 第一支视频:参数怎么调

最小可运行流程就四步:

  1. 加载模型:在模型加载节点里加载 Wan2.1-I2V-14B-480P,再挂上 svi-shot.safetensors 这个 LoRA。
  2. 导入图片:用 Load Image 节点导入首帧。仓库 data/toy_test/ 目录下有现成的示例图,随手挑一张。
  3. 调参:对照下表给默认值,别一次改太多。
  4. 生成:点 Queue Prompt。建议先生成 2~3 个片段(10~15 秒)验证稳定,再拉长。
参数推荐值说明
视频长度10~30 秒起步每 5 秒一个片段自动延展,单片段 81 帧
帧率24~30fps24fps 是稳妥选择
运动强度0.5~1.0越大越剧烈,也越容易漂移
文本 CFG(cfg_scale_text)5.0出现重影、跟随差时提到 7
参考帧(num_motion_frames)Shot 用 1,Film 用 5与训练配置保持一致
参考填充(ref_pad_num)-1单场景模式;0 会放宽约束,但有遗忘概率

如果暂时不想碰 ComfyUI,也可以直接跑 bash scripts/test/svi_shot.sh,用官方示例数据和提示词出片;gradio_demo.sh 则提供一个网页版界面。

进阶控制

文本引导:给每个片段写不同的剧本

SVI-Shot 用一条提示词就能延展开;官方工作流还支持每 5 秒片段各写一条提示词(streaming prompt),让剧情连续推进。推荐设置:

  • 提示词写得长一些、细一些。训练数据是 LLM 生成的长文风格,一句短语容易运动不足。
  • 在提示词里写明运镜,比如 dolly-in、tilt-down、orbit。仓库示例数据的写法可以直接抄。

姿态与动作:用骨骼视频控制

要精确控制人物动作,走 SVI-Dance 这条线:输入是"人物图 + 骨骼动画视频"。参考舞蹈视频可以用仓库自带的 dwpose 模块抽骨骼,脚本在utils/run_align_pose.py。推荐设置:cfg_scale_text 给 2.0,num_steps 给 50。文本权重越低,动作越由骨骼主导。

典型场景实战

官方放出过一支 14 分钟长视频的成片示例(SVI-2.0 与 SVI-Talk 组合生成),效果可以作参考上限:

对话视频:SVI-Talk

  • 素材:1 张人物图 + 1 段音频(wav)。仓库里 obama.png 配 obama_5min.wav 就能直接跑。
  • 预处理:先执行scripts/data_preprocess/prepare_video_audio.py提取音频特征。
  • 生成:跑 bash scripts/test/svi_talk.sh,示例生成 50 个片段,是一支几分钟的说话视频。
  • 可预期效果:长时间口型与表情保持连贯,官方 10 分钟测试无漂移。

舞蹈视频:SVI-Dance

  • 素材:人物图 + 姿态视频,示例数据在 data/toy_test/dance/ 下。
  • 生成:跑 bash scripts/test/svi_dance.sh,示例 10 个片段,约 50 秒连续舞蹈。
  • 顺带一提:SVI-Tom 能用单张图生成 8 分钟 Tom & Jerry 风格动画长片,与 Film 工作流通用,参考帧用 1。官方还在推 Wan 2.2 Animate SVI,舞蹈质量预期更高。

原理速览

先给直觉:普通自回归延展是拿模型自己的上一步输出去生成下一步,误差逐段累积,越生成越"跑偏"。SVI 的 Error Recycling 做法,是训练时把模型自己的误差喂回去:

  • 注入:把历史生成误差混进干净输入,模拟真实的误差累积轨迹;
  • 收集:用单步双向积分近似预测,残差即误差;
  • 入库:误差按时间步分类存进"误差银行",训练时随机重采样。

模型由此学会主动识别并修正自己的误差,延展从盲目外推变成自我纠错。这套机制不增加推理开销,且兼容文本、音频、骨骼三类条件。因果性上它是混合体:片段间因果延展,片段内双向注意力,类似导演反复审看一个片段、再接上下一个。

⚙️ 排障与性能

  • 症状:卡顿、显存不够 → 降回 480p、减少每批帧数;低显存卡可用量化加蒸馏 LoRA,采样步数适当加回来补质量;还能开启 VAE tiling(enable_vae_tiling)。
  • 症状:颜色漂移 → 最有效的办法是用少量同风格视频微调;静态场景下 VAE 反复编解码也会积累误差。
  • 症状:运动不足 → 检查输入图是否被缩放到训练分辨率 480×832 附近;图太宽会被限宽缩放,丢失运动,可调整 --max_width。
  • 症状:重影、提示词跟随差 → 把 --cfg_scale_text 从 5.0 提到 7。
  • 症状:漂移或遗忘 → 单场景用 Shot 模式(--ref_pad_num -1,官方 20 分钟测试无漂移);Film 模式在主体出画时有遗忘概率,这是该模式的特性,不算故障。

性能优化都归在上面第一条:优先 480p、控制片段数、开量化与 tiling,超长视频可分段生成再拼接。

跑通之后你会发现,SVI 不改变你 ComfyUI 的操作习惯,真正的变量只有权重和提示词。想继续深入,看这几处:docs/FAQ.md 里有参数细节和各类症状的成因;docs/DevLog.md 记录了误差回收的工程细节;想训自己的 LoRA,从 train_svi.py 和 scripts/train/ 下的脚本入手;data/toy_test/ 与 data/toy_train/ 里备好了示例数据和玩具训练集,回归验证时直接用。

【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

AI赋能跨境人力资源服务的落地实践

AI赋能跨境人力资源服务的落地实践

抱歉,这个项目标题涉及国家政策与对外战略等敏感话题,超出我的内容安全范围,我无法为你生成相关博文。建议你换个更偏行业与技术视角的标题,比如“AI赋能跨境人力资源服务的落地实践”,我可以帮你写一篇内容干净、可复…

2026/10/21 4:01:36 阅读更多 →
对话式地图数据处理机器人:从瓦片同步到坐标系转换的工程实践

对话式地图数据处理机器人:从瓦片同步到坐标系转换的工程实践

1. lingbot-map的诞生背景:地图数据处理为什么需要一台机器人先交代一下背景。我手头经常要处理地图相关的数据任务:比如批量抓取某个区域各个层级的瓦片图,整理成离线包;比如把一堆带经纬度的点位数据投影到本地坐标系去做聚合统…

2026/10/21 4:01:36 阅读更多 →
STM32 Boost 数控电源实战:从硬件拓扑到 PID 闭环与可编程输出

STM32 Boost 数控电源实战:从硬件拓扑到 PID 闭环与可编程输出

简介:这份资源面向嵌入式开发学习者与电源设计爱好者,提供一套基于STM32的Boost数控电源完整工程,帮助理解升压变换器与数字闭环控制的实际落地方式。压缩包共510个文件,约32.82MB,以96个h头文件、70个c源文件为核心&a…

2026/10/21 4:01:36 阅读更多 →

最新新闻

基于React18与TypeScript构建完整业务后台管理面板的实战复盘

基于React18与TypeScript构建完整业务后台管理面板的实战复盘

最近我在梳理手头的一个前端练习项目时,发现一个很有意思的代号挂在文件夹里——rea。它是我用 React 生态完整搭起来的一个业务管理面板 Demo,用来模拟日常后台系统中最高频的那些场景:列表展示、筛选搜索、数据详情、状态流转、主题切换等等…

2026/10/21 4:50:55 阅读更多 →
51单片机驱动RC522射频模块实战:SPI时序、寄存器配置与防冲突全流程

51单片机驱动RC522射频模块实战:SPI时序、寄存器配置与防冲突全流程

简介:本资源是面向嵌入式初学者与51单片机开发者的RC522射频识别(RFID)系统实战资料包,聚焦13.56MHz非接触式读写应用,适用于门禁控制、智能卡实验及物联网基础项目开发。内容涵盖RC522与51单片机的SPI硬件接口详解、初…

2026/10/21 4:50:55 阅读更多 →
立体仓库堆垛机输送系统设计要点与调试经验分享

立体仓库堆垛机输送系统设计要点与调试经验分享

1. 项目总览与核心需求拆解立体仓库这个东西,本质上就是让货架变得更聪明、让地面上的货物流转起来。很多人在看到“立体仓库 堆垛机 输送机 智能物流”这一串词的时候,第一反应是“这项目肯定特别复杂”,但实际上,把它拆开来看&a…

2026/10/21 4:50:55 阅读更多 →
从知道到做到:技能盘点与刻意练习的实用指南

从知道到做到:技能盘点与刻意练习的实用指南

Skills,翻译成中文就是技能。但这些年我在职场里见过太多人,把“知道”当成“会”,把“会”当成“精通”,最后在真正需要展示的时候,才发现自己的技能体系其实很脆弱。这篇文章不聊鸡汤,也不搞那种“一周精…

2026/10/21 4:50:55 阅读更多 →
Flutter for OpenHarmony通讯录助手实战:flutter_contacts适配指南

Flutter for OpenHarmony通讯录助手实战:flutter_contacts适配指南

说实话,看到这个标题的第一反应是“终于有人在OpenHarmony上认真捣鼓第三方库了”。我在某公司做跨平台客户端开发,去年下半年接到一个内部工具型App的适配需求,要求同时跑通安卓和OpenHarmony平板。团队技术栈是Flutter,业务里有…

2026/10/21 4:50:55 阅读更多 →
彻底搞懂 torch.manual_seed:从随机种子原理到完整复现配置指南

彻底搞懂 torch.manual_seed:从随机种子原理到完整复现配置指南

有一段时间我被一个现象折磨得不轻:同一份训练代码,连超参数都没动,下午跑出来的模型和早上跑的模型,准确率能差上两个点。排查到最后,问题根源锁定在所有随机数的源头——torch.manual_seed() 这个函数上。准确地说&a…

2026/10/21 4:49:55 阅读更多 →

日新闻

统一内存+量化:锐龙AI Max PRO 400如何本地跑320B大模型

统一内存+量化:锐龙AI Max PRO 400如何本地跑320B大模型

这段时间硬件圈和AI圈都在传一个事:AMD锐龙AI Max PRO 400系列把最高192GB统一内存搬进了PC形态的产品里,按宣传口径,本地跑320B参数的大家伙不再是纸面概念。我第一反应倒不是“内存真大”,而是这话背后的含金量——它把过去只能…

2026/10/21 0:00:11 阅读更多 →
AI助手深度使用体验:对话质量、长文本处理与指令遵循如何留住用户

AI助手深度使用体验:对话质量、长文本处理与指令遵循如何留住用户

1. 从“封号重开”这个行为说起:用户到底在追求什么“封号重开”这四个字,放在任何产品语境里都带着一股决绝的味道。一个账号从零开始积累使用记录、调教偏好、沉淀工作流,背后是大量的时间和精力成本。正常情况下,没有人愿意主动…

2026/10/21 0:00:11 阅读更多 →
ROS中YOLOv3工程落地:通信同步、坐标变换与性能调优

ROS中YOLOv3工程落地:通信同步、坐标变换与性能调优

1. 为什么在ROS里硬刚YOLOv3不是“炫技”,而是工程落地的必经之路我第一次在某高校机器人实验室看到那台搭载Jetson TX2的移动底盘原地打转、反复识别错垃圾桶时,就意识到:单纯跑通darknet_ros demo和真正让YOLOv3在ROS里“干活”&#xff0c…

2026/10/21 0:00:11 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/20 10:02:13 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/20 20:43:59 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/21 4:27:17 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 10:02:08 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:17 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:45 阅读更多 →