5分钟跑通ToonCrafter两张卡通静态图生成16帧流畅动画【免费下载链接】ToonCrafter[SIGGRAPH Asia 2024, Journal Track] ToonCrafter: Generative Cartoon Interpolation项目地址: https://gitcode.com/GitHub_Trending/to/ToonCrafter做卡通短片时最耗时的环节往往是首尾两帧之间的过渡画面。ToonCrafter 专门解决卡通图像插值问题你只需给一张起始图和一张结束图它就自动补出中间 16 帧的过渡动画分辨率 512×320。它基于预训练模型直接推理不需要训练对只想快速产出卡通演示素材的新手很友好。准备好一张 NVIDIA 显卡从克隆仓库到出片大约 5 分钟。 先看成果两张关键帧之间它补了什么下面三张是官方示例前两张是输入的起始帧和结束帧第三张 GIF 是完全由 ToonCrafter 生成的动画。输入起始帧输入结束帧ToonCrafter 生成的插值动画人物姿态在两帧之间平滑过渡背景细节没有明显抖动成片可直接用于演示。如果你只有一张黑白线稿、想引导动作走向还可以叠加稀疏草图引导左边是输入的几笔线条草图右边是生成结果。原理一句话它为什么能补帧ToonCrafter 建立在预训练的图生视频扩散模型之上它把两张关键帧分别当作首帧和尾帧条件再利用视频生成模型学到的画面如何随时间变化的先验去逐帧去噪把中间 16 帧画出来。正因为这套时序先验中间帧既贴合两端的构图又保持动作连贯——这也是它和逐帧插值算法效果不同的地方。全程用现成的model.ckpt做推理不用自己训练。 动手跑通从克隆环境到出片第一步克隆仓库并配置环境先装好依赖。项目指定 Python 3.8.5照抄即可git clone https://gitcode.com/GitHub_Trending/to/ToonCrafter cd ToonCrafter conda create -n tooncrafter python3.8.5 conda activate tooncrafter pip install -r requirements.txt第二步下载模型权重到指定目录在 Hugging Face 搜索 ToonCrafter 下载model.ckpt放到 scripts/run.sh 里写死的这个路径mkdir -p checkpoints/tooncrafter_512_interp_v1 # 将 model.ckpt 放入 checkpoints/tooncrafter_512_interp_v1/第三步放好输入素材并运行默认输入素材放在prompts/512_interp/下共三组关键帧对规则是目录里按文件名排序的图片奇数位是起始帧、偶数位是结束帧例如..._frame1.png在前、..._frame3.png在后同目录的prompts.txt每行一条文本描述按顺序和每一对图片对应。想换成自己的图替换掉这个目录里的两张 png 即可。sh scripts/run.sh脚本内部调用 scripts/evaluation/inference.py结果输出到results/tooncrafter_512_interp_seed123/samples/每组素材生成一个 16 帧、512×320 的 mp4。不想敲命令的话运行python gradio_app.py也能在浏览器里上传图片、滑条调参适合快速试效果。⚙️ 调参与排坑让结果更可控真正影响成片质量的参数就三个都在 scripts/run.sh 里参数默认值调整效果ddim_steps50采样步数调小如 30出片更快但细节略差调大更精细也更慢FSframe_stride10帧率控制官方建议 5~30值越小单帧间运动幅度越大值越大动作越缓unconditional_guidance_scale7.5文本引导强度调大画面更贴近 prompt.txt 的描述过大易过饱和已知限制和排坑单次最多生成16 帧输入输出固定 512×320官方在 A100 上测试本地跑建议显存 8GB 以上的 NVIDIA 显卡显存吃紧时优先调低ddim_stepsperframe_ae已默认开启逐帧解码省显存扩散模型生成带随机性同一对关键帧不保证每次都能成功。效果不满意时换个seed重跑比反复微调参数更直接官方也明确提示成功率不做保证属研究性质项目。出处与复现ToonCrafter 是 SIGGRAPH Asia 2024Journal Track的研究项目《ToonCrafter: Generative Cartoon Interpolation》代码与模型权重均已开源可自由用于研究用途。想用自己的图玩把两张关键帧放进prompts/512_interp/替换示例再跑一次sh scripts/run.sh从静态图到一段卡通动画就是一条命令的事。【免费下载链接】ToonCrafter[SIGGRAPH Asia 2024, Journal Track] ToonCrafter: Generative Cartoon Interpolation项目地址: https://gitcode.com/GitHub_Trending/to/ToonCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考