SadTalker3条命令让单张静态图开口说话【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalkerSadTalker 是 CVPR 2023 的开源说话人脸动画项目Apache 2.0 协议可商用。给它一张人物照片和一段语音它会输出一段该角色开口说话、摇头摆头的视频。全流程本地运行不联网、不调用 API。用3条命令跑通 SadTalker 推理装好 Python 3.8 与 ffmpeg 后3 条命令即可完成安装git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker pip install -r requirements.txt bash scripts/download_models.sh第三条命令会自动下载全部预训练模型。macOS 的 M 系列芯片需补装pip install dlib其余环境问题见 docs/install.md。用自带示例跑推理python inference.py --driven_audio examples/driven_audio/chinese_news.wav \ --source_image examples/source_image/full_body_1.png \ --still --preprocess full --enhancer gfpgan结果保存在results/目录下是 mp4 文件。不想敲命令的话bash webui.shWindows 双击webui.bat可启动网页界面拖文件即可生成。 先看输出效果动作从哪里来视频里的动作全部由音频生成嘴形跟着语音节奏头部随语气点头侧摆。默认crop模式只输出脸部裁剪区域。上面命令中的--still --preprocess full则保留原图全身只驱动头部区域身体保持静止适合全身人像。--expression_scale控制表情幅度默认 1.0数值越大动作越夸张。完整参数表见 docs/best_practice.md。 打开黑盒4 个核心模块各管什么inference.py的流水线分 4 个串行阶段各对应一个独立目录表情引擎src/audio2exp_models/从音频提取表情决定面部情绪变化的强度。生成的人脸表情平淡多半出在这一环。姿态引擎src/audio2pose_models/用 VAE 从音频推断头部姿态产生点头与侧摆。内置 46 种姿态风格--pose_style可切换。人脸渲染src/facerender/把表情与姿态合成为脸部视频默认 256px--size 512可提高分辨率。人脸修复--enhancer gfpgan调用 GFPGAN 修复网络增强人脸--background_enhancer realesrgan再锐化整张画面。组合出进阶效果2 个技巧让视频更自然下面两种玩法可单独使用也可叠加。从参考视频借动作。--ref_pose与--ref_eyeblink可指定一段视频从中借用头部姿态和眨眼节奏动作更贴近真人。examples/ref_video/下自带 2 段示例视频可直接试。4D 自由视角。用--input_yaw -20 30 10指定头部朝向轨迹单张正面照即可转出不同视角的视频python inference.py --driven_audio examples/driven_audio/chinese_news.wav \ --source_image examples/source_image/art_17.png \ --input_yaw -20 30 10--face3dvis还能额外输出 3D 面部关键点需先安装 requirements3d.txt。使用 SadTalker 前先认清适用边界两条硬性前提不满足就不要硬跑源图必须真人照片。动漫、插画暂不支持人脸检测会失效动漫版仍在计划中。音频只收 wav 或 mp3。其他格式会直接解码报错。显存吃紧时运行前设置PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128可缓解爆显存更多报错对照见 docs/FAQ.md。要批量出片先在 web 界面跑通单条视频确认参数无误再用src/generate_batch.py批处理。SadTalker 目前是把单张人像变成可说话数字人时少数可完全本地化、免费商用的开源方案之一。建议先从 examples/ 里的 2 张示例人像与 14 段示例音频开始试。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考