【免费下载链接】FireRedTTS3FireRedTTS3: Multilingual and Multi-Dialect Voice Cloning with Instruction-Guided Voice Design and Speech Editing项目地址https://gitcode.com/gh_mirrors/fi/FireRedTTS3点击查看免费下载FireRedTTS3是一个支持24 种语言、21 种中文方言的零样本语音克隆系统同时内置指令式音色设计与语音编辑能力Instruct 版。本文是一份面向新手的FireRedTTS3 部署指南从 GPU 配置、依赖安装、模型下载到 Gradio 演示界面启动再到常见报错排查清单跟着走一遍即可跑通。一、先认识 FireRedTTS3两大模型变体FireRedTTS3 提供两个变体部署流程完全一致只是入口类不同见 fireredtts3/core.py变体能力入口类FireRedTTS3-Base零样本语音克隆给一段参考音频 文本即可用该声音合成任意文本FireRedTTS3FireRedTTS3-Instruct在克隆之上支持自然语言音色设计、语义编辑增删改词、声学编辑语速/音高/音量FireRedTTS3Instruct架构图解读音频先由 RedAE 编码为连续表示再由 Qwen3 骨干 Transformer 自回归预测最后经 DiT Decoder 还原为 24kHz 波形。Instruct 版额外支持文本指令注入。二、FireRedTTS3 部署前的 GPU 配置与软件要求这是新手最容易卡住的环节先看这张硬件清单 ✅硬件要求必须有 NVIDIA GPUCUDA代码中设备被固定为torch.device(cuda)fireredtts3/llm/fireredtts3_base.py不支持纯 CPU 运行。推荐 Ampere 架构及以上显卡RTX 30 系 / A100 等推理使用bfloat16自动混合精度fireredtts3/llm/fireredtts3_base.py老架构 GPU 对 bf16 支持不佳。显存建议 16GB 起步骨干 LLM 为 Qwen3-1.7Bbf16再叠加 RedAE、PatchEncoder、DiT 与 KV Cache。12GB 显存可尝试长文本/Instruct 版建议留足余量。软件要求依赖版本在 requirements.txt 中锁定关键是torch2.8.0/torchaudio2.8.0需选择与你 CUDA 驱动匹配的 CUDA 版本flash_attn2.8.3需与 torch、CUDA 版本匹配编译transformers5.6.2、wetext、fasttext、faster-whisper等安装命令先克隆仓库git clone https://gitcode.com/gh_mirrors/fi/FireRedTTS3 cd FireRedTTS3 pip install -r requirements.txt pip install gradio # 可选仅 Web 演示需要三、模型下载3 步拿到预训练权重权重托管在 Hugging Face 与 ModelScope任选其一下载到pretrained_models/目录# 方式 1hf CLI pip install huggingface_hub[cli] hf download FireRedTeam/FireRedTTS3 --local-dir pretrained_models/ # 方式 2ModelScope pip install modelscope modelscope download --model FireRedTeam/FireRedTTS3 --local_dir pretrained_models/下载完成后用下面的目录清单核对是否完整路径检查逻辑见 fireredtts3/llm/fireredtts3_base.pypretrained_models/ ├── redae/ # 语音编解码器 ├── fireredtts3_base/ # Base 变体核心模型 ├── fireredtts3_instruct/ # Instruct 变体核心模型 ├── text_tokenizer/ # 文本分词器 └── campp/campplus_voxceleb.bin # 说话人嵌入模型 只要缺少其中任意一项初始化时就会抛出xxx not found断言错误——这是第一类最高频报错。四、可选配置语种识别与文本归一化TN自动语种识别Base 版对显式语言标签最敏感若不想手动指定语言可下载 Meta FastText 的lid.176.ftz语言识别模型放入fireredtts3/utils/llm_tn/models/下载地址见 README.md Quick Start 章节。未下载时仅打印[WARN]警告不影响手动指定语种。文本归一化 TN默认使用本地wetext仅支持中/英。若要覆盖日语、俄语等全部语言可启用 LLM 版 TN复制 .env.example 为.env填入LLM_TN_API_URL、LLM_TN_API_KEY、LLM_TN_MODEL建议 ≥30B 参数量的模型。注意 LLM TN 需要联网调用外部 API非必需项。五、最快启动方式Gradio Web 演示界面无需写代码两条命令即可启动参数定义见 gradio_base.py# Base 版多语言 / 方言零样本克隆 python gradio_base.py --host 0.0.0.0 --port 7860 # Instruct 版音色设计 语音编辑 python gradio_instruct.py --host 0.0.0.0 --port 7860启动后访问http://0.0.0.0:7860。若部署在反向代理如 Remote VS Code后面需追加--root-path参数。 小贴士合成克隆效果最好时参考音频的语种应与目标文本一致合成日语就用日语参考音频。界面中 CFG 值越高越贴近参考音色越低变化越大。六、FireRedTTS3 常见报错排查清单 #报错现象原因解决方案1AssertionError: pretrained_models/redae not found等权重没下载完、或传入的模型目录路径不对核对第三节目录清单确认初始化参数为pretrained_models2flash_attn安装/导入失败版本与 torch / CUDA 不匹配按 requirements.txt 锁定 torch 2.8.0 后重装对应 CUDA 的 flash-attn 2.8.33No CUDA GPUs are available装了 CPU 版 PyTorch 或驱动版本过低重装 CUDA 版 torchpip install torch2.8.0 torchaudio2.8.0 --index-url对应 CUDA 源4CUDA out of memory显存不足升级显卡或缩小文本长度1.7B bf16 骨干 DiT 建议 16GB 显存5invalid language: xxxfireredtts3_base.py语种标签不在 24 语言 21 方言列表内使用列表内标签方言以ZH_前缀如ZH_Sichuan6[WARN] Failed to init llm_tn ...未下载 FastTextlid.176.ftz仅影响自动语种识别手动指定language可忽略或按 README 下载模型7llm_tn requires LLM API credentials选了 LLM TN 但未配置.env复制 .env.example 为.env填好三件套或改用本地wetext8wetext normalization failed, fallback to raw textTN 失败自动回退原文fireredtts3/core.py非致命警告输出仍可生成数字/日期可能读得不自然9Port 7860 is already in use/ 代理环境打不开页面端口被占用或未配代理路径换--port代理环境加--root-path见 README.md Gradio Demo 章节10Gradio 报Check text/prompt audio/prompt text!必填输入为空gradio_base.py上传参考音频并填写其文本、待合成文本七、收尾3 个避坑要点路径三原则代码在仓库根目录运行、权重放在pretrained_models/、.env也在根目录——三者对齐可消灭 80% 的初始化错误。语种显式指定更稳把language传成具体标签如Japanese比依赖自动检测效果更可控。克隆≠随意使用语音克隆能力仅供学术研究请勿用于任何非法用途见 LICENSE项目采用 Apache-2.0 协议。按照以上步骤你应当已经完成FireRedTTS3 部署GPU 就绪、权重就位、界面可交互。若遇到本文清单之外的报错优先对照 README.md 的 Quick Start 章节逐行核对命令与参数。赞分享【免费下载链接】FireRedTTS3FireRedTTS3: Multilingual and Multi-Dialect Voice Cloning with Instruction-Guided Voice Design and Speech Editing项目地址https://gitcode.com/gh_mirrors/fi/FireRedTTS3点击查看免费下载相关推荐PaddlePaddle GPU环境配置与常见错误排查指南PaddlePaddle GPU环境配置与常见错误排查指南 引言 在使用PaddlePaddle深度学习框架进行GPU加速训练时环境配置不当是导致运行错误的常人工智能深度学习机器学习分布式训练预训练推理引擎算子库高性能计算Plane 项目管理平台新手指南从本地部署到建出第一个看板Plane 项目管理平台新手指南从本地部署到建出第一个看板 如果你也受够过项目管理工具比项目本身还难管的体验或者数据必须留在自己服务器上Plane 会项目管理后端前端研发协作需求管理SDXL模型部署检查清单SDXL模型部署检查清单 环境配置 PaddlePaddle版本 ≥ 2.5.1 所有依赖库版本匹配requirements sdxl.txt 系统内存 ≥ 1人工智能大模型多模态预训练微调媒体生成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考