【免费下载链接】ice-012-audio项目地址https://ai.gitcode.com/hf_mirrors/darkps/ice-012-audio点击查看免费下载ice-012-audio是 DarkPs 开源的一款多语言 TTS文本转语音与语音克隆模型内置 590 种语言与方言支持、基于参考音频的零样本语音克隆以及可流式输出的音频生成能力。对新手而言它最大的卖点是用一行transformers调用就能跑起来无需自己搭推理管线。本文带你快速看懂它是什么、能做什么、怎么上手。 许可证cc-by-nc-4.0允许自由使用与修改禁止用于商业目的。商用前请务必确认授权边界。为什么值得试三大核心能力一句话概括 ice-012-audio它是一个多语言 TTS 语音克隆 风格控制三合一的音频生成模型。能力说明典型场景 590 种语言/方言覆盖阿拉伯语 13 种 Lahgtna 方言并延伸到中、英、法、德、日、韩、西、俄等主流语言多语种内容本地化️ 参考音频语音克隆给一段参考 WAV模型即可模仿该音色个性化配音、角色声线复刻️ 风格精细控制性别、年龄、音高、口音、语速、耳语风格可自由组合广告旁白、有声书、播客它最特别的设计是引入了主动声学适配器active acoustic adapter在主干网络之前对 codec 嵌入做条件注入在主干之后再对隐状态做精修从而让音色与韵律更贴合参考。快速开始三步跑通多语言 TTSice-012-audio 通过 Hugging Face 生态加载核心只需下面一小段完整命令见项目根目录 README.mdfrom transformers import AutoModelForCausalLM model AutoModelForCausalLM.from_pretrained( darkps/ice-012-audio, trust_remote_codeTrue, device_mapauto, )如果你更喜欢命令行仓库提供了02.py脚本一条命令即可指定语言、性别、风格与语速python 02.py --language arabic --gender female --style young adult --speed 1.0 --output out.wav语言参数很宽松可以传完整名不区分大小写也可以传 2–3 位 ID。比如以下三种写法等价language palestinian lahgtna language Palestinian Lahgtna language ps传入无法识别的值时模型会自动回退到语言无关模式不会直接报错中断。语音克隆用一段参考音频复刻音色想让自己的音色出现在配音里用03.py脚本即可。只需给一个参考 WAVpython 03.py --reference ref.wav --output clone.wav小技巧如果同时提供参考音频的文本转录--reference-text克隆质量会更好python 03.py --reference ref.wav --text-file input.txt --reference-text transcript⚠️ 请只处理你拥有或已获明确授权的音频避免侵权与隐私问题。风格控制旋钮组合出想要的声线ice-012-audio 把声音拆成了多个可控维度全部通过--gender与--style组合维度可选值性别--gendermale·female年龄child·teenager·young adult·middle-aged·elderly音高very low pitch→high pitch共 5 档风格whisper耳语口音american·british·australian·canadian·indian·chinese·japanese·korean·russian·portugueseaccent语速--speed0.5·1.0默认·1.5·2.0几个直观的组合示例--gender female --style young adult, high pitch # 年轻女声高音高 --gender male --style elderly, low pitch # 老年男声低音高 --gender female --style teenager, british accent # 带英音的少女这套参数化声线思路让同一个模型能产出差别很大的角色音是它区别于普通 TTS 的关键体验点。590 种语言覆盖清单节选完整清单有 590 条这里只挑代表性语言。每个语言都给了显示名 / 可接受名 / ID三列方便你填参数。语言可接受名ID阿拉伯语埃及方言egyptian lahgtnaeg英语englishen中文chinesezh法语frenchfr德语germande日语japaneseja韩语koreanko西班牙语spanishes俄语russianru标准阿拉伯语standard arabicarb 阿拉伯语是被重点打磨的方向README.md里单独列出了埃及、沙特、摩洛哥、巴林、苏丹、伊拉克、黎巴嫩、叙利亚、利比亚、巴勒斯坦、突尼斯、阿尔及利亚、也门等13 种 Lahgtna 方言。完整 590 条表格见 README.md。文件结构仓库里都有什么理解仓库布局能帮你快速定位我要改/要看的是哪里。文件作用config.json模型总配置主干、音频 codec、说话人、韵律、语言清单modeling_iceAudio.py模型主体generate()推理、语言解析、音频前后处理configuration_iceAudio.py配置类定义acoustic_adapter.py核心亮点声学/韵律适配器tokenization_iceAudio.py分词器tokenizer.json · tokenizer_config.json词表与特殊 tokenice_r协议边界generation_config.json生成参数EOS/pad、transformers 版本model.safetensors权重文件test/示例音频MrBest.mp3、Molham.mp3、Wissam.mp3、oshasalah.mp3技术内幕它凭什么做好多语言 克隆这一节给想深入的同学了解它的架构有助于调参与排错。主干Backbone配置在 config.json 中IceRoutedCausalBackbone28 层、隐藏维度 1024、注意力头 16 / KV 头 8GQA 结构位置编码为ice_scaled_rotary_with_relative_bias并采用因果 局部 全局混合注意力模式。音频表示factorized_codebook_stream8 个码本、采样率 24kHz依赖HiggsAudioV2TokenizerModel做 codec——这正是它能流式输出的底层原因。主动声学适配器实现于 acoustic_adapter.py 的AcousticProsodyAdapter。它有两处作用点condition_audio_embeddings在主干之前给 codec 嵌入加条件refine_hidden_states在主干之后精修隐状态。两条路径都通过一个很小的残差门初始0.01控制强度保证注入而不破坏。说话人身份则用独立的投影层表示与韵律音高/能量/节奏/时长/风格/口音解耦所以你能分别调音色和调语气。新手常见问题FAQQ1能商用吗当前许可证为cc-by-nc-4.0仅限非商业。商用需另行授权。Q2需要 GPU 吗建议用 GPU并加device_mapauto让框架自动分配。纯 CPU 可跑但速度较慢。Q3语言写错会怎样不会崩溃。无法识别的语言名/ID 会回退到语言无关模式但效果不如命中目标语言好建议尽量用准确名称或官方 ID。Q4克隆效果不理想① 参考音频尽量清晰、无背景噪音② 补上--reference-text转录③ 参考音频时长适中仓库默认会裁剪过长音频。Q5输出是 WAV 还是 MP3TTS/克隆脚本默认输出WAVtts_stream.wav/clone_stream.wav可用--output自定义路径。小结590 种语言阿拉伯语方言是重点主流语言全覆盖。️参考音频克隆给一段 WAV 即可复刻音色支持转录增强。️参数化声线性别 × 年龄 × 音高 × 口音 × 语速 × 耳语自由组合。⚡流式输出底层 codec 流式表示带来低延迟体验。非商业许可cc-by-nc-4.0商用需授权。如果你需要一个开箱即用、多语言、能克隆的开源音频生成方案ice-012-audio 值得一试。先从一段参考音频 一句文本跑通再慢慢调风格旋钮就能感受到它参数化声线的魅力。赞分享【免费下载链接】ice-012-audio项目地址https://ai.gitcode.com/hf_mirrors/darkps/ice-012-audio点击查看免费下载相关推荐LinkSwift免费网盘直链解析指南8 大网盘三步拿到真实下载链接LinkSwift免费网盘直链解析指南8 大网盘三步拿到真实下载链接 如果你也被网盘的临时中转链接折腾过可以看看 LinkSwift。这是一个免费、基于前端5分钟掌握Chatterbox TTS零成本多语言语音克隆完全指南5分钟掌握Chatterbox TTS零成本多语言语音克隆完全指南 你是否曾希望用自己喜欢的声线朗读任意文本是否被商业语音合成工具的高昂费用所困扰Rese人工智能大模型语音音频媒体生成Chatterbox TTS终极指南多语言语音合成与声音克隆完整教程Chatterbox TTS终极指南多语言语音合成与声音克隆完整教程 Chatterbox TTS作为开源的文本转语音模型支持23种语言的高质量语音合成提人工智能语音音频媒体生成本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考