人工智能大模型语音音频多模态【免费下载链接】A.X-K2-Raon-Speech-21B-A3B项目地址https://ai.gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B点击查看免费下载A.X-K2-Raon-Speech-21B-A3B 是 KRAFTON AI 开源的双语英文/韩文语音大模型总参数约 21.2B、激活参数约 3.5B基于混合专家MoE架构一个模型就能同时完成语音识别STT、语音合成TTS、语音问答和多轮语音对话。本文将带你从安装依赖到生成第一句语音10 分钟跑通整个流程。一、先认识这个模型它能做什么在动手之前花 1 分钟了解 A.X-K2-Raon-Speech-21B-A3B 的核心能力帮你判断它是否适合你的场景能力说明️ 语音识别STT把语音音频转成文字支持英文和韩文 语音合成TTS把文字变成自然语音24 kHz 高质量输出 音色克隆提供参考音频用指定说话人的声音朗读新文本 语音续写TTS Continuation从一段参考语音自然续说下去语气无缝衔接 语音问答传入语音上下文 文字或语音问题得到文字回答 副语言感知能感知你声音中的情绪、语调并生成自然的口语回复架构速览来自官方 README.md组件规格文本主干A.X K2 Light 20B-A3B MoE48 层128 个路由专家top-8 激活语音编码器独立训练的 AuT 编码器约 317M 参数语音编解码器独立训练的 Mimi 风格神经音频编解码器约 96M 参数24 kHz / 12.5 fps上下文窗口最长 131,072 tokens 小提示模型检查点共 9 个分片合计约 42.4 GBBF16可在 model.safetensors.index.json 中查看完整的权重分布元数据记录在 provenance.json。二、开始前的硬件与环境检查这是新手最常踩的坑先看清楚再动手GPUBF16 权重约 42.4 GB推荐 80 GB 显存的 GPU如 A100 / H100或多卡配置精度使用bfloat16bf16Python 包transformers4.57.1是硬性要求可选声纹条件 TTS / 续写功能依赖speechbrainCUDA 环境可选装flash-attn降低延迟依赖清单就在仓库的 requirements.txt 中包含transformers、torch、torchaudio、soundfile、speechbrain、accelerate、safetensors等。三、第一步安装依赖约 2 分钟pip install -r requirements.txt # 可选支持 flash-attn 的 CUDA 系统可安装以降低延迟 pip install flash-attn --no-build-isolation如果你使用的是本地下载的模型目录而不是 Hugging Face 模型 ID把下文示例中的MODEL_ID替换成本地路径即可。四、第二步加载模型加载逻辑很简单核心就三步读配置 → 动态导入RaonPipeline类 → 实例化管线。推理管线的完整实现位于 modeling_raon.py超过 1 万行封装了全部 STT/TTS/Chat 接口。from transformers import AutoConfig from transformers.dynamic_module_utils import get_class_from_dynamic_module MODEL_ID KRAFTON/A.X-K2-Raon-Speech-21B-A3B config AutoConfig.from_pretrained(MODEL_ID, trust_remote_codeTrue) RaonPipeline get_class_from_dynamic_module( modeling_raon.RaonPipeline, MODEL_ID, revisiongetattr(config, _commit_hash, None), ) pipe RaonPipeline( MODEL_ID, devicecuda, dtypebfloat16, )⚠️ 注意两点trust_remote_codeTrue是必需的因为模型自带定制推理代码configuration_raon.py、modeling_raon.py首次加载会从磁盘读取约 42.4 GB 权重耐心等待即可。五、第三步生成你的第一句语音 audio, sample_rate pipe.tts(Hello, how are you?) pipe.save_audio((audio, sample_rate), output.wav)运行完成后用播放器打开output.wav你听到的就是 A.X-K2-Raon-Speech 生成的第一句语音。至此10 分钟入门的核心目标达成仓库samples/目录下还附带了 4 段官方示例音频如 samples/tts-KsponSpeech_E00112.wav、samples/tts-KsponSpeech_E00707.wav可以直接试听效果。六、进阶玩法更多实用功能6.1 语音转文字STTtext pipe.stt(audio.wav)6.2 音色克隆Speaker-Conditioned TTS传入一段参考说话人的音频即可用 TA 的声音朗读新内容audio, sample_rate pipe.tts( 안녕하세요. 만나서 반갑습니다., speaker_audiospeaker_reference.wav, ) pipe.save_audio((audio, sample_rate), conditioned.wav)底层使用 SpeechBrain 的 ECAPA 声纹编码器首次使用时会自动下载所以依赖中的speechbrain不可省略。6.3 语音续写TTS Continuation从参考语音的自然语流中接着往下说适合做配音、播客连续口播audio, sample_rate pipe.tts_continuation( And this is how the story continues., ref_audioreference.wav, ) pipe.save_audio((audio, sample_rate), continuation.wav)6.4 语音问答SpeechQA传入一段音频作为上下文再用文字提问messages [ { role: user, content: [ {type: audio, audio: context.wav}, {type: text, text: Please answer the question in this audio.}, ], } ] response pipe.chat(messages)如果直接发送语音问题不带文字提示则进入 SpokenQA 模式模型会以文字形式回答你的口语提问。七、性能如何一图看懂下图是 A.X-K2-Raon-Speech-21B-A3B 在 46 个基准测试24 个韩文 22 个英文上与同级别模型的分类对比雷达图涵盖语音识别、语音合成、语音理解、口语问答等六大任务域官方成绩韩文综合分 0.72 位列第一英文综合分 0.75 位列第三在 30B 及以下规模、公开发布的语音语言模型中是韩语语音任务的首选开源模型之一。八、新手常见问题 FAQQ1显存不够 80 GB 怎么办可以使用多 GPU 部署如accelerate分片推理或者等待/使用官方 vLLM-Omni 部署方案官方 stage 配置为单卡约 96 GB 显存、TP1、最大模型长度 4096需设置VLLM_MLA_DISABLE1。Q2加载时报架构未找到或模块缺失确认trust_remote_codeTrue已开启且transformers版本不低于 4.57.1模型 ID 与 revision 需匹配。Q3如何验证模型完整性仓库自带端到端校验脚本 validate_repo.py 和 validate_model.py官方用它跑通了覆盖英/韩 STT、TTS、音色克隆、续写、语音问答的 12 项冒烟测试python validate_repo.py python validate_model.pyQ4可以商用吗不可以。该模型采用CC BY-NC 4.0许可仅适用于研究和非商业原型开发涉及可识别说话人的音色克隆前请确保已获本人授权。九、写在最后用一句话总结这篇 A.X-K2-Raon-Speech-21B-A3B 入门指南装依赖 → 加载管线 → 一行tts()出声。如果你需要一个同时搞定听懂语音和说出语音的双语 MoE 语音大模型这个约 42 GB 的检查点目前是该规模下最均衡的选择之一。 延伸阅读完整功能列表与部署细节见 README.md中文版见 README_ko.md 对应的韩文文档模型超参配置见 config.json。赞分享人工智能大模型语音音频多模态【免费下载链接】A.X-K2-Raon-Speech-21B-A3B项目地址https://ai.gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B点击查看免费下载相关推荐ok-wuthering-waves实用指南3个典型场景跑通鸣潮后台自动战斗、刷声骸与一键日常ok wuthering waves实用指南3个典型场景跑通鸣潮后台自动战斗、刷声骸与一键日常 ok wuthering waves一般简称 ok ww是人工智能大模型语音音频多模态如何快速上手stable-diffusion.cpp10分钟从零到生成第一张AI图片如何快速上手stable diffusion.cpp10分钟从零到生成第一张AI图片 想要体验AI绘画的魅力却担心复杂的配置和庞大的资源占用stable人工智能大模型本地部署推理引擎媒体生成如何快速上手Speech-to-Speech10分钟完成语音AI系统部署如何快速上手Speech to Speech10分钟完成语音AI系统部署 Speech to Speech是一款基于开源模型构建本地语音智能体的强大工具让你人工智能AI 应用语音大模型本地部署AI Agent交互助手上一篇用 p5.js ml5.js CREPE 搭建尤克里里调音器基于预训练音高检测模型的浏览器实时调音实践下一篇CANN ops-math 数学算子 Xlog1py 开发与调用指南NPU 上实现 x·log(1y) 元素级计算创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考