人工智能大模型语音音频多模态【免费下载链接】A.X-K2-Raon-Speech-21B-A3B项目地址https://ai.gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B点击查看免费下载A.X-K2-Raon-Speech-21B-A3B 是 KRAFTON AI 开源的双语英/韩语音大模型一个模型同时搞定语音识别STT、语音合成TTS、语音问答SpeechQA / SpokenQA和多轮语音对话还能感知说话人的情绪与语调。下面用最小代码带你从零跑通它。这个语音大模型能做什么️不同于先 ASR 再 LLM 再 TTS的传统拼接方案它是一个端到端的多模态语音语言模型能力说明STT语音转文字英韩双语TTS文字转语音支持 24kHz 高质量输出SpeechQA音频作上下文 文字提问用文本回答SpokenQA直接语音提问无需文字 prompt模型语音理解后回答声音克隆提供一段参考音频让模型用相似音色说话ECAPA 说话人嵌入TTS 续写从参考音频自然续说保持韵律连贯副语言感知利用情绪、语调等信息生成更自然的口语化回复它的大脑由三部分构成详见 config.json文本骨干A.X K2 Light 20B-A3B MoE 混合专家模型总参数约 21.2B激活约 3.5B128 个专家 top-8 路由源码见 modeling_axk1.py语音编码器独立训练的 AuT 编码器约 317M 参数神经音频编解码器Mimi 风格 codec约 96M 参数32 量化器 / 2048 码本 / 12.5 帧每秒效果怎么样在 46 项基准24 韩语 22 英语评测中A.X K2 Raon-Speech 在30B 及以下规模的公开语音大模型里韩语综合分排第 10.72英语综合分排第 30.75超过 Qwen3-Omni、Qwen2.5-Omni 等同类模型韩语排名模型韩语英语英语排名1A.X K2 Raon-Speech0.720.7532Raon-Speech0.700.7913Qwen3-Omni0.650.7824HyperCLOVA X 8B Omni0.600.688第一步环境准备3 步装好硬件建议BF16 权重约 42.4 GB推荐80 GB 显存的单卡或等效多卡配置。# 1. 下载模型约 42GB建议用 git-lfs 拉取完整权重 git clone https://gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B # 2. 安装依赖完整清单见 requirements.txt pip install -r requirements.txt # 3.可选CUDA 系统上安装 flash-attn 降低注意力延迟 pip install flash-attn --no-build-isolation核心依赖是transformers4.57.1、torch、speechbrain声音克隆和续写 TTS 需要完整列表见 requirements.txt。第二步加载模型from transformers import AutoConfig from transformers.dynamic_module_utils import get_class_from_dynamic_module MODEL_ID KRAFTON/A.X-K2-Raon-Speech-21B-A3B config AutoConfig.from_pretrained(MODEL_ID, trust_remote_codeTrue) RaonPipeline get_class_from_dynamic_module( modeling_raon.RaonPipeline, MODEL_ID, revisiongetattr(config, _commit_hash, None), ) pipe RaonPipeline(MODEL_ID, devicecuda, dtypebfloat16)高层推理 APIRaonPipeline封装在 modeling_raon.py加载一次即可反复调用所有任务方法。第三步SpeechQA 实操——听音频答文字提问SpeechQA 的典型场景一段录音会议、语音留言、播客你用文字提问。messages [ { role: user, content: [ {type: audio, audio: context.wav}, {type: text, text: Please answer the question in this audio.}, ], } ] response pipe.chat(messages)第四步SpokenQA 实操——直接开口问SpokenQA 更拟人不用打字直接把语音提问作为输入模型听懂问题并回答——这是打造语音助手的关键一步messages [ { role: user, content: [ {type: audio, audio: spoken_question.wav}, ], } ] response pipe.chat(messages)chat方法modeling_raon.py还支持force_audio_output、speaker_audio等参数可以控制输出是文本还是语音、是否指定音色。顺手解锁STT、TTS 与声音克隆# 语音转文字 text pipe.stt(audio.wav) # 文字转语音 audio, sample_rate pipe.tts(Hello, how are you?) pipe.save_audio((audio, sample_rate), output.wav) # 声音克隆用参考音频的音色说话 audio, sample_rate pipe.tts( 안녕하세요. 만나서 반갑습니다., speaker_audiospeaker_reference.wav, ) pipe.save_audio((audio, sample_rate), conditioned.wav) # TTS 续写从参考音频处自然接续 audio, sample_rate pipe.tts_continuation( And this is how the story continues., ref_audioreference.wav, )仓库 samples/ 目录下提供了 4 段 TTS 样例音频tts-KsponSpeech_*.wav可以直接试听模型效果对话格式模板见 chat_template.jinja。生产部署用 vLLM-Omni 起服务如果要对外提供 API 服务README 推荐使用 KRAFTON 官方的vLLM-Omnifeat/axk2_raon_speech分支部署提供 OpenAI 风格接口接口能力/v1/audio/speech直接 TTS / 声音克隆返回 WAV/v1/chat/completionsSTT、TextQA、SpeechQA、SpokenQA统一走对话接口启动需要一张约 96 GB 显存的 GPUTP1最大上下文 4096并设置环境变量VLLM_MLA_DISABLE1。完整命令、健康检查和 curl 示例请查阅 README.md 的 Deployment with vLLM-Omni 章节。常见问题与注意事项 ⚠️trust_remote_codeTrue该模型携带自定义建模代码modeling_raon.py、configuration_raon.py加载时必须信任远程代码采样率 24kHz音频编码器按 24kHz 处理见 config.json输入建议统一为此采样率许可证模型采用CC BY-NC 4.0仅限研究与非商业用途声音克隆合规对可识别说话人做音色克隆或语音生成前务必先获得本人同意自检脚本仓库自带 validate_repo.py 和 validate_model.py校验 9 个权重分片的完整性无需分配显存可用于验证本地权重是否下载完整一个模型、一套 API从听到说再到懂情绪——A.X-K2-Raon-Speech-21B-A3B 为打造真正会说话的语音助手提供了完整的开箱方案。赞分享人工智能大模型语音音频多模态【免费下载链接】A.X-K2-Raon-Speech-21B-A3B项目地址https://ai.gitcode.com/hf_mirrors/KRAFTON/A.X-K2-Raon-Speech-21B-A3B点击查看免费下载相关推荐KRAFTON开源双语语音大模型A.X-K2-Raon-Speech-21B-A3B一个模型搞定STTTTS语音对话的完整解析KRAFTON开源双语语音大模型A.X K2 Raon Speech 21B A3B一个模型搞定STTTTS语音对话的完整解析 A.X K2 Raon S人工智能大模型语音音频多模态流式全双工语音对话如何实现A.X-K2-Raon-Speech-21B-A3B 双工状态机与并发音频解码器源码级解读流式全双工语音对话如何实现A.X K2 Raon Speech 21B A3B 双工状态机与并发音频解码器源码级解读 A.X K2 Raon Speech 2人工智能大模型语音音频多模态A.X-K2-Raon-Speech-21B-A3B 语音识别(STT)实战指南一行代码把韩英双语音频转成文字A.X K2 Raon Speech 21B A3B 语音识别 STT 实战指南一行代码把韩英双语音频转成文字 A.X K2 Raon Speech 21B人工智能大模型语音音频多模态上一篇dnscat2服务器端开发指南Ruby框架下的扩展实现下一篇如何在Mac上轻松制作Windows启动盘WinDiskWriter完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考