AuK 一键去噪、分人声、拆伴奏：语音增强与分离的后期工作流实测

AuK 一键去噪、分人声、拆伴奏语音增强与分离的后期工作流实测【免费下载链接】AuK项目地址: https://ai.gitcode.com/tencent_hunyuan/AuK语音后期处理长期是一门工具拼装学去噪要开 iZotope RX去混响要挂插件拆伴奏要单独跑 UVR 或 Demucs修电话音质、去口水音又得换一套专用模型——每换一个处理环节就换一次工具、对一次参数、导一次轨。腾讯混元开源的 AuK1.5B 参数、MIT 协议把这一切压缩成一句自然语言指令同一套接口既能只保留歌声、其余声音都去掉也能保留所有说话人、去除噪声和混响还能在拆出的干声上继续改歌词、调音高。本文以增强与分离为主线拆解官方 Cookbook 中的指令模板与真实工程参数梳理一条从去噪 → 拆伴奏 → 改歌词的可落地后期链路。从插件矩阵到一句话指令AuK 想统一的事AuK 是腾讯混元与上海交大联合开源的基础模型1.5B 参数、训练于数百万小时音频数据把零样本 TTS、内容/声学/副语言编辑、语音增强与音源分离等 16 类任务统一到一个自然语言指令 音频上下文的接口之下见 README.md 的任务总表。增强与分离是其中独立的一大类含四项语音增强Speech Enhancement、说话人分离Speech Separation、音乐分离Music Separation、目标说话人提取Target Speaker Extraction。支撑这套统一能力的架构在仓库 config.yaml 里有直接的工程证据语义编码Qwen2.5-Omni-3B 多模态语言模型负责把指令翻译成生成条件对应配置text_encoder.text_encoder_path: ckpts/Qwen2.5-Omni-3B生成主干混合整流流 Transformer双流 MMDiT 块 单流 DiT 块backbone: Flux2Edit配置arch.dim: 1536、heads: 24、num_layers: 10、num_single_layers: 20声学编解码BigVGANFlow VAEtarget_sample_rate: 24000输出 24kHz 音频、downsample_rate: 480、latent_dim: 64。按 arXiv 技术报告的数据训练阶段构建了约30.3 亿条指令-音频实例、195 万小时有效监督横跨语音生成、内容编辑、增强与分离、副语言编辑、声学编辑五大任务族。后训练还叠加了人评偏好优化编辑类与基于奖励的强化学习生成类并以一致性初始化 任务路由的 Decoupled DMD 蒸馏出 4 步无 CFG 推理的 AuK-Flash。这条统一指令 统一主干的路线正是它能把增强、分离与编辑放进同一条流水线的原因——它们共享同一套输入输出协议。增强与分离的指令写法Cookbook 第 5 节拆解官方 Cookbookdocs/COOKBOOK.md把增强与分离归为第 5 节所有任务都是等长输出——保留源音频时长因此调用时不需要显式指定gen_seconds这是它和 TTS、内容编辑最显著的使用差异。四类任务的中文指令模板如下任务指令写法中文作用去噪请只去除背景噪声保留其他内容输出等长结果。仅清理底噪不动人声细节去混响请只去除房间混响保留其他内容输出等长结果。针对环境反射声语音增强请保留所有说话人去除噪声和混响输出等长的纯净语音。综合降噪 去混响质量修复请修复这段音频的{电话感/闷声/削波/丢包}恢复自然清晰的人声。面向老录音、电话音质素材说话人分离只保留第{序号}个开始说话的人去掉其余说话人。按发言顺序保留单声道音乐分离请只保留歌声其余声音都去掉。拆出人声干声伴奏静音音乐分离请保留所有人声包括说话和歌唱其余声音都去掉。保留全部人声去掉器乐目标说话人提取请只保留说{内容}的人去掉其他说话人。按说了什么定位声纹关键在指令粒度去噪与去混响是分离的两个旋钮可以单独拧也可以合并成增强一步到位质量修复甚至能针对电话感、闷声、削波、丢包这类具体损伤分别下指令。CLI 与 Python 用法完全同构例如拆伴奏auk-infer \ --audio assets/demo-input-audio/vocal-extraction/vocal-1-input.wav \ --instruction 请只保留歌声其余声音都去掉。 \ --output out_vocal.wavPython 侧只是换一层封装run_auk(instruction, output_path, audio_path...)核心是把指令与音频组装成 ChatML 风格消息交给AukInfer.generate()。这种消息即任务的设计意味着在代码层面去噪、分离、编辑没有任何接口差异差异只在指令文本里。歌曲场景实测从拆伴奏到改歌词的完整链路人声/伴奏分离在歌曲场景的价值不止于得到一条干声而是它解锁了后续编辑。这一点官方文档是明确闭环的Cookbook 的歌词编辑Lyric Editing一节直接声明输入必须是纯人声a cappella录音如果原曲带伴奏请先用音乐分离提取人声。也就是说官方推荐的标准歌曲后期链路是请只保留歌声其余声音都去掉。→ 得到无伴奏干声对干声做增强或修复如有底噪/混响残留请保留所有说话人去除噪声和混响输出等长的纯净语音。进入编辑阶段把这段歌词中的{原歌词}改成{新歌词}。改词、将音调升高{1/2/3}个半音。调性、将语速调整为{1.25}倍。时长干声处理完再与伴奏在 DAW 里重新合轨。这条链路的工程价值在于全程不换工具、不重新对齐时间轴——分离和编辑都是同一模型对同一段音频的等长或可控时长重渲染杜绝了传统方案中UVR 拆出来 → 拖进编辑器 → 音高修正器再处理的多次编解码损耗。技术上分离任务依赖模型对歌声 vs 伴奏的声学分布建模而等长输出保证了 24kHz 干声与伴奏的逐帧对齐为后续合轨省去对齐步骤。需要客观标注的边界是社区实测普遍反映模型存在约 30 秒的源/参考加目标时长预算ComfyUI 集成会显式校验这一约束长素材需要切片处理同时后训练基准中情绪编辑成功率仅约 9.94%说明 AuK 的强项在信号级任务增强、分离、修复语义级生成情绪迁移、复杂改写仍在爬坡。就增强与分离这一主题而言它处于技术报告的竞争力最强区间——官方表述是在信号级恢复任务上保持竞争力。与现有后期工具的协同三种部署形态与工程参数AuK 提供了 CLIauk-infer、Web UIauk-gradio、ComfyUI 节点AuK Model Loader AuK Generate/Edit内置可复用工作流三种形态可以直接嵌进现有后期管线批处理/脚本化CLI 适合对一批素材跑统一的去噪、拆伴奏任务输出等长 wav 直接进工程目录可视化流水线ComfyUI 把分离 → 编辑 → 重合成串成节点图适合边看波形边调整服务化SGLang-Omni、vLLM-Omni 已提供 AuK/AuK-Flash 的 Day-0 支持可把增强与分离作为 API 嵌入自动化的播客、直播后处理系统。工程资源占用是实际落地最关心的数字。官方 README 在 A800-SXM4-80GB、bf16 下实测AuK 处理 1.5 秒文本指令输出峰值显存 24.78 GiB开启--cpu_offload后降到 16.75 GiB节省约 32%带 5 秒参考音频时为 25.00 → 16.98 GiB社区 PR 还通过降低编码器占用进一步省下约 7.5 GiB消费级 GPU 本地推理的门槛正在被持续压低。追求速度则换 AuK-Flash固定 NFE4、CFG0官方口径是同条件下比完整模型提速 4.5 倍。多平台适配Apple Silicon MLX、audio.cpp GGUF 离线推理让后期人员可以在自己手头最顺手的设备上跑。与现有工具协同的最后一环是定制AuK 微调采用统一的 JSONL 格式每行一条指令 源音频 → 目标音频全部 16 类任务共用同一格式只是指令和音频对不同。这意味着可以用一批带底噪的播客录音 → 干净干声数据微调出专门面向直播/播客/ASMR 场景的去噪模型也可以积累中文流行歌 → 干声数据强化中文拆伴奏效果——这也是它作为 ICASSP 2027 Audio Editing Challenge 单模型赛道官方基线的底气所在。模型与权重均以 MIT 协议开放见 LICENSE商用无授权障碍。后期工作流的对话化拐点把传统链路和 AuK 链路并排看变化是结构性的过去每个处理环节对应一个专用模型、一套参数、一次导出流程越长工具链的摩擦越大现在增强、分离、修复、编辑共享一个 1.5B 模型和同一套消息接口后期人员的工作从调工具变成写指令。这不是把几个开源模型拼在一起而是让我要什么结果直接成为模型输入——拆伴奏、留人声、修电话音质本质都是同一句请保留……去掉……的自然语言。对创作者和后期人员而言这意味着从素材到成品的最短路径正在被压缩成一条可复现、可批处理、可微调的指令流水线。当然落地前值得把三个数字记在心头24kHz 的输出采样率决定了它适合作为后期中间件而非最终母带工具约 30 秒的时长预算要求长素材先切片情绪等语义级任务的成功率仍有限信号级任务才是它当前最锋利的刀。把这三点纳入流程设计AuK 在语音后期工作流里的位置就会非常清晰所有清理与拆分的脏活交给它人类只负责写指令、做审美判断。【免费下载链接】AuK项目地址: https://ai.gitcode.com/tencent_hunyuan/AuK创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考