会议转写三件套就位：流式 ASR + 说话人分离 + 大模型摘要，本地语音助手进化到哪一步了

会议转写三件套就位流式 ASR 说话人分离 大模型摘要本地语音助手进化到哪一步了【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization把一段会议录音变成谁在什么时候说了什么以及整场会议讲了什么——这套能力被拆成三件套流式 ASR转写、说话人分离Diarization分人和大模型摘要提炼。过去两年三件套各自都有开源代表但拼装时总有短板Whisper 转写很稳却天生非流式说话人分离要么只能离线跑、要么最多认 4 个人摘要环节则完全依赖云 API 的隐私取舍。2026 年 9 月 23 日NVIDIA 发布开源权重模型 Nemotron-3-Diarization把短板补上了最关键的一块100M 参数、支持最多 8 人、流式/离线双模推理、输入缓冲延迟最低可到 0.32 秒且采用 OpenMDW 1.1 许可证允许商用。本文基于该仓库源码与社区实测情报拆解这套三件套管道目前的真实成熟度、本地部署的硬件门槛以及还差在哪。一、三件套各自的开源代表与成熟度先说结论三件套里ASR 和摘要已经高度成熟说话人分离此前是能用但不够用——流式能力与多说话人上限是两个主要缺口。流式 ASR 的开源版图已经相当拥挤。OpenAI Whisper 用大模型思路解决了通用转写和多语言但逐块处理、延迟高NVIDIA 的 Parakeet / Nemotron 3.5 ASR 系列走的是流式听写路线专为低延迟实时转写优化Nemotron 3.5 ASR 开箱支持 32 种语言-locale阿里 FunASR 则把中文生态做成了全家桶含标点恢复、VAD社区端还有 audio.cpp 这类纯 C 引擎把 Nemotron ASR 量化成 GGUF 后可在 CPU/Metal/Vulkan 上以 29 倍加速跑流式转写。ASR 不缺选择缺的是和说话人分离对齐的流式管道。摘要环节在本地也能闭环。7B9B 量级的本地 LLM如 Qwen、Nemotron-9B通过 Ollama 等工具即可对转写文本做摘要、议程提取与待办整理这也是 Vibe 等桌面工具集成本地摘要的标准做法技术上没有悬念。说话人分离则是短板所在。pyannote.audio 长期是开源基准但主流路径是离线聚类流式支持有限NVIDIA 此前开源的流式 Sortformer 模型只支持 4 个说话人。Nemotron-3-Diarization 的定位就是补上实时 8 人这一格基于 Sortformer 架构按说话人在音频中的首次到达顺序排列输出通道从根上化解多说话人标签置换问题流式推理则采用 Streaming Sortformer 引入的 AOSC到达顺序说话人缓存与 FIFO 队列——AOSC 把较早 chunk 的说话人信息保留下来维持身份一致性FIFO 为每个处理步提供最近的帧上下文见 README.md。二、Nemotron-3-Diarization把谁在何时说话做成流式架构与参数模型本体是 100M 参数的 Transformer 编码器31 层、RoPE 旋转位置编码输入 10ms 的 Mel 频谱特征先做 8 倍特征堆叠降采样到 80ms 编码器帧率编码后由 Conv1D 上采样回 10ms 分辨率输出。整体链路见 explainability.md输出为[T, 8]浮点张量T 为输出帧数8 个通道按说话人到达顺序排列每通道是[0,1]的说话人活动概率默认输出步长 10ms可配置为 10ms 的任意倍数30ms / 80ms / 240ms分块推理下音频时长不受限。值得注意的一个细节README 明确写道单个 checkpoint 即可支持低至 80ms 的输入缓冲延迟只是官方推荐的最低配置是 0.32 秒——也就是说延迟与精度由同一份权重通过超参切换不必为流式单独下载模型。四档延迟配置同一份权重四种档位流式行为由 5 个参数决定均以 80ms 帧为单位SPKCACHE_LEN说话人缓存帧数、FIFO_LEN当前 chunk 前附加的 FIFO 帧数、CHUNK_LEN处理块帧数、RIGHT_CONTEXTchunk 后附加的未来帧数、UPDATE_PERIOD从 FIFO 提取更新说话人缓存的帧数。输入缓冲延迟 CHUNK_LENRIGHT_CONTEXT× 80ms不含计算时间。官方推荐配置如下配置延迟SPKCACHE_LENFIFO_LENCHUNK_LENRIGHT_CONTEXTUPDATE_PERIOD离线超高延迟30.4s2644034040300低延迟1.04s26426494222很低延迟0.64s26426462222超低延迟0.32s26426431222调用方式同样简洁——加载模型、设置流式参数、直接出带时间戳的说话人片段from nemo.collections.asr.models import SortformerEncLabelModel diar_model SortformerEncLabelModel.from_pretrained(nvidia/Nemotron-3-Diarization) diar_model.eval() diar_model.sortformer_modules.chunk_len 340 diar_model.sortformer_modules.chunk_right_context 40 diar_model.sortformer_modules.fifo_len 40 diar_model.sortformer_modules.spkcache_update_period 300 diar_model._check_streaming_parameters() predicted_segments diar_model.diarize(audio[/path/to/your/audio.wav], batch_size1) for segment in predicted_segments[0]: print(segment)输入支持四种形态单个文件路径、路径列表、NumPy 数组、JSONL manifest每行含audio_filepath/offset/duration统一要求 16kHz 单声道wav/flac/opus/mp3。输出也可二选一带说话人标记的时间片段列表或逐帧说话人活动概率张量include_tensor_outputsTrue。评测数据DER 大幅下降且几乎延迟换精度不成立官方在 8 个测试集上对比了基线diar_streaming_sortformer_4spk-v2.14 人模型社区实测归纳为DER 平均下降约 42%多说话人场景降幅达 70%详见 README.md 与 diarization_evaluation.md。挑几个关键数字DER 越低越好均含重叠语音测试集基线 30.4s新模型 30.4s新模型 0.32sDIHARD III全量19.0912.7313.55DIHARD III5–9 人40.2127.5829.49NOTSOFAR1 SC5–7 人38.4213.2117.61AliMeeting 近场11.576.407.19CALLHOME-Part2全量10.329.1011.32两个值得注意的现象其一多说话人场景5 人以上的收益远大于 2 人场景——基线在 NOTSOFAR1 5–7 人场景的 SCA说话人计数准确率仅 33% 左右新模型升至 78%其二从 30.4s 切到 0.32s 超低延迟DIHARD III 全量 DER 只从 12.73 涨到 13.55约 0.8 个百分点AliMeeting 近场从 6.40 涨到 7.19——延迟换精度的代价被压到了很小。推理速度上30.4s 离线配置 batch_size32 时 RTFx实时倍率从基线的 3204 提升到 12196编译后更达 15113即约 4.7 倍提速0.32s 流式配置 batch_size1 也有 12.5 倍实时倍率。这些数据在 Blackwell RTX PRO 5000 上以 BF16 精度测得。三、三件套如何组装带说话人标签的流式转写说话人分离产出的是谁在何时说话要和 ASR 拼成谁说了什么关键在于耦合的流式管道而非事后切音频再逐段转写。仓库中的 ASR_INTEGRATION_GUIDE.md 给出两种官方配对方案一Multitalker Parakeet Streaming 0.6Bmasked_asrfalse专为重叠语音微调的多说话人流式 ASR把说话人活动作为条件输入仅支持英语方案二Nemotron 3.5 ASR Streaming 0.6Bmasked_asrtrue常规单说话人流式 ASR用分离活动掩码各说话人流可部分处理重叠支持 32 种语言-locale。官方示例命令节选python examples/asr/asr_cache_aware_streaming/speech_to_text_multitalker_streaming_infer.py \ asr_modelnvidia/nemotron-3.5-asr-streaming-0.6b \ diar_modelnvidia/Nemotron-3-Diarization \ audio_file/absolute/path/to/conversation.wav \ max_num_of_spks8 \ masked_asrtrue \ parallel_speaker_strategytrue \ cache_gatingtrue \ binary_diar_predstrue \ att_context_size[56,13] \ fifo_len264 \ spkcache_update_period222 \ target_langauto \ output_path./speaker_attributed_output.json最终输出是 NeMo SegLST 格式的speaker_attributed_output.json渲染后形如Speaker 0: Welcome, everyone. Let us begin. Speaker 1: I have the latest numbers. Speaker 2: I agree, but there is one remaining issue.几个工程要点值得展开max_num_of_spks8是会话维护的说话人流上限不是承诺一定出现 8 人——活跃说话人身份由音频驱动发现降低该值可显著减少计算与显存。cache_gatingtrue只对最近分离窗口内活跃的说话人跑 ASR省掉大量空转计算。ASR 与分离模型的 chunk 几何必须对齐fifo_len、spkcache_update_period等不能独立乱调否则流式参数校验直接失败。更现实的替换方案如果说话人很少重叠可先分离再按段切割、用普通单说话人 ASR 逐段转写——但指南明确警告这不是等效替代切割出的时间段仍包含所有重叠进来的声音常规 ASR 可能选错或合并说话人。指南还给出了生产级实时麦克风服务的完整骨架模型权重每个 worker 加载一次、可跨连接共享省显存每个客户端连接创建独立流式会话SpeakerTaggedASR 缓存感知音频缓冲accept_audio()接收 PCM 块、内部按 hop/cache 几何组帧、返回最新带说话人标签的转写文本说话人缓存、ASR 解码状态、时间戳、转写历史全部是session 级状态严禁跨客户端共享。连接断开即重置会话——这意味着Speaker 0这类标签是会话内匿名标识不承载生物身份展示人名需应用层另行做注册映射。四、本地全套部署的硬件门槛实测把三件套全部落在本地硬性门槛比想象中低。逐层拆解说话人分离这一层最轻。100M 参数、BF16 权重约 200MB 量级RTX 306012GB级别的卡即可顺畅跑流式0.32s 配置在 RTX PRO 5000 上 batch_size1 也有 12.5× 实时倍率eager消费级 GPU 留足余量。即便 CPU 推理30.4s 离线配置 batch_size32 的 12196× RTFx 也说明吞吐根本不是瓶颈。ASR 层有极多降级选项。桌面工具 VibeRust ggml把 Whisper / Parakeet / Nemotron 系模型量化成 GGUFQ4_K_M / Q8_0在无 GPU 的 Mac/PC 上也能离线转录支持 GPU 加速Vulkan/CoreMLaudio.cpp 则让 Nemotron 3.5 ASR 以纯 C 跑流式麦克风转写。若选 Nemotron 3.5 ASR 0.6B权重体量与分离模型同级16GB 显存的消费卡完全装得下两枚。摘要层决定整机的显存预算。社区实测的 NeMo Voice Agent 方案给出一个清晰的参考坐标单张 21GB 显存 GPU即可本地跑通流式 ASR 端点检测 4 人说话人分离 双路径 TTSKokoro / FastPitch-HiFiGAN LLM 摘要Nemotron-9B / Qwen2.5-7B 工具调用的完整语音助手栈。把 LLM 换成 7B 量化版8GB 卡也能闭环再退一步摘要用 CPU 上的 GGUF 小模型三件套可以在无独显的机器上以转写实时、摘要准实时的方式运行。社区横向对比Qwen3-ASR、Voxtral、Nemotron 3.5 ASR 的 audio.cpp 实测显示流式 ASR 的推理加速比可达 29 倍字节级一致性有保障。综合判断16GB 显存是全精度全家桶的舒适区8GB 量化是及格线纯 CPU 能跑简化版——这已经显著低于两年前本地会议转写至少要一块专业卡的普遍认知。五、下一个缺口评测规范与中文优化三件套拼齐后真正暴露出来的是两个软缺口。其一评测口径比跑分本身更值得较真。官方 DER 数字有严格的协议约束见 diarization_evaluation.mdDER 虚警 漏检 说话人混淆必须声明 collarDIHARD III 等为 0sCALLHOME 为 0.25s、是否计入重叠语音、参考标注来源。README 特别强调AMI / AliMeeting / NOTSOFAR1 使用的是forced-alignment 参考标签——因为这些语料的原始标注按转写用途生成会把段内静音标成语音、虚增参考活动量换一套参考标签就是换一套评测协议数字不可直接比较。对中文社区而言这意味着转写/摘要模型可以直接套用各自 benchmark但说话人分离的中文实测 DER目前只有 AliMeeting 近/远场各 20 条录音样本量单薄谁想在中文场景复现数字都必须先对齐参考 RTTM 与评测脚本版本。其二中文场景的三件套仍有拼接缝。好消息是模型训练语料并不缺中文真实对话含 AISHELL-4、AliMeeting 普通话语料混音模拟还覆盖多语言DISPLACE 印地语/卡纳达语等中文 AliMeeting 近场 DER 已做到 6.4030.4s对基线 11.57 的领先。但管道端仍有断层官方推荐的流式 ASR 配对中Multitalker Parakeet 仅支持英语中文流式转写要么用 Nemotron 3.5 ASR 的 32 语言-locale含中文要么换用 FunASR 等中文引擎再自行对齐帧几何——指南反复强调 ASR 与分离的 chunk 几何必须对齐这给混搭引擎设了不小的工程门槛。摘要环节同样面临中文 LLM 选型与转写文本的格式适配。此外还有工程上的隐性成本VAD、标点恢复、语气词过滤在中文会议口语里远比英语重要目前这些组件在流式管道里大多是外挂而非内置。从更长的时间轴看这一代的完成度已经很高NVIDIA 用8 节点 A100 两阶段训练 约 1 万小时真实对话与 8.26 万小时 FastMSS 模拟混音炼出一个 100M 参数的流式 8 人分离模型配合流式 ASR 与本地 LLM会议转写三件套第一次具备了全本地、可商用OpenMDW 1.1、低至 0.32 秒流式的完整形态。语音数据不出设备这一条在隐私合规日益收紧的当下本身就是生产力——而下一轮竞争大概率会在中文评测基准的补齐与混搭引擎无缝对齐这类工程细节上展开。【免费下载链接】Nemotron-3-Diarization项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3-Diarization创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考