MOSS-Transcribe-Diarize接入FunASR生态零VAD说话人分离与sentence_info契约解析【免费下载链接】MOSS-Transcribe-DiarizeA 0.9B model for long-form transcription in 50 languages with speaker diarization, timestamps, and acoustic event awareness项目地址: https://gitcode.com/gh_mirrors/mo/MOSS-Transcribe-DiarizeMOSS-Transcribe-Diarize 是一个开源 0.9B 参数的长音频转写模型一次推理即可同时输出转写文本、时间戳和说话人标签支持 50 语言。接入 FunASR 生态后它无需外挂 VAD语音活动检测和说话人分离模型就能产出标准的sentence_info分段结果——这正是本文要讲清楚的零 VAD 说话人分离工作方式和数据契约。 一句话理解传统方案是ASR 模型 VAD 模型 分离模型三个组件拼管线而 MOSS-Transcribe-Diarize 用一个自回归 SpeechLLM 一次生成全部结构化信息。零VAD说话人分离一个模型干三件事的完整原理模型结构如下图所示左侧的音频编码器Whisper-Medium 编码器配置把波形编码为声学特征右侧的自回归 SpeechLLMQwen3-0.6B 风格解码器直接吐出带时间戳的说话人分段文本关键输出格式是一个紧凑的纯文本流[start_time][Sxx]转写文本[end_time]相邻分段首尾相接例如[0.48][S01]Welcome everyone[1.66][12.26][S02]The new transcription pipeline is ready[13.81]这意味着不需要 VAD模型自己判断哪里有人说话、说了多久时间戳由模型直接生成不需要独立分离模型[S01]、[S02]这类说话人标签与文本在同一次解码中产出不需要后处理拼接不存在多系统输出的对齐误差端到端一致性更好。仓库内置了一个无正则的流式解析器 TranscriptStreamParser按字符状态机逐段消费上述文本流产出结构化的TranscriptSegment数据类transcript_parser.py 中的start/end/speaker/text四个字段。FunASR接入MOSS-Transcribe-Diarize的三步骤FunASR 1.4.12 及以上版本已原生支持该模型它能连接一个已存在的 vLLM 服务把官方的说话人分段响应归一化为生态通用的sentence_info契约。完整指南见 README.md 的 FunASR 章节最小接入路径如下第 1 步部署 vLLM 服务vllm serve OpenMOSS-Team/MOSS-Transcribe-Diarize --trust-remote-code第 2 步安装新版 FunASRpip install funasr1.4.12第 3 步用 AutoModel 指向 vLLM 后端from funasr import AutoModel model AutoModel( modelOpenMOSS-Team/MOSS-Transcribe-Diarize, backendvllm, vllm_base_urlhttp://127.0.0.1:8898/v1, vllm_modelmoss-transcribe-diarize, vllm_response_formatdiarized_json, # 关键请求说话人分段响应 disable_updateTrue, ) result model.generate(audio.wav, max_completion_tokens8192)[0] for seg in result[sentence_info]: print(seg[start], seg[end], seg[spk], seg[text])整个流程只需要三个配置要点backendvllm声明走远端推理服务vllm_response_formatdiarized_json请求带说话人的 JSON 响应max_completion_tokens对长音频适当调大以保证解码完整。sentence_info契约解析4个字段的数据规范sentence_info是 FunASR 生态的通用分段契约Paraformer、SenseVoice 等模型都用它是一个由分段字典组成的数组。对于 MOSS-Transcribe-Diarize每个分段的字段与模型原生输出格式的对应关系如下sentence_info 字段类型含义对应原始输出startfloat分段起始时间秒[0.48]endfloat分段结束时间秒[1.66]spkstr说话人编号[S01]textstr该分段的转写文本中间正文以官方示例为例原始流[0.48][S01]Welcome everyone[1.66]经归一化后变为{start: 0.48, end: 1.66, spk: S01, text: Welcome everyone}这一契约带来的工程价值很直接下游零改造任何已经消费sentence_info的下游代码字幕导出、会议摘要、检索打标无需为 MOSS 重写解析逻辑与仓库解析器互为验证FunASR 侧的sentence_info与仓库自带的parse_transcript()transcript_parser.py产出同构数据可交叉校验剪辑导出即插即用FunClip 2.2.1 起支持基于该契约生成说话人感知的 SRT和按说话人剪辑视频。从音频到字幕完整数据流一览音频文件 │ ▼ vLLM 服务MOSS-Transcribe-Diarize 0.9B │ 一次解码转写 时间戳 说话人 ▼ [0.48][S01]Welcome everyone[1.66][12.26][S02]... │ ▼ FunASR 归一化funasr1.4.12 │ ▼ sentence_info: [{start, end, spk, text}, ...] │ ├──▶ SRT/JSON 字幕导出 ├──▶ 按说话人剪辑FunClip 2.2.1 └──▶ 会议摘要 / 检索 / 打标不想接 FunASR 的用户也可以直接使用仓库自带的两条本地链路Python APIinference_utils.py 提供build_transcription_messages、generate_transcription、resolve_device等工具函数几行代码即可完成加载与推理字幕 Web 应用运行mtd-subtitle-web获得本地网页支持上传音频、审阅分段、下载 JSON/SRT/ASS甚至用 FFmpeg 烧录进 MP4界面支持中英文前端代码位于 moss_transcribe_diarize/app/。常见问题与调参建议Q1长音频转写被截断怎么办调大max_completion_tokensFunASR 侧或max_new_tokensvLLM/SGLang 侧长会议建议 65536给解码器留出写完整篇分段转录的预算。Q2部署问题应该去哪里反馈FunASR 生态负责部署链路服务注册、响应契约、版本 pin 等其部署指南固定了模型与服务端版本并提供 H100 验证过的 vLLM 冒烟测试而模型本身或权重的问题则回到本仓库反馈。模型仍由 OpenMOSS 以 Apache-2.0 发布FunASR 只是生态入口不改变模型归属。Q3能提高专有名词识别准确率吗可以在默认 prompt 末尾追加热词提示如「热词提示热词1, 热词2, 热词3」。同一个 prompt 可同时用于 Python API、mtd-subtitle与mtd-subtitle-web。Q4纯 CPU 能跑吗可以仓库用 Python 3.12 Transformers 5.x 测试通过但长音频场景强烈建议 CUDA GPU长录音上eager注意力实现内存会随时长平方增长容易 OOM自动加载器会优先选择更优后端。总结MOSS-Transcribe-Diarize 接入 FunASR 的核心价值可以归纳为三点维度收益 架构简化一次推理产出转写、时间戳、说话人免除 VAD 与分离模型的拼装 契约统一sentence_info四字段标准下游字幕、剪辑、摘要代码零改造 部署平滑现有 vLLM 服务 funasr1.4.12即可接入无需改动模型对于正在构建会议记录、播客剪辑、多语言字幕管线的团队这套模型原生说话人分离 生态标准契约的组合是目前开源方案中最短的一条落地路径。 延伸阅读README.md、README_zh.md、FINETUNING.md【免费下载链接】MOSS-Transcribe-DiarizeA 0.9B model for long-form transcription in 50 languages with speaker diarization, timestamps, and acoustic event awareness项目地址: https://gitcode.com/gh_mirrors/mo/MOSS-Transcribe-Diarize创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考