如何用DiarizationLM-Gemma-4-E4B-v1批量修正ASR转写的说话人错标:端到端工作流详解
人工智能大模型语音微调模型量化【免费下载链接】DiarizationLM-Gemma-4-E4B-v1项目地址https://ai.gitcode.com/hf_mirrors/google/DiarizationLM-Gemma-4-E4B-v1点击查看免费下载做完 ASR自动语音识别 说话人分离后转写文本里的说话人错标几乎是不可避免的一句话被安到另一个人头上、嗯好的这类短回应被误判成新说话人、回合边界切错。DiarizationLM-Gemma-4-E4B-v1正是为此设计的说话人分离后处理大模型——基于 Gemma 4 E4B4B 参数微调直接读取带speaker:1标签的转写文本一次性修正说话人标签、回合边界与短回应归属。本文带你从模型下载到批量转写修正跑通完整的端到端工作流。 为什么需要说话人后处理传统分离流水线如 USM turn-to-diarize有三个常见痛点声学边界漂移噪声环境或快速抢话场景下短语句的说话人聚类容易切错说话人身份漂移3 人以上长会议中同一人前后的说话人编号可能串号短回应误判单个嗯、对常被误标为倾听者污染下游统计。DiarizationLM 的思路是把 LLM 当作后处理大脑声学模型给出粗略标签LLM 结合对话逻辑纠正错标。DiarizationLM-Gemma-4-E4B-v1 在Fisher、Callhome、ICSI、AMI四大基准语料覆盖 2 人电话通话到 3–9 人会议上用位置保持型监督Locality-Preserving Oracle Supervision微调比 8B 参数的上一代模型在 WDER 和 cpWER 上同时取得显著提升p 0.0001。 模型亮点4B 参数为何更强训练目标明确教模型区分两类场景对 1–5 个词的短句回合边界、短回应大胆修正对 6 个词以上的长独白L ≥ 6保持说话人锚点稳定。官方基准结果对比 USM turn-to-diarize 基线基准数据集基线 WDER修正后 WDER相对改进Fisher172 场会话5.32%2.99%-2.33%Callhome20 通电话7.74%4.92%-2.82%ICSI3 场会议14.70%14.10%-0.60%AMI16 场会议15.68%14.89%-0.79%完整训练配置、置信区间和逐指标对比见 README.md模型结构参数42 层、混合滑窗注意力、262144 词表见 config.json。 一键获取模型三种规格怎么选克隆模型仓库按需只下载对应格式避免全量 26 GBgit clone https://gitcode.com/hf_mirrors/google/DiarizationLM-Gemma-4-E4B-v1文件大小适用场景model.safetensors~16.0 GBGPU transformersbfloat16精度最高DiarizationLM-Gemma-4-E4B-v1-q4_k_m.gguf~5.30 GB推荐llama.cpp/ Ollama /llama-cpp-pythonDiarizationLM-Gemma-4-E4B-v1-q4_0.gguf~5.15 GB旧版llama.cpp兼容分词与生成配置tokenizer.json、generation_config.json、chat_template.jinja、processor_config.json均随仓库提供开箱即用。✍️ 准备输入ASR 转写文本的标签规范模型接收带speaker:N标签的纯文本。ASR 分离的原始输出通常长这样speaker:1 Hello, how are you doing speaker:2 today? I am doing well. What about speaker:1 you?推理时只需包进标准 prompt与 chat_template.jinja 的对话格式一致|turnuser speaker:1 Hello... speaker:2 today? ... -- turn| |turnmodel模型会输出修正后的文本以[eod]结尾。随后用diarizationlm库的transfer_llm_completion函数把结果转写保持式地贴回原文——只改说话人标签不改 ASR 转写的字词。这是官方推荐的 Transcript-Preserving Speaker Transfer 模式。⚙️ 批量修正工作流五步跑完全量切分按会话拆分转写文本。模型训练时按 4,000 字符切段最长 2,560 token批量处理建议沿用该长度打标确保每个语句都带speaker:N前缀推理逐段构造 prompt 生成补全强制确定性输出do_sampleFalse回写先utils.truncate_suffix_and_tailing_text(completion, [eod])去尾部标记再utils.transfer_llm_completion(completion, HYPOTHESIS)完成标签回写拼接落盘把修正后的片段拼回完整会话生成带说话人信息的 JSON 或 RTTM。Python 最小示例pip install transformers diarizationlmfrom diarizationlm import utils from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(google/DiarizationLM-Gemma-4-E4B-v1, device_mapcuda) model AutoModelForCausalLM.from_pretrained( google/DiarizationLM-Gemma-4-E4B-v1, torch_dtypebfloat16, device_mapcuda) prompt f|turnuser\n{HYPOTHESIS} -- turn|\n|turnmodel\n inputs tokenizer([prompt], return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokensint(inputs.input_ids.shape[1] * 1.2), do_sampleFalse, use_cacheTrue) completion tokenizer.batch_decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokensTrue)[0] completion utils.truncate_suffix_and_tailing_text(completion, [eod]) result utils.transfer_llm_completion(completion, HYPOTHESIS)没有 GPU、想在 CPU 或小机器上批量跑直接用 GGUF 版本llama-cli -m DiarizationLM-Gemma-4-E4B-v1-q4_k_m.gguf \ -p $|turnuser\nspeaker:1 ... -- turn|\n|turnmodel\n \ --temp 0.0 -n 128⚠️ 批量处理避坑指南5 个常见问题务必关闭采样generation_config.json 默认do_sampletrue但修正任务必须用do_sampleFalse/--temp 0.0固定输出否则同一段文本多次运行结果不一致难以对账输出长度设 1.2 倍max_new_tokens ≈ 输入 token 数 × 1.2最稳妥给得太大可能生成多余内容别超字符上限单段 prompt 建议不超过 4,000 字符长文本先切段再批量提交保证上下文利用效率多人长会议放心用模型专门在 ICSI/AMI 多人会议上训练能有效缓解长独白后半段的说话人身份漂移——这是早期只在 2 人电话数据上训练的模型做不到的不要直接拿原始输出落库一定走transfer_llm_completion回写直接存模型输出可能连带改动转写字词破坏与原始 ASR 的对齐。 相关资料项目说明、基准评测、完整使用示例README.md模型结构与分词配置config.json、tokenizer_config.json对话模板chat_template.jinja许可证LICENSEApache-2.0论文出处Wang et al.,DiarizationLM: Speaker Diarization Post-Processing with Large Language Models, Interspeech 2024赞分享人工智能大模型语音微调模型量化【免费下载链接】DiarizationLM-Gemma-4-E4B-v1项目地址https://ai.gitcode.com/hf_mirrors/google/DiarizationLM-Gemma-4-E4B-v1点击查看免费下载相关推荐DiarizationLM-Gemma-4-E4B-v1训练原理揭秘Locality-Preserving Oracle如何终结说话人漂移DiarizationLM Gemma 4 E4B v1训练原理揭秘Locality Preserving Oracle如何终结说话人漂移 Diarizati人工智能大模型语音微调模型量化DiarizationLM-Gemma-4-E4B-v1提示词格式完全解析speaker:N标签怎么写才不踩坑DiarizationLM Gemma 4 E4B v1提示词格式完全解析speaker:N 标签怎么写才不踩坑 DiarizationLM Gemma 4人工智能大模型语音微调模型量化谷歌发布DiarizationLM-Gemma-4-E4B-v14B参数说话人分离后处理模型四大基准全面领先谷歌发布DiarizationLM Gemma 4 E4B v14B参数说话人分离后处理模型四大基准全面领先 谷歌开源的 DiarizationLM Gem人工智能大模型语音微调模型量化上一篇彻底解决Mise任务运行器依赖追踪难题从循环依赖到并行执行的完整方案下一篇3分钟搞定微信密钥提取PyWxDump内存分析实战指南创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

STM32单片机 定时器 编码器接口

STM32单片机 定时器 编码器接口

编码器接口测速,用于电机控制Encoder Interface 编码器接口编码器接口可接收增量(正交)编码器的信号,根据编码器旋转产生的正交信号脉冲,自动控制CNT自增或自减,从而指示编码器的位置、旋转方向和旋转速度每…

2026/11/13 14:27:59 阅读更多 →
PWMI模式测频率占空比

PWMI模式测频率占空比

开启时钟GPIO时基单元输入捕获初始化部分配置两个IC通道同时捕获同一个引脚的模式//快捷将电路配置成PWMI标准的标准结构,只支持通道1、2不支持3、4 //只需要传入一个通道的函数,此函数同时会把另一个通道配置为相反的配置,实现PWMI模式 TIM_…

2026/11/12 17:20:52 阅读更多 →
biliTickerBuy完整入门:4步跑通这款开源B站会员购票工具

biliTickerBuy完整入门:4步跑通这款开源B站会员购票工具

biliTickerBuy完整入门:4步跑通这款开源B站会员购票工具 【免费下载链接】biliTickerBuy b站会员购购票辅助工具 项目地址: https://gitcode.com/GitHub_Trending/bi/biliTickerBuy 刷新B站会员购商品页的瞬间,「立即购买」变成「已售罄」&#x…

2026/11/11 17:12:12 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/19 21:38:27 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/19 21:38:49 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/19 21:39:09 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/19 21:36:50 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/19 21:37:45 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/19 21:36:20 阅读更多 →

日新闻

周新闻

月新闻