一文读懂NemotronLabs-VoiceChat-11B-mlx-8bit:Apple Silicon专属的110亿参数语音模型
一文读懂NemotronLabs-VoiceChat-11B-mlx-8bitApple Silicon专属的110亿参数语音模型【免费下载链接】NemotronLabs-VoiceChat-11B-mlx-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-mlx-8bitNemotronLabs-VoiceChat-11B-mlx-8bit是专为Apple Silicon优化的110亿参数语音模型它实现了双向语音交互功能让用户能够与AI进行自然流畅的对话。作为NVIDIA NemotronLabs-VoiceChat-11B模型的MLX转换版本该模型在保持原有性能的基础上通过8位量化技术大幅降低了内存占用使其能够在苹果芯片上高效运行。 模型简介110亿参数的语音交互专家NemotronLabs-VoiceChat-11B-mlx-8bit是一个完整的语音交互系统包含四个核心组件语言主干77.1亿参数采用Nemotron-H混合架构包含56层27个Mamba-2层、25个MLP层和4个分组查询注意力层隐藏层大小4480词汇量131072词汇头17.6亿参数包括令牌嵌入、LM头和函数调用头语音编码器6.1亿参数采用带mel前端的Conformer编码器语音生成器10亿参数包含Gemma-3 TTS主干、混合高斯头、神经音频编解码器和31级残差VQ该模型支持双向操作以80毫秒帧12.5帧/秒运行输入采样率16kHz输出采样率22.05kHz。 量化版本对比选择最适合你的方案NemotronLabs-VoiceChat-11B提供了多个MLX量化版本以满足不同设备配置的需求版本大小量化方式bf1622.2 GB无8bit(本仓库)13.9 GB8位仅LLM和词汇头4bit9.2 GB4位仅LLM和词汇头8bit版本被推荐为最佳选择在贪婪解码下产生与bf16版本相同的文本同时减少43%的内存使用。 Apple Silicon性能表现高效运行的秘密在Apple M4 Max68.7 GB统一内存上仅语言主干的贪婪解码性能如下版本加载时间峰值内存首令牌时间吞吐量bf163.1 s17.96 GB646 ms23.4 tok/s8-bit1.9 s10.22 GB803 ms33.2 tok/s音频编解码器的运行速度约为实时速度的6倍确保了流畅的语音交互体验。️ 快速开始两步体验语音模型步骤1文本生成与语言主干首先使用以下命令安装必要的依赖并体验语言主干的文本生成能力pip install mlx mlx-lm python mlx/extract_llm.py --src . --dst ./voicechat-llm python mlx/chat_example.py --model ./voicechat-llm --prompt The capital of France is由于源模型没有提供文本令牌器extract_llm.py会将主干与Nemotron-H基础令牌器词汇量131072配对并在写入前验证大小是否匹配。步骤2音频编解码器往返测试体验音频编解码器的功能将波形编码为512维潜在变量和31级代码然后解码回音频pip install mlx numpy python mlx/codec_example.py --repo . --wav input.wav --out output.wav在M4 Max上重建的信噪比约为8 dB以12.5帧/秒的速度运行比实时速度快约6倍。 量化细节平衡性能与效率NemotronLabs-VoiceChat-11B-mlx-8bit采用了精心设计的量化策略语言主干和三个词汇头被量化为8位组大小64占111亿参数中的94.7亿整个语音路径音频编解码器、混合高斯头、Conformer编码器和RNN-T解码器保留在bfloat16中这些小张量的误差会直接影响音频质量而节省的空间可以忽略不计与bfloat16版本相比平均相对误差仅为0.57%确保了高质量的语音交互体验。⚠️ 使用注意事项纯文本提示不在模型的训练分布范围内它被训练为发出交错的文本和音频编解码器令牌因此生成可能以音频侧令牌结束如SPECIAL_12编解码器期望22.05 kHz单声道音频其他速率会以错误的速度解码源检查点中的每个张量都存在于本仓库中转换经过完整性验证所有层级都确保有限值 许可证和归属NemotronLabs-VoiceChat-11B-mlx-8bit根据OpenMDW-1.1许可证发布遵循原始模型。基础模型和架构由NVIDIA提供MLX音频编解码器实现遵循NVIDIA NeMo Speech。要获取完整模型请克隆仓库git clone https://gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-mlx-8bit开始探索这个强大的语音交互模型体验Apple Silicon上高效运行的AI语音技术【免费下载链接】NemotronLabs-VoiceChat-11B-mlx-8bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/NemotronLabs-VoiceChat-11B-mlx-8bit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

WindFM开源协议与社区支持:如何参与贡献与获取帮助

WindFM开源协议与社区支持:如何参与贡献与获取帮助

WindFM开源协议与社区支持:如何参与贡献与获取帮助 【免费下载链接】WindFM 项目地址: https://ai.gitcode.com/hf_mirrors/NeoQuasar/WindFM WindFM 是一个基于 MIT 开源协议的风电预测模型项目,旨在为开发者和研究人员提供高效、可靠的时间序列…

2026/8/9 3:00:36 阅读更多 →
收藏!小白程序员必看:企业AI转型痛点与破局之道,轻松掌握大模型应用

收藏!小白程序员必看:企业AI转型痛点与破局之道,轻松掌握大模型应用

文章分析了企业在AI转型中普遍存在的三大问题:不知从何下手、害怕折腾、缺乏牵头人,导致大部分企业尽管70%的业务环节适合AI化,却仅有不到5%真正实施。文章提出,成功转型的企业通常从最小单元开始,由老板亲自监督&…

2026/8/8 22:39:58 阅读更多 →
Codex多分支开发为什么越来越容易冲突?用Git工作流减少重复合并

Codex多分支开发为什么越来越容易冲突?用Git工作流减少重复合并

使用 Codex 参与项目开发后,一个很常见的变化是:代码修改速度明显变快,但 Git 冲突也可能随之增加。尤其是同时让 Codex 处理多个任务时,经常出现:两个分支同时修改同一个文件;一个任务重构代码&#xff0c…

2026/8/9 2:17:18 阅读更多 →

最新新闻

浏览器内ADB调试:Tango如何革新Android开发体验

浏览器内ADB调试:Tango如何革新Android开发体验

浏览器内ADB调试:Tango如何革新Android开发体验 【免费下载链接】ya-webadb ADB in your browser 项目地址: https://gitcode.com/gh_mirrors/ya/ya-webadb 你是否曾为Android开发调试的繁琐环境配置而烦恼?传统ADB客户端需要复杂的本地环境设置&…

2026/8/9 20:09:14 阅读更多 →
如何通过场定向控制技术彻底改造传统平衡车电机性能

如何通过场定向控制技术彻底改造传统平衡车电机性能

如何通过场定向控制技术彻底改造传统平衡车电机性能 【免费下载链接】hoverboard-firmware-hack-FOC With Field Oriented Control (FOC) 项目地址: https://gitcode.com/GitHub_Trending/ho/hoverboard-firmware-hack-FOC 在开源硬件改造领域,hoverboard-fi…

2026/8/9 20:09:14 阅读更多 →
完整健身数据集快速入门指南:1324个多语言健身练习的终极资源库

完整健身数据集快速入门指南:1324个多语言健身练习的终极资源库

完整健身数据集快速入门指南:1324个多语言健身练习的终极资源库 【免费下载链接】exercises-dataset 1,324-exercise fitness dataset — animation GIFs, 180180 thumbnails, muscle-group & equipment data, and step-by-step instructions in 6 languages. T…

2026/8/9 20:09:14 阅读更多 →
Electron+Python构建金融算法工具OpenClaw实战

Electron+Python构建金融算法工具OpenClaw实战

1. 从零到一:金融算法工程师的OpenClaw开发实录春节假期对大多数人意味着团圆和休息,但对技术人来说,这可能是难得的"闭关开发"黄金期。去年春节我就用10天时间,从零构建了一个名为OpenClaw的金融算法分析工具。作为在量…

2026/8/9 20:09:14 阅读更多 →
3步掌握Apache SeaTunnel:解决企业数据孤岛问题的实战指南

3步掌握Apache SeaTunnel:解决企业数据孤岛问题的实战指南

3步掌握Apache SeaTunnel:解决企业数据孤岛问题的实战指南 【免费下载链接】seatunnel SeaTunnel is a multimodal, high-performance, distributed, massive data integration tool. 项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel 还在为不同…

2026/8/9 20:09:14 阅读更多 →
SpringBoot构建智能岗位推荐系统设计与实现

SpringBoot构建智能岗位推荐系统设计与实现

1. 项目背景与核心价值在当前的就业市场中,信息过载和岗位匹配效率低下是求职者和招聘方共同面临的痛点。一个高效的岗位推荐系统能够通过智能算法分析求职者的技能、经验与岗位需求的匹配度,大幅提升招聘效率。这正是我们选择基于SpringBoot构建岗位推荐…

2026/8/9 20:08:13 阅读更多 →

日新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/9 0:01:47 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/9 0:01:47 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/9 0:03:48 阅读更多 →

周新闻

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁

5分钟告别提取码焦虑:baidupankey如何智能破解百度网盘资源锁 【免费下载链接】baidupankey 在线查询网盘提取码(维护中 rm repo) 项目地址: https://gitcode.com/gh_mirrors/ba/baidupankey 你是否曾经在深夜寻找一份重要资料&#x…

2026/8/9 0:01:47 阅读更多 →
如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南

如何快速生成中国车牌图片:Python开源工具完整指南 【免费下载链接】chinese_license_plate_generator 中国车牌生成器 项目地址: https://gitcode.com/gh_mirrors/ch/chinese_license_plate_generator 中国车牌生成器是一个基于Python的开源项目&#xff0c…

2026/8/9 0:01:47 阅读更多 →
收藏!小白程序员轻松入门大模型,从Harness工程开始实践

收藏!小白程序员轻松入门大模型,从Harness工程开始实践

文章强调学习大模型不应只关注模型本身,而应重视模型外的系统搭建,即Harness。提出AgentModelHarness的实用公式,详细介绍Harness的四个层次:持久化层、执行层、控制层和观察与验证层。文章还探讨了上下文工程、工具设计、AGENTS.…

2026/8/9 0:03:48 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/9 17:05:02 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/9 0:45:04 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/9 17:05:02 阅读更多 →