人工智能语音音频【免费下载链接】react-native-executorch-fsmn-vad项目地址https://ai.gitcode.com/hf_mirrors/software-mansion/react-native-executorch-fsmn-vad点击查看免费下载react-native-executorch-fsmn-vad 仓库为 React Native ExecuTorch 提供了可直接运行的fsmn-vad 语音活动检测VAD端侧模型XNNPACK 后端 fp32 构建仅约1.83 MB在 iPhone 16 上单次推理中位数耗时约1.5 ms。本文带你实测这个小身材大能量的.pte模型文件并复盘 Core ML、MLX 后端被拒收的原因以及为什么不量化的取舍逻辑。 仓库里有什么仓库结构极简四个核心文件各司其职文件大小作用config.json30 B仓库级元信息模型名fsmn-vadxnnpack/fsmn_vad_xnnpack_fp32.pte~1.7 MB唯一发布的模型构建XNNPACK / fp32xnnpack/config.json810 B模型 I/O 契约与能力声明coreml/NOTES.md / mlx/NOTES.md1.3 / 1.9 kB未发布后端的拒收报告上游模型来自 FunASR 项目的fsmn-vad属于轻量级全卷积的语音活动检测模型——输入一段音频特征输出每个时间片的人声概率。这类模型天然适合端侧参数量小、推理快正好匹配手机 App 的实时语音唤醒与说话人检测场景。⚡ XNNPACK 后端实测1.83 MB 与 1.5 ms在xnnpack目录下模型以 fp32 精度导出为 ExecuTorch 的.pte格式。根据 mlx/NOTES.md 中记录的对照实验同一台 iPhone 16、同一 ExecuTorch 1.4.1 运行环境、同一输入后端体积实测结果xnnpack fp321.83 MB1.5 ms中位数输出正常mlx fp322.87 MB设备端执行失败1.5 ms 是什么概念一次推理只占 60 FPS 帧预算约 16.7 ms的 9% 左右——对端侧 VAD 而言延迟基本可以忽略不计。模型的输入输出契约在 xnnpack/config.json 中有明确声明输入[1000, 512]的float32张量1000 帧 × 512 维音频特征输出[1, 1000, 248]的float32张量每帧 248 维隐状态这种分块喂入的设计正是 VAD 模型的低延迟关键不需要整段音频滑动窗口推一遍即可实时判断。 为什么 Core ML 和 MLX 没有发布这个仓库最有价值的部分可能是两份拒收报告——它们记录了导出失败的真实原因比任何教程都直白。Core MLCPU_AND_NE执行直接报错根据 coreml/NOTES.md在CPU_AND_NE计算单元下fp16 与 fp32都在执行阶段报0x1错误调整compute_unit无效复测时特意清空了 Core ML 编译缓存~/Library/Caches/executorchcoreml——因为陈旧缓存会悄悄返回旧的编译产物伪装成测试通过这是个很隐蔽的坑CPU_ONLY模式可以跑通但纯 CPU 的 Core ML 构建相对 XNNPACK 版没有任何加速优势发布它毫无意义。MLX导出很干净但设备端跑不起来MLX 的失败更有意思详见 mlx/NOTES.md模型导出顺利只切分成3 个子图对比之下卷积视觉模型会碎成 28~50 片lowering 质量相当健康但最终的.pte在设备端执行时抛出Method forward failed两个算子没有成功降级aten.as_strided_copyMLX 后端无处理器、aten.clamp_处理器注册了但对Slot类型参数调用float()抛出TypeError。即便它跑通了也不该发布——2.87 MB比 XNNPACK 版大 57%性能却毫无收益。 量化取舍为什么这里坚持 fp32新手常见疑问模型既然已经很小了为什么不做 int8 量化进一步瘦身答案是收益不成立。MLX 笔记中一针见血地指出这个模型太小、太偏卷积weight-only 量化只量化权重、计算仍用浮点帮不上忙1.83 MB 对 App 包体来说早已不疼量化省下的几百 KB 感知不明显小卷积模型的量化开销反量化计算、kernel 效率损失可能抵消体积收益VAD 对时延极其敏感fp32 下 1.5 ms 的余量才是核心竞争力。所以仓库只发布了 fp32 一个变体——不是不想量化而是量化无利可图。这是一个很实用的判断标准量化前先问体积还是延迟是瓶颈VAD 这类模型通常都不是。⚠️ 兼容性注意事项根据 README.md这些.pte文件面向ExecuTorch v1.4.1运行环境导出ExecuTorch不提供前向兼容保证旧版运行环境可能加载失败在 React Native 项目中使用需将 react-native-executorch 库模型注册表中的对应模型常量传入相应任务流水线模型通过库自带的下载机制分发无需手动搬移文件。 小结react-native-executorch-fsmn-vad 是一个麻雀虽小的端侧模型仓库✅1.83 MB的 XNNPACK fp32 构建iPhone 16 上1.5 ms中位推理延迟✅ 用两份 NOTES.md 完整记录了 Core ML / MLX 后端的失败原因是排查端侧推理问题的优秀样本✅ 坚持不量化的决策基于体积非瓶颈、延迟才是的实际取舍。如果你在给自己的 React Native App 挑选 VAD 模型这个仓库给出的结论很明确XNNPACK fp32别折腾了。赞分享人工智能语音音频【免费下载链接】react-native-executorch-fsmn-vad项目地址https://ai.gitcode.com/hf_mirrors/software-mansion/react-native-executorch-fsmn-vad点击查看免费下载相关推荐FSMN-VAD 模型原理通俗解析react-native-executorch-fsmn-vad 如何做到端侧语音活动检测FSMN VAD 模型原理通俗解析react native executorch fsmn vad 如何做到端侧语音活动检测 react native exe人工智能语音音频语音助手必装技能react-native-executorch-fsmn-vad 的 4 个实战应用场景语音助手必装技能react native executorch fsmn vad 的 4 个实战应用场景 ️ react native executorc人工智能语音音频从 PyTorch 到 .pte 文件react-native-executorch-fsmn-vad 的 ExecuTorch 导出全流程与 v1.4.1 兼容性指南从 PyTorch 到 .pte 文件react native executorch fsmn vad 的 ExecuTorch 导出全流程与 v1.4.1人工智能语音音频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考