【免费下载链接】vllm-metalCommunity maintained hardware plugin for vLLM on Apple Silicon项目地址https://gitcode.com/gh_mirrors/vl/vllm-metal点击查看免费下载vllm-metal 是 vLLM 面向 Apple Silicon 的社区硬件插件让 Whisper 与 Qwen3-ASR 语音转文字STT模型直接在 Mac 的 GPU 上本地运行。无需显卡、不上传音频一条命令即可搭建 OpenAI 兼容的本地转写服务本文带你从零到跑通 一、为什么在 Mac 上本地跑语音转文字传统方案要么依赖云端 API隐私风险 按量付费要么自己搭 CUDA 环境。vllm-metal 基于 MLX 计算后端把 vLLM 完整跑在 Apple Silicon 上隐私优先会议录音、访谈音频全程不出本机OpenAI 兼容 API直接对接现有应用的转写接口无缝切换模型全规格从 39M 的 Whisper Tiny 到 1.5B 的 Whisper Large V3 均可运行二、环境要求与安装步骤硬件要求Apple SiliconM1 及以上 macOS 15 (Sequoia) 或更高版本。第 1 步克隆仓库并安装git clone https://gitcode.com/gh_mirrors/vl/vllm-metal cd vllm-metal ./install.sh source ~/.venv-vllm-metal/bin/activate安装脚本会自动配置 Python 环境与预编译组件无需编译器。稳定版本可改用 Homebrew 安装详见 docs/installation.md 与 install.sh。第 2 步安装 STT 可选依赖pip install vllm-metal[stt]第 3 步安装 ffmpeg可选仅当你要转写 mp3、m4a、flac 等非 WAV 格式时需要WAV 文件可直接处理brew install ffmpeg三、30 秒跑通第一条转写以最常见的 Whisper Small 为例# 启动转写服务 vllm serve openai/whisper-small --port 8000 # 提交音频文件 curl -X POST http://localhost:8000/v1/audio/transcriptions \ -F filerecording.wav几秒后就能拿到形如{text: Hello, world.}的返回结果。Qwen3-ASR 同理把模型名换成Qwen/Qwen3-ASR-0.6B即可。四、Whisper vs Qwen3-ASR怎么选维度WhisperQwen3-ASR规格Tiny(39M) ~ Large V3(1.5B) 全规格可选0.6B语言处理可手动指定language参数自动检测语言音频翻译支持/v1/audio/translations仅转写不支持翻译提示词引导支持prompt引导专有名词language/prompt参数会被忽略选型建议追求成熟生态、多语言手动控制选 Whisper中文场景推荐 small 以上规格想要轻量、自动识别语言选 Qwen3-ASR-0.6B。完整模型清单见 docs/stt.md。五、API 参数速查表转写接口为POST /v1/audio/transcriptions常用参数参数默认值说明file必填音频文件wav、mp3、m4a 等language自动ISO 639-1 语言代码如en、zhprompt无引导转写适合提示专有名词response_formatjsonjson/text/verbose_jsontemperature0.00为贪心解码结果最稳定verbose_json格式还会返回language和duration字段方便后续做字幕对齐。六、源码结构与常见问题STT 运行时核心vllm_metal/stt/其中 Whisper 与 Qwen3-ASR 的解码逻辑分别位于 vllm_metal/stt/whisper/ 和 vllm_metal/stt/qwen3_asr/请求边界适配vllm_metal/stt/serve.py负责把 vLLM 请求归一化为音频特征冒烟测试脚本tools/stt_sampling_serve_smoke.py可一键验证转写服务是否正常常见问题排查⚠️ 端口被占用 → 换--port参数脚本会自动探测可用端口⚠️ 非 WAV 格式报错 → 安装 ffmpeg见第三节第 3 步⚠️ 服务启动慢 → 首次运行会拉取模型权重并缓存属正常现象从克隆仓库到拿到第一条转写文本整个过程通常不超过 10 分钟。现在你的 Mac 已经是一个私有的语音转文字工作站了 赞分享【免费下载链接】vllm-metalCommunity maintained hardware plugin for vLLM on Apple Silicon项目地址https://gitcode.com/gh_mirrors/vl/vllm-metal点击查看免费下载相关推荐终极免费语音转文字Whisper本地部署完整指南终极免费语音转文字Whisper本地部署完整指南 还在为会议记录和课程笔记头疼吗想要快速将音频内容转换为可编辑文字OpenAI Whisper语音识别技术语音/音频深度学习vLLM 语音转文本ASR模型接入指南完整实现 SupportsTranscription 接口vLLM 语音转文本ASR模型接入指南完整实现 SupportsTranscription 接口 本文讲解如何在 vLLM 中为自研的语音识别ASR/人工智能大模型模型推理服务推理引擎本地部署Ever Gauzy 本地语音转文字接入 whisper.cpp whisper-server 的完整指南Ever Gauzy 本地语音转文字接入 whisper.cpp whisper server 的完整指南 导读 本文围绕 Ever Gauzy 开源仓库中的后端前端企业应用MCP 服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考