faster-whisper 教程:在 GPU 与 CPU 上搭建高速 Whisper 语音转写
faster-whisper 教程在 GPU 与 CPU 上搭建高速 Whisper 语音转写【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisperfaster-whisper 是一个开源 Python 库它用 CTranslate2 推理引擎重新实现了 OpenAI 的 Whisper 语音识别模型。相比原始 whisper它在相同准确率下速度最高可达 4 倍占用内存更低再叠加 8 位量化显存和内存还能进一步压缩。库自带语言自动检测、VAD 静音过滤和词级时间戳适合做字幕生成、会议记录、音视频内容归档等场景。三步快速上手第一步安装pip install faster-whisper要求 Python 3.9 或更高版本。音频解码由 PyAV 库完成系统里不需要额外安装 FFmpeg。第二步加载模型并转写from faster_whisper import WhisperModel model WhisperModel(small, devicecpu, compute_typeint8) segments, info model.transcribe(audio.mp3, beam_size5) print(f语言: {info.language}置信度: {info.language_probability:.2f}) for segment in segments: print(f[{segment.start:.2f}s - {segment.end:.2f}s] {segment.text})按名字加载模型时对应的 CTranslate2 权重会在首次运行时自动从 Hugging Face Hub 下载。注意一个容易踩的坑transcribe返回的segments是生成器只有真正迭代它时转写才会执行。如果想一次性拿全结果用segments list(segments)收集即可。第三步词级时间戳生成逐词对齐的文本做字幕时常用segments, _ model.transcribe(audio.mp3, word_timestampsTrue) for segment in segments: for word in segment.words: print(f{word.start:.2f}s - {word.end:.2f}s: {word.word})环境要求与 GPU 配置CPU 环境装上 Python 包即可运行GPU 环境需要 NVIDIA 显卡并安装 CUDA 12 对应的 cuBLAS 和 cuDNN 9。获取 NVIDIA 运行库的几种方式使用官方 NVIDIA CUDA Docker 镜像如nvidia/cuda:12.3.2-cudnn9-runtime-ubuntu22.04cuBLAS 与 cuDNN 已内置仓库的 docker/ 目录提供了配套的 Dockerfile 和最小推理示例Linux 下可直接pip install nvidia-cublas-cu12 nvidia-cudnn-cu129.*并在启动 Python 前把两者所在目录加入LD_LIBRARY_PATH按 NVIDIA 官方文档手动安装对应版本。版本匹配是 GPU 部署中最常见的失败点新版ctranslate2只支持 CUDA 12 cuDNN 9。如果你的环境是 CUDA 11 / cuDNN 8需要把ctranslate2降到 3.24.0若是 CUDA 12 cuDNN 8则用 4.4.0pip install --force-reinstall ctranslate23.24.0模型与计算类型选择按“速度需求 vs 精度需求”选模型tiny / small低延迟、高并发或硬件条件有限时使用medium通用场景large-v3对识别精度要求最高时使用distil-large-v3蒸馏模型英文任务上速度更快建议同时传languageen并设置condition_on_previous_textFalse。compute_type决定精度与资源占用三种常用组合# GPU FP16速度优先 WhisperModel(large-v3, devicecuda, compute_typefloat16) # GPU INT8显存减半左右 WhisperModel(large-v3, devicecuda, compute_typeint8_float16) # CPU INT8 WhisperModel(small, devicecpu, compute_typeint8)音频较长时可用批量推理管线BatchedInferencePipeline.transcribe与WhisperModel.transcribe的参数用法一致且默认开启 VAD 过滤from faster_whisper import WhisperModel, BatchedInferencePipeline model WhisperModel(turbo, devicecuda, compute_typefloat16) pipeline BatchedInferencePipeline(modelmodel) segments, info pipeline.transcribe(audio.mp3, batch_size16)性能参考官方基准测的是 13 分钟音频的转写耗时与内存GPUlarge-v2RTX 3070 TiCUDA 12.4方案耗时显存openai/whisperfp162m23s4708MBfaster-whisperfp161m03s4525MBfaster-whisperint859s2926MBfaster-whisperint8batch_size816s4500MBCPUsmalli7-12700K8 线程方案耗时内存faster-whisperfp322m37s2257MBfaster-whisperint81m42s1477MBfaster-whisperint8batch_size851s3608MB原始测量脚本在 benchmark/ 目录可用自己的硬件复测。对比不同实现时注意两点本库默认beam_size5而 openai/whisper 默认是 1条件不同速度不可直接比CPU 上建议用OMP_NUM_THREADS固定线程数再测。常见报错与排查加载模型报 CUDA / cuDNN 库缺失优先核对驱动、cuBLAS、cuDNN 三者的版本组合是否满足 ctranslate2 要求必要时按上文降级ctranslate2。GPU 显存不足OOM改用int8_float16量化、换更小的模型或调低batch_size。transcribe 调用后长时间无输出生成器尚未被迭代转写没有启动用list(segments)或 for 循环触发执行。结果里混入静音或幻觉文本VAD 默认开启默认只过滤超过 2 秒的静音可通过vad_parameters调整灵敏度segments, _ model.transcribe( audio.mp3, vad_parametersdict(min_silence_duration_ms500), )准确率不理想升级更大的模型已知语种时显式传language跳过自动检测distil 模型记得关闭condition_on_previous_text。CPU 上转写偏慢确认compute_type为int8并把OMP_NUM_THREADS设为物理核心数。下一步可以做什么转写自己微调过的模型安装transformers[torch]4.23后用ct2-transformers-converter命令把 OpenAI 格式含微调权重的模型转成 CTranslate2 格式再直接把本地目录传给WhisperModel加载。容器化部署以 docker/ 里的 Dockerfile 为基础镜像把infer.py换成你的业务逻辑即可得到可发布的转写服务。调整更多参数transcribe的完整参数temperature、initial_prompt、hotwords、VAD 选项等见 faster_whisper/transcribe.pyVAD 各阈值默认值见 faster_whisper/vad.py。实时流式转写本库本身是离线批处理若需要接近实时的效果可关注基于 faster-whisper 构建的流式方案如 Whisper-Streaming、WhisperLive 等开源项目。【免费下载链接】faster-whisperFaster Whisper transcription with CTranslate2项目地址: https://gitcode.com/GitHub_Trending/fa/faster-whisper创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

《瞳人语》:蒲松龄如何用眼翳写透凝视与自省

《瞳人语》:蒲松龄如何用眼翳写透凝视与自省

这次我们看一个已经“上线”三百多年的老项目:蒲松龄《聊斋志异》里的短篇《瞳人语》。按很多人的第一印象,这应该又是一个书生遇狐遇鬼的恐怖故事,但真把原文读完就会明白,蒲松龄这一篇的重心根本不在鬼怪,而是在一个…

2026/11/16 20:40:10 阅读更多 →
OpenCode 俄语版 README 全解:安装渠道、安装目录优先级与内置 Agent 体系

OpenCode 俄语版 README 全解:安装渠道、安装目录优先级与内置 Agent 体系

OpenCode 俄语版 README 全解:安装渠道、安装目录优先级与内置 Agent 体系 【免费下载链接】opencode The open source coding agent. 项目地址: https://gitcode.com/GitHub_Trending/openc/opencode 本文以 俄语版 README 为骨架,系统梳理 Open…

2026/10/29 22:09:53 阅读更多 →
神经网络学习笔记指南:用 nn-zero-to-hero 亲手实现反向传播与语言模型

神经网络学习笔记指南:用 nn-zero-to-hero 亲手实现反向传播与语言模型

神经网络学习笔记指南:用 nn-zero-to-hero 亲手实现反向传播与语言模型 【免费下载链接】nn-zero-to-hero Neural Networks: Zero to Hero 项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero nn-zero-to-hero 是 "Neural Networks: Ze…

2026/10/24 22:26:41 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻