如何从零跑通 OpenTalking 全本地私有化数字人SenseVoice CosyVoice QuickTalk 完整链路指南【免费下载链接】opentalkingOpenTalking: An industrial-grade open-source AI digital human framework that supports real-time conversation, private deployment, and pluggable models.项目地址: https://gitcode.com/gh_mirrors/op/opentalkingOpenTalking 是一个工业级开源 AI 数字人框架支持实时对话、私有化部署与可插拔模型。本篇实战带你在一台带 NVIDIA GPU 的机器上用SenseVoice 本地语音识别 CosyVoice 本地语音合成 QuickTalk 本地数字人驱动搭建一条几乎完全私有的数字人链路麦克风说话 → 本地识别成文字 → 大模型思考 → 本地合成语音 → 数字人开口说话全程语音数据不出内网 ️。一、先看懂这条全本地链路在开始配置前先了解 OpenTalking 的整体架构浏览器通过 WebRTC 接入编排层负责会话、打断、音色与模型调度模型推理可以拆成独立服务。全本地链路的信号流非常直观麦克风 → SenseVoiceSmall本地 CPU→ 文本 → LLM可指向本地或任意 OpenAI 兼容服务 → Fun-CosyVoice3本地 GPU sidecar→ QuickTalk local本地 GPU→ WebRTC 浏览器播放对应到源码模块分别是STT 工厂与 SenseVoice 接入opentalking/providers/stt/factory.py本地 CosyVoice 适配器opentalking/providers/tts/local_cosyvoice/adapter.pyQuickTalk 本地运行时opentalking/models/quicktalk/runtime.py 注意LLM 在这条链路中仍是独立模块可以指向你自建的 vLLM/Ollama 等本地 OpenAI 兼容服务也可以先用 API 服务验证链路后续再私有化。二、硬件与模型清单三个本地模型对资源的需求各不相同建议一张 12GB 以上显存的显卡如 RTX 3090/4090模型运行设备作用SenseVoiceSmallCPU麦克风语音转文字短句实时识别Fun-CosyVoice3-0.5BGPUcuda:0文本转语音支持内置音色与复刻音色QuickTalkGPUcuda:0音频驱动数字人口型与表情显存只有 8GB 时优先保留「SenseVoiceSmall CPU QuickTalk local」把 TTS 换成 Edge 或云 API 过渡。三、第一步安装依赖并下载模型先克隆 OpenTalking 仓库克隆地址https://gitcode.com/gh_mirrors/op/opentalking然后一次性安装带本地音频与 QuickTalk CUDA 依赖的环境uv sync --extra dev --extra models --extra local-audio --extra quicktalk-cuda --python 3.11接着用仓库内置脚本下载 STT 和 TTS 权重scripts/download_local_audio_models.pypython scripts/download_local_audio_models.py \ --root ./avatar_models/local-audio \ --model sensevoice-small \ --model fun-cosyvoice3-0.5b-2512QuickTalk 权重统一放在部署根目录的models/quicktalk/下使用hf download datascale-ai/quicktalk命令下载到checkpoints目录即可该模型包已包含 QuickTalk、HuBERT 与 InsightFace 人脸模型网络慢时先设置HF_ENDPOINT镜像。四、第二步部署 CosyVoice 本地 TTS sidecarCosyVoice 是整条链路中最需要隔离的模块它必须使用独立虚拟环境避免与 OpenTalking 主环境依赖冲突。推荐结构如下在部署根目录创建model-repos/CosyVoice放入 CosyVoice 官方运行时代码含 Matcha-TTS 子模块作为OPENTALKING_TTS_LOCAL_COSYVOICE_RUNTIME_DIR。用仓库提供的脚本 scripts/prepare_cosyvoice_venv.sh 创建 sidecar 虚拟环境OPENTALKING_COSYVOICE_VENV_DIR.venv-cosyvoice \ bash scripts/prepare_cosyvoice_venv.sh启动本地 TTS 服务默认监听 19090 端口bash scripts/quickstart/start_local_cosyvoice.sh --port 19090该脚本scripts/quickstart/start_local_cosyvoice.sh会自动解析 sidecar venv、写入 PID、轮询/health直到服务就绪并输出日志路径。CUDA 上默认启用 FP16想要 TensorRT 加速可在 sidecar venv 中安装 TRT 依赖后设置OPENTALKING_TTS_LOCAL_COSYVOICE_LOAD_TRT1首次启动会为当前 GPU 构建引擎。启动后验证curl -fsS http://127.0.0.1:19090/health | python3 -m json.tool健康信息中出现fp16true即代表侧车服务按预期工作。五、第三步配置环境变量把部署根目录$DIGITAL_HUMAN_HOME下的models、model-repos路径准备好后按 scripts/quickstart/env.example 的模板配置.env。核心配置只关心这几组# 语音识别本地 SenseVoiceCPU OPENTALKING_STT_DEFAULT_PROVIDERsensevoice OPENTALKING_STT_SENSEVOICE_MODEL_DIR./avatar_models/local-audio/iic__SenseVoiceSmall OPENTALKING_STT_SENSEVOICE_DEVICEcpu # 语音合成本地 CosyVoice3 sidecar OPENTALKING_TTS_DEFAULT_PROVIDERlocal_cosyvoice OPENTALKING_TTS_LOCAL_COSYVOICE_MODEL_DIR$DIGITAL_HUMAN_HOME/models/local-audio/FunAudioLLM__Fun-CosyVoice3-0.5B-2512 OPENTALKING_TTS_LOCAL_COSYVOICE_SERVICE_URLhttp://127.0.0.1:19090/synthesize OPENTALKING_TTS_LOCAL_COSYVOICE_DEVICEcuda:0 # 数字人驱动QuickTalk local OPENTALKING_QUICKTALK_BACKENDlocal OPENTALKING_QUICKTALK_ASSET_ROOT$DIGITAL_HUMAN_HOME/models/quicktalk OPENTALKING_QUICKTALK_WORKER_CACHE1 OPENTALKING_TORCH_DEVICEcuda:0⚠️ 两个易踩的坑*_DEFAULT_PROVIDER只决定默认选择不是 fallback。前端切到云 STT/TTS 时必须配好对应 key。本地 SenseVoice 不读取任何云 API key本地 CosyVoice 也不读 LLM key链路各模块互不串 key。六、第四步启动 OpenTalking QuickTalk 数字人TTS sidecar 就绪后用统一启动脚本拉起 API、WebUI 与本地 QuickTalk 进程bash scripts/start_unified.sh --backend local --model quicktalk --api-port 8210 --web-port 5280启动脚本 scripts/start_unified.sh 支持--backend local表示模型推理跑在本机进程内--model quicktalk指定本次用 QuickTalk 作为数字人驱动模型。打开 WebUIOpenTalking Studio左侧选择数字人形象和驱动模型中间是形象库与预览右侧是会话面板形象库内置了主播、古装美女、动漫帅哥、歌手、职场女等通用 avatar仓库 examples/avatars/ 目录下每个形象都附带manifest.json和参考图也可以从本地上传自定义形象。七、第五步验证完整链路先用接口确认三个组件状态curl -fsS http://127.0.0.1:19090/health curl -fsS http://127.0.0.1:8210/api/runtime/status curl -s http://127.0.0.1:8210/models | jq .statuses[] | select(.idquicktalk)期望结果stt_providersensevoice、tts_providerlocal_cosyvoice、quicktalk_backendlocal且connectedtrue。如果首轮对话等待较久说明在冷启动加载权重建议开启OPENTALKING_QUICKTALK_WORKER_CACHE1或提前用opentalking-prepare-cache为常用 avatar 预热缓存。在 WebUI 中分别测试三种输入方式文本输入右侧输入框发一句话观察数字人开口与字幕麦克风输入开启语音模式SenseVoice 在本地实时转写后驱动对话TTS 预览在音色设置页试听 CosyVoice 合成效果。当你能对着麦克风说话、看到转写文字、听到 CosyVoice 的声音、并看到数字人同步口型时恭喜——这条全本地私有化数字人链路已经跑通 八、常见问题速查现象排查方向quicktalk connectedfalse检查OPENTALKING_QUICKTALK_ASSET_ROOT、CUDA 设备与models/quicktalk/checkpoints是否完整CosyVoice 报 transformers 版本冲突必须用独立 sidecar venv不要装进主.venv识别延迟高先做 CPU 短句验证长音频或高并发建议拆独立 STT 服务首轮等待很久开启OPENTALKING_QUICKTALK_WORKER_CACHE1或预跑 prepare-cacheOpenTalking 调不到 TTS核对OPENTALKING_TTS_LOCAL_COSYVOICE_SERVICE_URL与 sidecar 端口九、参考资料全本地链路总览docs/zh/model-support/local-audio-quicktalk.mdSenseVoice 部署docs/zh/speech_models/stt/sensevoice.mdCosyVoice 部署与基准数据docs/zh/speech_models/tts/cosyvoice.mdQuickTalk Local 部署docs/zh/avatar_models/deployment/quicktalk-local.md环境变量模板scripts/quickstart/env.exampleWebUI 源码apps/web/全部语音数据留在自己机器上、可插拔更换任意模型——这正是 OpenTalking 私有化部署的核心价值。把这条链路跑通后你只需要按 docs/zh/ 中的部署文档替换 LLM 为本地推理服务即可得到一条完全离线的实时数字人系统。【免费下载链接】opentalkingOpenTalking: An industrial-grade open-source AI digital human framework that supports real-time conversation, private deployment, and pluggable models.项目地址: https://gitcode.com/gh_mirrors/op/opentalking创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考