前言模型说明DeepSeek-V4-Flash 官方原生支持 1M104 万 token上下文本文通过参数限制为 128K 降低显存压力。硬件限制RTX 4090 24G 仅支持INT4 量化FP8/FP16 显存不足且 4090 无原生 FP8 硬件加速INT4 是唯一可行方案显卡不足建议部署采用Q4_K_M 量化模型。部署引擎全量GPU部署显存压力过大要求5090以上显卡配置。且vLLM不支持内存卸载推荐使用ktransformers推理引擎部署。内存卸载方案建议内存256G至少128G。性能预期INT4至少2张 4090 起步显卡不足可考虑Q2、Q3模型4 卡部署兼顾性能和成本部署更稳定。一、环境准备基础环境及版本要求如下组件版本说明ktransformers≥ 0.6.2v0.6.2 首次原生支持 DeepSeek-V4-FlashPR #1970kt-kernel MXFP4 MoE sglang hybrid inferencePython3.10 / 3.11CUDA≥ 12.8官方文档要求 12.8含 4090NVIDIA 驱动≥550CUDA 12.8 兼容transformers 4.57.1必须钉版5.x 会让 DeepSeekV4Config 报 TypeError必须手动钉 4.57.1flashinfer≥ 0.6.9flashinfer-python flashinfer-cubin 同版本V4-Flash 的 MXFP4 MoE 模块需要 0.6.9 才有的 mxfp8_quantize 等 APItilelang 0.1.84090 必装——NSA sparse-MLA indexer 在非 Hopper GPU 上走 tilelang 路径sglangkvcache-ai forkktransformers 内置 submodule不是上游 sglang是 KT 专用 fork1. 基础环境配置推荐使用 Ubuntu 22.04 系统搭配 CUDA 12.4NVIDIA 驱动 ≥ 550python ≥ 3.10 ktransformers ≥ 0.6.2# 创建并激活虚拟环境 conda create -n deepseek python3.11 -y conda activate deepseek2. 安装 ktransformers 与依赖# 1. 克隆 ktransformers含全部 submodule git clone https://github.com/kvcache-ai/ktransformers.git cd ktransformers git submodule update --init --recursive # 2. 编译 KT-KernelC/CUDA 扩展10-20 分钟 cd kt-kernel ./install.sh cd .. # 3. 安装 SGLangkvcache-ai 专用 fork不是上游 sglang ./install.sh # 4. 关键依赖三个必须钉版/版本 pip install --upgrade flashinfer-python flashinfer-cubin # ≥0.6.9两个包同版本 pip install transformers4.57.1 # 必须5.x 会报 TypeError pip install tilelang0.1.8 # 4090 必装NSA sparse-MLA 路径 # 5. 验证 python -c import ktransformers; print(ktransformers.__version__) # 期望 ≥0.6.2二、下载 DeepSeek-V4-Flash 模型1.下载路径国内用户优先使用魔搭社区ModelScope下载速度更快优先级地址首选DeepSeek-V4-Flash-GGUF备选DeepSeek-V4-Flash-GGUF官方原版取 configDeepSeek-V4-Flash2.模型选择首选Unsloth 这个仓库推荐下载UD-Q4_K_XL量化方案位宽文件大小你这套机器的评价UD-Q4_K_XL4-bit155 GB✅首选——Unsloth 自家推荐跟标准 Q4_K_M 效果对齐200GB 内存宽宽松松UD-IQ4_NL / UD-IQ4_XS4-bit iMatrix138 GB✅备选——重要性加权 4-bit部分基准反而略好想留更多内存余量时选这个UD-Q3_K_M / UD-Q3_K_XL3-bit129 GB⚠️ 仅在你实际只有 192GB、想跑更长上下文时考虑质量会降UD-IQ3_S3-bit iMatrix117 GB同上但要 3-bit 时比 Q3_K_M 更值UD-Q8_K_XL8-bit162 GB❌ 你这套机器跑没意义——只有 4 卡 24G仍需卸载不如直接用 Q4UD-Q2_K_XL / UD-IQ2_*2-bit91–97 GB❌ V4-Flash 量化损失过大长链推理会瞎UD-IQ1_S / UD-IQ1_M1-bit83–87 GB❌ 极端压损不适合生产三、RTX 4090 部署核心配置1. 启动服务cd /path/to/ktransformers # 4090 专属环境变量 export CUDA_VISIBLE_DEVICES0,1,2,3 export FLASHINFER_CUDA_ARCH_LIST8.9a # SM_89 RTX 4090 export TORCH_CUDA_ARCH_LIST8.9PTX export SGLANG_DSV4_MODE2604 # V4-Flash 必须 export SGLANG_DSV4_2604_SUBMODE2604B # V4-Flash 必须缺失会报 swiglu_limit 断言 # 启动 SGLang KT-Kernel 服务 numactl --interleaveall python -m sglang.launch_server \ --host 0.0.0.0 \ --port 8000 \ --model /data/models/DeepSeek-V4-Flash \ --kt-weight-path /data/models/DeepSeek-V4-Flash \ --kt-method MXFP4 \ --kt-num-gpu-experts 20 \ --kt-cpuinfer 56 \ --kt-threadpool-count 2 \ --kt-gpu-prefill-token-threshold 4096 \ --kt-enable-dynamic-expert-update \ --tensor-parallel-size 4 \ --context-length 32768 \ --attention-backend flashinfer \ --mem-fraction-static 0.85 \ --chunked-prefill-size 2048 \ --max-prefill-tokens 2048 \ --max-running-requests 2 \ --watchdog-timeout 1200 \ --disable-shared-experts-fusion \ --trust-remote-code \ --cuda-graph-bs 1 \ --cuda-graph-max-bs 1 \ --disable-radix-cache \ --skip-server-warmup关键参数说明参数说明4×4090 调优--kt-method MXFP4CPU 专家用 MXFP4 精度计算官方 FP4 原版权重直接用默认--kt-num-gpu-experts 20放在 GPU 上的路由专家数量4 卡 96GB 可放 20–30 个每个约 0.5GB单卡 5090 官方示例是 10--kt-cpuinfer 56CPU 推理线程数≈ 物理核心数留几个给系统--kt-threadpool-count 2CPU 线程池数双路 CPU 可设 2–4--tensor-parallel-size 44 卡张量并行 4090 数量--context-length 32768上下文长度200GB 内存建议 16K–32K 起步有余量再加--mem-fraction-static 0.85静态显存占用比例0.85–0.90--max-running-requests 2最大并发请求数4090 offload 方案建议 1–2SGLANG_DSV4_MODE2604V4-Flash 必须设置缺失会报 swiglu_limit assertion errorFLASHINFER_CUDA_ARCH_LIST8.9a4090 专属告诉 flashinfer JIT 编译 SM_89 kernel5090 是 12.0a首次启动耗时 4–10 分钟权重加载 MXFP4 swizzling CUDA Graph 捕获。2.服务化与验证健康检查:# 模型列表 curl http://192.168.x.x:8000/v1/models # 对话测试官方推荐 temperature1.0, top_p1.0 curl http://192.168.x.x:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-ai/DeepSeek-V4-Flash, messages: [{role: user, content: 你好介绍一下你自己}], temperature: 1.0, top_p: 1.0, max_tokens: 256 }客户端接入:Dify / Chatbox / Cherry Studio / OpenAI SDK 填base_url:http://192.168.x.x:8000/v1api_key: 任意值SGLang 默认不校验可加 nginx 前置鉴权model:deepseek-ai/DeepSeek-V4-Flash四、部署成功后测试1. OpenAI 兼容 API 调用部署成功后服务默认运行在http://localhost:8000/v1兼容 OpenAI 接口格式可直接用 OpenAI SDK 调用from openai import OpenAI # 初始化客户端 client OpenAI( base_urlhttp://localhost:8000/v1, api_keydummy # 本地部署无需真实 API Key填任意值即可 ) # 对话测试 response client.chat.completions.create( modeldeepseek-v4-flash, messages[ {role: system, content: 你是一个 helpful 的助手。}, {role: user, content: 请用 100 字介绍一下 DeepSeek-V4-Flash。} ], temperature0.7, max_tokens1024 ) print(模型回复, response.choices[0].message.content)2. 浏览器 Web 界面测试可使用open\-webui等工具快速搭建 Web 界面对接本地部署的 API实现可视化对话。五、常见问题与解决方案1. 部署时爆显存OOM降低\-\-gpu\-memory\-utilization数值如从 0.85 改为 0.8减少并发请求数量确认使用Q4_K_M 而非普通 INT4增加显卡数量使用多卡并行2. 模型加载失败检查 vLLM 版本是否 ≥ 0.6.6确认模型文件完整下载无损坏确保\-\-trust\-remote\-code参数已添加3. 生成速度很慢4090 无原生 FP8 加速INT4 量化速度会比专业显卡慢但Q4_K_M 精度优于普通 INT4多卡并行可显著提升速度开启\-\-enable\-prefix\-caching优化对话场景速度4. 精度下降明显INT4 量化会轻微损失精度对话、写作场景无明显影响复杂推理任务建议使用更高精度显卡如 A100六、总结RTX 4090 24G 可以部署 DeepSeek-V4-Flash核心是Q4_K_M 量化 限制 128K 上下文。双卡可跑4卡性能更稳速度与并发能力显著提升。部署后的服务兼容 OpenAI API可直接对接各类应用与工具。