【免费下载链接】DeepSeek-V4.1-Flash-Quark-PTPC-FP8项目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8点击查看免费下载本仓库DeepSeek-V4.1-Flash-Quark-PTPC-FP8是 AMD 基于 Quark 量化框架把 DeepSeek-V4.1-Flash 转换为 PTPC-FP8 精度的模型权重库。本文带你逐行拆解官方量化脚本的每个参数掌握从零复现 PTPC-FP8 量化的完整流程并验证精度、部署上线。 先看仓库什么被量化了什么被保留了README.md 的模型卡片给出核心事实项目说明基座模型deepseek-ai/DeepSeek-V4.1-Flash本仓库是它的量化衍生版量化工具AMD Quark v0.13.0被量化层experts、shared_experts、self_attn、engram.embed未量化层视觉塔vision tower与 aligner保持原始精度目标硬件AMD MI355 / MI350gfx950软件栈ROCm 7.2.0 · PyTorch 2.12.0 · Transformers 5.17.0推理引擎vLLM仓库主体是 48 个 safetensors 权重分片外加 config.json架构 量化配置与 tokenizer 文件。从 config.json 可以看到文本模型共 40 层每层是 384 个路由专家 1 个共享专家的 MoE 结构每 token 选 6 个专家还带两级索引器的稀疏注意力、engram n-gram 嵌入表、超连接Hyper-Connections等模块——理解这些才能看懂后面量化脚本为什么要排除那么多层。仓库里的多模态示例图作为 inference/ 目录的视觉输入样例正好说明了视觉塔不量化的意义——PTPC-FP8 量化模型完整保留了图像理解能力️ 复现准备环境与素材清单复现前先备齐三样东西GPU 与软件1 张 AMD GPUgfx950 系如 MI355/MI350Linux ROCm 7.2.0、PyTorch 2.12.0、Transformers 5.17.0并安装 AMD Quark v0.13.0基座权重deepseek-ai/DeepSeek-V4.1-Flash的完整本地目录。注意它的权重以MXFP4 / MXFP8微缩放格式存储转换前需要先反量化量化脚本Quark 仓库自带的官方示例Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py本仓库只放量化结果脚本在 Quark 仓库中。量化完成后可与本仓库的产物直接对照仓库可通过以下命令获取git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 量化脚本参数逐行拆解官方完整脚本原文见 README.mdMODEL_DIRdeepseek-ai/DeepSeek-V4.1-Flash OUTPUT_DIRamd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 HIP_VISIBLE_DEVICES0 \ QUARK_MXFP4_IMPLtriton \ python3 Quark/examples/torch/language_modeling/llm_ptq/quantize_quark.py \ --model_dir ${MODEL_DIR} \ --output_dir ${OUTPUT_DIR} \ --quant_scheme ptpc_fp8 \ --layer_quant_scheme *.engram.embed ptpc_fp8 \ --quant_flow file2file \ --model_export hf_format \ --keep_excluded_layers_as_original_model_state \ --exclude_layers \ embed \ *head* \ *ffn.gate* \ *attn.compressor* \ *attn.indexer.weights_proj* \ *attn.indexer.wk* \ *hc_* \ *vision* \ *aligner*环境变量用哪张卡、走哪个内核变量作用HIP_VISIBLE_DEVICES0把量化任务绑定到 0 号卡file2file是纯权重转换单卡即可完成QUARK_MXFP4_IMPLtriton基座模型的 MXFP4 权重需要专门的反量化内核这里显式指定使用 Triton 实现核心参数方案、流程与导出格式参数取值逐行说明--model_dir基座模型目录输入端指向 DeepSeek-V4.1-Flash 的本地 MXFP4/MXFP8 权重--output_dir输出目录产物是一个标准 Hugging Face 模型目录--quant_schemeptpc_fp8全局量化方案FP8e4m3。权重用 per-channel 静态缩放ch_axis: 0激活用运行时动态缩放is_dynamic: true对称量化half_even舍入--layer_quant_scheme*.engram.embed ptpc_fp8engram n-gram 嵌入表不是线性层默认方案覆盖不到必须用 layer 级规则点名。它也是全模型少数几个被量化的大表--quant_flowfile2file可复现的关键离线文件到文件转换只做权重变换不需要校准数据、不做前向。同样的输入必然得到同样的输出--model_exporthf_format按 Hugging Face 格式导出vLLM / transformers 可直接加载--keep_excluded_layers_as_original_model_state—被排除的层以原始权重原样保留在产物里而不是丢弃保证模型开箱即用实际生效的量化配置会写进产物的 config.jsonquantization_config权重fp8_e4m3per-channel、PerChannelMinMaxObserver观测器、导出weight_format: real_quantized、pack_method: reorder复现时可逐项对照。排除清单哪些层绝对不能量化--exclude_layers用通配符列出 9 类敏感层。结合 config.json 中展开后的具体层名对应关系如下通配符对应层为什么排除embed输入嵌入表网络第一层精度敏感量化易引入级联误差*head*输出头及 MTP 的confidence_head、markov_head直接决定 next-token 分布*ffn.gate*全部 40 层 3 个 MTP 层的 MoE 路由路由分数被量化会破坏专家选择影响整层 MoE 行为*attn.compressor*第 2/8/14/20 层的 KV 压缩器wkv/wgate稀疏注意力的 KV 压缩通路层小且精度要求高*attn.indexer.weights_proj*,*attn.indexer.wk*8 个层的两级 indexer负责候选 KV 块筛选topk512量化误差会直接选错块*hc_*超连接Hyper-Connectionshc_mult: 4权重连接混合权重规模小、作用关键*vision*、*aligner*32 层视觉编码器全部参数 aligner官方明确保留视觉塔原始精度保住多模态能力设计思路一句话总结只量化占计算量绝对大头的大矩阵专家、注意力、engram 嵌入表小而敏感的路由与多模态通路保持高精度这样才能做到精度无损。 验证复现结果精度对标与部署上线验证分两步查产物、测精度。1. 检查产物输出目录应有 48 个 safetensors 分片 config.json tokenizer 文件与本仓库一致config.json的quantization_config关键项应为quant_method: quark、version: 0.13、pack_method: reorder见 config.json。2. GSM8K8-shot精度对标官方结果里量化模型与基座模型同框架、同主机下 GSM8K 得分均为92.95精度恢复率100%README.md。用 vLLM 部署后跑 lm-eval 即可复核export HIP_VISIBLE_DEVICES0,1,2,3 export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_MOE1 export VLLM_ROCM_USE_AITER_MHA1 export SAFETENSORS_FAST_GPU1 export VLLM_MOE_SKIP_PADDING0 vllm serve amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8 \ --tensor-parallel-size 4 \ --trust-remote-code \ --moe-backend aiter \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --port 8008lm_eval \ --model local-completions \ --tasks gsm8k \ --model_args modelamd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8,base_urlhttp://127.0.0.1:8008/v1/completions,num_concurrent32,max_retries5,timeout1800,tokenized_requestsFalse,tokenizer_backendNone,max_length8192 \ --gen_kwargs max_gen_toks4096 \ --num_fewshot 8 \ --log_samples \ --output_path /tmp/gsm8k-dsv41-ptpc-fp8得分接近 92.95即量化复现成功 ✅ 没有 MI300 级显卡用 inference/ 研读与自检仓库还附带一套可读性优先的参考实现inference/README.md不追求生产性能但非常适合理解模型结构convert.py把 HF 权重按张量并行 rank 切分--expert-dtype fp4等参数帮助理解专家权重布局run.sh 配合 examples/example.txt一条命令跑通双图交错的多模态示例端到端验证转换后的权重model.py直接python model.py即构建小模型跑 prefill 22 步 decode自检 dense-fp8 / MoE-fp4 内核管线encoding/ 目录提供 V4.1 提示词格式参考实现 encoding.py支持多轮对话、工具调用、thinking 模式与 1–100 数值推理预算。✅ 常见疑问速查问题解答能在 NVIDIA GPU 上量化吗该方案面向 ROCm/gfx950 栈QUARK_MXFP4_IMPLtriton与 aiter 后端均依赖 AMD 生态exclude_layers 能随便改吗路由层、indexer 都是小而敏感的层改动后必须重新做精度验证GSM8K 是官方基线为什么用 file2file 而不是校准式 PTQ纯权重转换无需校准集结果确定、可复现校准式方案结果会受数据集选择影响许可证与基座模型相同MIT License见 LICENSE 关键文件索引路径用途README.md官方量化脚本、vLLM 部署与精度复现命令config.json模型架构与量化配置exclude 清单、观测器、导出格式inference/README.md参考推理实现权重转换、示例运行、自检encoding/README.mdV4.1 提示词格式参考含与 V4 的 3 处差异evaluation/README.mdDeepSWE agentic 评测流程dsh-minimal / mini-swe-agentassets/dsv41_agentic_performance.png、assets/dsv41_kv_cache.pngagentic 性能与 KV cache 设计示意图需 git-lfs 检出后查看小结复现 DeepSeek-V4.1-Flash-Quark-PTPC-FP8 的核心就三步——装好 Quark v0.13.0 ROCm 环境、跑通file2file量化脚本重点理解--quant_scheme ptpc_fp8与排除清单的取舍、用 GSM8K 92.95 对标验证。掌握大矩阵量化、敏感层豁免这一思路后你也能把它迁移到自己的 MoE 模型上。赞分享【免费下载链接】DeepSeek-V4.1-Flash-Quark-PTPC-FP8项目地址https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-V4.1-Flash-Quark-PTPC-FP8点击查看免费下载相关推荐一个脚本跑通DeepSeek-V4.1-Flash-Quark-PTPC-FP8inference最小推理实现新手入门教程一个脚本跑通DeepSeek V4.1 Flash Quark PTPC FP8inference最小推理实现新手入门教程 DeepSeek V4.1 FlaDeepSeek-V4.1-Flash-Quark-PTPC-FP8完全指南AMD官方PTPC-FP8量化实现GSM8K零损失MI350免费部署1M上下文多模态MoEDeepSeek V4.1 Flash Quark PTPC FP8完全指南AMD官方PTPC FP8量化实现GSM8K零损失MI350免费部署1M上下文多DeepSeek-V4.1-Flash-Quark-MXFP4 TileLang内核逐行解析FP4/FP8量化与GEMM的3种实现细节DeepSeek V4.1 Flash Quark MXFP4 TileLang内核逐行解析FP4/FP8量化与GEMM的3种实现细节 DeepSeek V4大模型模型量化多模态上一篇猫抓浏览器扩展让网页视频一键保存变简单下一篇Claude Code 系统提示词变更日志全解析从 v2.0.14 到 v2.1.292 的 308 个版本演化实录创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考