【免费下载链接】Phi-4-mini-instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Phi-4-mini-instruct_rai_1.8.0_hybrid点击查看免费下载Phi-4-mini-instruct_rai_1.8.0_hybrid是 AMD 官方发布的本地大语言模型基于微软 Phi-4-mini-instruct 蒸馏改造通过 AMD Quark 量化工具压缩后导出为 ONNX 格式专为搭载Ryzen AI锐龙 AI的 AI PC 设计。它的核心亮点是混合推理由 NPU 与 CPU 协同调度让小参数大模型在笔记本上离线流畅运行。本文将带你 10 分钟读懂这个模型的来龙去脉。 一句话认识这个模型可以把它理解为微软 Phi-4-mini 的 AMD 官方移植版项目说明源模型微软 Phi-4-mini-instruct3.8B 参数级指令模型改造方AMD修改版权 2025量化方案AWQ / Group 128 / 非对称 / UINT4 权重 BFP16 激活推理框架ONNX Runtime GenAI目标硬件AMD Ryzen AI 系列处理器XDNA NPU授权协议MIT详见 LICENSE模型文件本体通过 Git LFS 管理model.onnx.data外部数据约4.1 GB对笔记本内存来说相当友好。 为什么叫 hybrid混合推理原理hybrid混合是本项目最核心的概念指的是NPU CPU 分工推理NPU 负责短序列在 genai_config.json 中可以看到hybrid_opt_max_seq_length: 4096和hybrid_opt_npu_pdi_name: DPU_9即序列长度不超过 4096 时计算交给功耗更低的 NPUDPU_9 内核CPU 接管长序列当上下文超过 NPU 支持窗口时自动切换到 CPU 路径继续推理模型总上下文窗口可达131072 token见 config.json 的max_position_embeddings按版本适配提示词长度rai_config.json 按 Ryzen AI 软件版本规定了max_prompt_length——1.3.1~1.5.1 版本为 20481.6.0 及以上版本提升到 4096。 简单说短对话走 NPU 省电快长文档走 CPU 不越界这正是hybrid的工程含义。 量化策略体积缩水的秘密模型的量化配置完整写在 config.json 的quantization_config中配置项取值通俗理解量化方法quarkAWQ 路线按激活重要性量化掉点少权重精度uint4每 128 个权重一组Group 128对称性非对称symmetric: false校准范围更贴合实际分布激活精度BFP16NPU 原生支持计算稳定舍入方式half_even业界标准的半偶舍入这套配置由AMD Quark量化工具链生成并经过后处理是 Ryzen AI 1.8.0 模型包的标准工艺。️ 模型架构速览架构为Phi3ForCausalLM模型内部沿用 Phi-3 结构关键参数可在 config.json 中一一对照隐藏层维度3072共32 层Transformer注意力头24 个 Q 头 8 个 KV 头GQA 分组注意力省显存词表大小200064并额外扩展了工具调用特殊 token长上下文采用 LongRoPE 位置插值原生 4096 上下文外推至 131072对话模板见 chat_template.jinja它原生支持system / user / assistant三种角色还预置了|tool|、|tool_call|、|tool_response|等工具调用 token定义于 added_tokens.json意味着该模型可被接入函数调用类应用。 仓库文件结构解析文件作用model.onnx / model.onnx.dataONNX 计算图 约 4.1 GB 权重外部数据model.pb.binRyzen AI NPU 专用分区数据external_data_file引用genai_config.jsonONNX Runtime GenAI 的推理配置含 hybrid 参数rai_config.json各 Ryzen AI 版本的max_prompt_length上限config.jsonHugging Face 风格模型结构 量化配置configuration_phi3.py / modeling_phi3.py自定义配置类与建模代码auto_map加载用tokenizer.json / vocab.json / merges.txt分词器三件套chat_template.jinja对话格式化模板支持工具调用sample_finetune.py基于 SFTTrainer LoRA 的微调示例脚本README.md / NOTICE.md / LICENSE说明文档、第三方声明含 flash-attention BSD 条款、MIT 协议 如何快速跑起来官方推荐路径是通过Ryzen AI SDK即 Ryzen AI 官方文档中的 Hybrid OGA 方案加载本模型核心步骤是在搭载 Ryzen AI 的 Windows 设备上安装 Ryzen AI 软件栈建议 1.6.0 以上提示词上限 4096把整个模型仓库目录放入本地路径模型较大建议放在数据盘使用 ONNX Runtime GenAI 的genai_config.json创建会话genai_config.json中已配好 NPU provider 参数开箱即用默认采样参数top_k50、temperature1.0、do_sampletrue见 genai_config.json。⚠️ 该模型面向AMD 硬件离线推理优化不建议直接用 PyTorch 全量加载 ONNX 权重在 GPU 上做训练或微调请参考下方进阶方案。️ 进阶微调示例脚本仓库自带 sample_finetune.py演示了如何用SFTTrainerLoRA DeepSpeed ZeRO-3 offload 对 Phi-4-mini-instruct 做监督微调脚本头部注释给出了完整环境安装命令peft0.14.0、transformers4.48.1、trl等官方建议运行在V100 或更新的数据中心 GPU 上若显存紧张可降低 batch size、减小 LoRA 维度或限制 LoRA 目标模块。注意微调针对的是原始 instruct 权重微调产出的检查点不能直接替代本仓库的 ONNX 混合推理文件。❓ 新手常见问题 FAQQ1它能离线使用吗可以。ONNX 推理完全本地运行数据不出设备适合隐私敏感的文档问答场景。Q2普通 CPU 笔记本能跑吗推理主体由 NPU/CPU 承担AMD Ryzen AI 系列如 7040/8040/8050 等搭载 XDNA NPU 的机型体验最佳无 NPU 的机型性能会明显下降。Q3支持多长上下文架构上限 131072 token但 NPU 混合优化窗口为 4096超长上下文会回落到 CPU 路径速度相应降低。Q4可以商用吗主文件采用 MIT 协议LICENSE但仓库涉及第三方组件NOTICE.md 列出了 flash-attention 的 BSD 3-Clause 声明商用前请阅读 AMD 的第三方许可声明。✅ 总结Phi-4-mini-instruct_rai_1.8.0_hybrid的价值在于它把微软的模型能力 AMD 的量化工艺 NPU/CPU 混合调度打包成了一个开箱即用的本地大模型让 AI PC 用户无需联网、无需部署复杂框架就能在笔记本上获得流畅的指令对话与工具调用能力。如果你是 AI PC 开发者或本地化部署爱好者这个仓库值得收藏研究。赞分享【免费下载链接】Phi-4-mini-instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Phi-4-mini-instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐AMD Phi-4-mini-instruct_rai_1.8.0_npu_16K 完整指南Ryzen AI NPU 本地大模型是什么为什么值得关注AMD Phi 4 mini instruct_rai_1.8.0_npu_16K 完整指南Ryzen AI NPU 本地大模型是什么为什么值得关注 AMMistral-7B-Instruct-v0.2_rai_1.8.0_hybrid完全概览一文看懂AMD Ryzen AI本地大模型入门指南Mistral 7B Instruct v0.2_rai_1.8.0_hybrid完全概览一文看懂AMD Ryzen AI本地大模型入门指南 MistralAgent Governance Toolkit 教程 32基于 X3DH 与 Double Ratchet 的端到端加密 Agent 消息通道Agent Governance Toolkit 教程 32基于 X3DH 与 Double Ratchet 的端到端加密 Agent 消息通道 对应包 a创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考