【免费下载链接】Phi-3.5-mini-instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Phi-3.5-mini-instruct_rai_1.8.0_hybrid点击查看免费下载Phi-3.5-mini-instruct_rai_1.8.0_hybrid 是 AMD 面向 Ryzen AI 平台深度优化的本地大模型推理包它用一套 Hybrid混合模式让 NPU 与 iGPU 各司其职短对话交给省电的 NPU超长上下文交给算力更强的 iGPU让 AI PC 以最低功耗跑出最流畅的本地推理体验。下面带你从 0 读懂它的原理与用法。 Hybrid 混合模式是什么NPU 与 iGPU 的分工原理一台 Ryzen AI 笔记本里藏着三颗AI 芯片CPU、iGPU集成显卡和 NPU神经处理单元。单用其中任何一颗都有短板NPU专为 AI 推理设计功耗极低但支持的序列长度有限iGPU算力强劲能处理超长上下文但功耗和发热更高CPU兜底方案速度最慢。Hybrid 混合模式就是让三颗芯片接力干活输入 生成序列 ≤ 4096 token 时 →NPU推理快且省电 序列 4096 token 时 → 自动切换iGPU推理最长支持 131072 token 上下文切换由推理引擎自动完成用户无需任何操作——这也是hybrid一词被写进模型名字末尾的原因。 模型包文件清单每个文件在干什么文件作用model.onnx model.onnx.dataONNX 计算图与外部权重数据供 iGPU / CPU 引擎运行model.pb.binRyzen AI NPU 引擎专用的编译产物外部数据文件genai_config.jsonONNX Runtime GenAI 会话配置声明 RyzenAI 提供者与混合模式参数rai_config.json各驱动版本允许的最大提示词长度config.json模型架构参数 AWQ / UINT4 量化配置tokenizer.json、tokenizer.model分词器词表 32064chat_template.jinja对话模板modeling_phi3.py、configuration_phi3.pyHugging Face 格式的 PyTorch 模型实现sample_finetune.pyLoRA 微调示例脚本⚙️ 关键配置解析hybrid_opt_max_seq_length 参数打开 genai_config.json混合模式的核心参数一目了然RyzenAI: { hybrid_opt_max_seq_length: 4096, external_data_file: model.pb.bin }hybrid_opt_max_seq_length: 4096—— NPU 与 iGPU 的分界线序列不超过 4096 token 时优先走 NPUexternal_data_file: model.pb.bin—— 指向 NPU 引擎的编译权重顶层context_length: 131072—— iGPU 路径下最长上下文可达 128K token。 AWQ UINT4 量化小体积、低精度损失这个模型包使用 AMD Quark 量化工具处理策略为AWQ / Group 128 / 非对称 / BFP16 激活 / UINT4 权重详见 config.json 中的quantization_configAWQActivation-aware Weight Quantization根据激活分布保护重要权重量化损失更小UINT4 权重 Group 128每 128 个权重共享一组缩放因子体积约为 BF16 的 1/432 层 Transformer、3072 隐层维度、3.8B 参数日常对话、摘要、代码辅助足够轻快。 快速上手Ryzen AI PC 上的运行步骤前提条件一台搭载 Ryzen AI 处理器含 NPU的 AI PC并安装 AMD Ryzen AI 软件套件含 ONNX Runtime GenAI / RyzenAI Ollama 组件。第一步获取模型git clone https://gitcode.com/hf_mirrors/amd/Phi-3.5-mini-instruct_rai_1.8.0_hybrid.git第二步加载运行使用 Ryzen AI CLI 指向模型目录即可例如ryzenai run --model ./Phi-3.5-mini-instruct_rai_1.8.0_hybrid启动后观察设备选择日志即可看到短输入走 NPU长输入自动落到 iGPU全程无缝衔接。 提示模型权重通过 Git LFS 存储、体积较大clone 前请确认网络稳定、磁盘空间充足。 驱动版本与提示词上限rai_config.json 详解不同版本的 Ryzen AI 驱动支持的最大提示词长度不同rai_config.json 中记录如下驱动版本最大提示词长度1.3.1 ~ 1.5.120481.6.0 ~ 1.7.14096建议将驱动升级到较新版本以解锁完整的 4096 NPU 窗口。️ 进阶玩法基于 LoRA 的微调示例想用自己的数据训练模型仓库自带示例 sample_finetune.py基于SFTTrainer LoRAr16做指令微调使用 DeepSpeed ZeRO-3 offload 降低显存占用支持 V100 及以上 GPU依赖安装与accelerate配置详见文件头部注释。❓ 常见问题 FAQQ1NPU 和 GPU 需要手动切换吗不需要。ONNX Runtime GenAI 根据hybrid_opt_max_seq_length自动路由用户全程无感知。Q2为什么同时存在 model.onnx 和 model.pb.bin前者是面向 GPU / CPU 的 ONNX 计算图后者是 NPU 引擎的编译产物——两套引擎各取所需这正是 Hybrid 模式的双轨设计。Q3INT4 量化会影响回答质量吗有轻微损失但 AWQ 策略已尽量保护关键权重日常问答、写作、摘要等场景体验接近原版。Q4没有 NPU 的电脑能跑吗可以ONNX 部分会在 iGPU / CPU 上运行只是失去 NPU 的能效优势。✅ 总结Phi-3.5-mini-instruct_rai_1.8.0_hybrid 的核心价值在于一套模型、两种引擎4096 token 以内 NPU 又快又省电超长上下文由 iGPU 稳稳接住再叠加 AWQ / UINT4 量化把 3.8B 模型轻松装进本地内存。对于想在 AI PC 上运行私有本地大模型的新手来说这是 AMD 生态中开箱即用的代表作。赞分享【免费下载链接】Phi-3.5-mini-instruct_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Phi-3.5-mini-instruct_rai_1.8.0_hybrid点击查看免费下载相关推荐Agent Governance Toolkit 教程 32基于 X3DH 与 Double Ratchet 的端到端加密 Agent 消息通道Agent Governance Toolkit 教程 32基于 X3DH 与 Double Ratchet 的端到端加密 Agent 消息通道 对应包 axberg 的 Go 绑定中列出已注册 Validator 插件ListValidators 的用法与底层实现xberg 的 Go 绑定中列出已注册 Validator 插件ListValidators 的用法与底层实现 本篇技术指南以 xberg 仓库中自动生成的pandas 网页版体验基于 JupyterLite 与 Pyodide 的浏览器内交互式 REPL 完整指南pandas 网页版体验基于 JupyterLite 与 Pyodide 的浏览器内交互式 REPL 完整指南 pandas 官方仓库在 web/pandas创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考