【免费下载链接】Llama-3.2-3B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_npu_16K点击查看免费下载本文带你逐行解读 Llama-3.2-3B_rai_1.8.0_npu_16K 项目中的 genai_config.json这是 AMD RyzenAI 混合推理部署的核心配置文件决定了 Llama 3.2 3B 模型如何在 NPU 上完成分块预填充 NPU 解码的加速策略。读完这篇教程你就能看懂每一个参数的含义快速上手调整推理行为。一、genai_config.json 是什么genai_config.json是 ONNX Runtime GenAI 的标准配置文件一个文件同时描述了三件事模型元信息架构类型、词表大小、特殊 Token ID⚙️推理会话选项session_options指定执行后端RyzenAI EP及混合推理开关默认解码策略search温度、Top-K、Top-P 等采样参数。Ryzen AI 运行时读取该文件后即可在 Ryzen AI 硬件NPU上启动混合推理流程无需在代码里重复指定这些参数。仓库文件较多但推理行为真正由这个 JSON 驱动建议配合 README.md 中提到的 Ryzen AI 官方文档一起阅读。二、整体结构两大节整个文件只有两个顶层键见 genai_config.json#L1-L62顶层键作用行号model模型身份信息 ONNX 会话配置L2-L44search默认解码搜索参数L45-L61三、model 节模型的身份证3.1 基础信息参数值说明typellama架构类型决定解码器算子组合vocab_size128256Llama 3.2 词表大小context_length131072上下文长度上限 128K由 RoPE 扩展支持见 config.json#L106-L112 的rope_scalingbos_token_id128000句首 Token\|begin_of_text\|eos_token_id128001句尾 Token\|end_of_text\|pad_token_id128001填充 Token与 eos 相同Token 与 ID 的对应关系可参考 special_tokens_map.json。3.2 decoder解码器架构参数genai_config.json#L5-L39 中的decoder描述了模型内部结构参数值说明filenamemodel.onnx主模型文件外部权重分离存放num_hidden_layers28Transformer 层数hidden_size3072隐藏层维度num_attention_heads24查询注意力头数num_key_value_heads8KV 头数 —— 24/83即GQA分组查询注意力大幅降低 KV cache 占用head_size128每个注意力头的维度3.3 inputs / outputs张量端口映射inputs与outputsgenai_config.json#L24-L35把通用逻辑名映射到 ONNX 图的实际张量名输入input_idsToken 序列、attention_mask、position_idsKV cachepast_key_values.%d.key/value按层号%d命名输出logits下一词预测分数和present.%d.key/value更新后的 KV cache。四、session_optionsRyzenAI 混合推理参数详解 ⭐这是全文最核心的部分genai_config.json#L6-L20。provider_options中配置了RyzenAI执行提供器的 6 个参数参数值作用hybrid_opt_max_seq_length4096混合优化生效的最大序列长度超过此长度走常规路径hybrid_opt_chunk_context1开启chunked prefill分块预填充长 prompt 切成小块逐步处理避免一次性占满内存hybrid_opt_chunk_context_threshold1分块触发阈值1表示只要启用分块就始终按块处理external_data_filemodel.pb.binNPU 所需的外部数据文件与 model.pb.bin 对应量化权重独立存放hybrid_opt_token_backendnpu逐 Token 解码阶段运行在NPU上 —— 混合推理的关键预填充与解码分工到不同硬件fusion_opt_io_bind_kv_cache1开启算子融合优化把 KV cache 的读写绑定到融合算子的输入/输出减少显存搬运此外还有log_id: onnxruntime-genai用于标识推理日志来源方便排查问题。为什么这样组合该模型采用 UINT4/AWQ 量化详见 config.json#L22-L104权重大小有限NPU 完全放得下把解码阶段交给 NPUtoken_backend: npu可获得稳定的逐词延迟同时用分块预填充chunk_context保证长 prompt 不爆内存。配套的 rai_config.json 进一步按 RyzenAI 运行时版本规定了最大 prompt 长度1.3.11.5.0 版本为 20481.6.0 起提升到 4096 —— 正好对应上表中的hybrid_opt_max_seq_length: 4096。五、search 节解码参数清单searchgenai_config.json#L45-L61定义默认采样策略按功能分组5.1 采样开关参数值说明do_sampletrue启用随机采样而非贪心num_beams1束宽为 1即普通采样而非 beam search5.2 采样温度与多样性参数值说明temperature0.6温度低于 1 使输出更集中、更稳定top_k50每步只从概率最高的 50 个 Token 中采样top_p0.9累积概率达到 0.9 的候选集合中采样nucleus samplingrepetition_penalty1.0重复惩罚关闭1.0不惩罚no_repeat_ngram_size0不禁止 n-gram 重复diversity_penalty0.0无多样性惩罚单序列无意义length_penalty1.0长度惩罚中性这组值与 HuggingFace 侧的 generation_config.jsontemperature 0.6 / top_p 0.9保持一致。5.3 长度与缓冲区控制参数值说明min_length0无最短长度约束max_length16384输出上限 16K —— 正是模型名中npu_16K的含义early_stoppingtrue任一分支达到最大长度即停止num_return_sequences1每次生成 1 个序列past_present_share_buffertruepast 与 present KV cache共享内存缓冲省一半 KV 缓存空间chunk_size4096搜索阶段处理步长的分块大小与预填充分块尺寸对齐六、相关文件速查理解配置后这些文件各司其职均为仓库相对路径文件角色genai_config.json本文主角GenAI 推理总配置config.jsonHuggingFace 模型配置 Quark/AWQ 量化参数rai_config.json各 RyzenAI 版本的最大 prompt 长度model.onnx / model.onnx.dataONNX 计算图与外部权重数据model.pb.binexternal_data_file指向的 NPU 数据文件tokenizer.json / tokenizer.model分词器dd_metastate_*NPU 部署的元状态文件含 25616384 各档 attention mask 缓存七、总结✅ 用一句话概括这份配置模型以model.onnx为主图、model.pb.bin为外部数据预填充阶段分块处理chunk ≤ 4096解码阶段由 NPU 承担输出最长 16K Token采样温度为 0.6、Top-K 50、Top-P 0.9。如果你需要微调推理行为优先检查这三处想支持更长 prompt → 对照 rai_config.json 与hybrid_opt_max_seq_length想换解码风格更随机/更保守→ 调整search中的temperature、top_p想省内存 → 确认past_present_share_buffer与fusion_opt_io_bind_kv_cache保持开启。掌握这些参数后你就能像 AMD 官方一样读懂并定制任何 RyzenAI 混合推理模型了。赞分享【免费下载链接】Llama-3.2-3B_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_npu_16K点击查看免费下载相关推荐Ant Design Input/TextArea 字数提示showCount实战指南基础计数、自定义格式化与计数策略Ant Design Input/TextArea 字数提示showCount实战指南基础计数、自定义格式化与计数策略 本文围绕 Ant Design IRope 免费人脸交换工具完整指南3 步从安装到导出第一条视频Rope 免费人脸交换工具完整指南3 步从安装到导出第一条视频 Rope 是一款免费图形化的人脸交换工具基于 insightface 的 inswapperLlama-3.2-3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么Llama 3.2 3B_rai_1.8.0_npu_16K 文件结构全解model.onnx、model.bin 与 dd_metastate 各管什么 L创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考