【免费下载链接】GPT-OSS-120B_gpuep_1.0_gpu_128项目地址https://ai.gitcode.com/hf_mirrors/amd/GPT-OSS-120B_gpuep_1.0_gpu_128点击查看免费下载GPT-OSS-120B_gpuep_1.0_gpu_128 是 AMD 官方针对 AMD GPU 深度优化的 120B 参数开源大模型原生支持 128K 上下文。它基于 openai/gpt-oss-120b 的 ONNX 模型改造而来采用 UINT4 量化并修复了归一化层精度问题推理质量与基础量化版完全一致。本文将带你 3 步完成下载、配置与运行。一、这个模型到底是什么简单说它是OpenAI gpt-oss-120b 的 AMD 官方特调版专门为 AMD GPU如 Ryzen AI 硬件的推理部署做了优化改造点说明 量化策略所有线性层采用uint4 非对称分组量化group_size32权重体积大幅缩小 精度修复用 ShapeShifter 在 SkipSimplifiedLayerNormalization 周围插入 FP32 转换节点让归一化层以 FP32 运行消除量化带来的精度损失⚡ 部署形态交付标准 ONNX 模型 ONNX Runtime GenAI 配置文件无需 PyTorch 生态即可推理 上下文窗口原生131072128Ktoken可处理超长文档在 Perplexity-wikitext2 基准上它与基础量化版的得分同为2.35——这意味着精度修复是零损失的可以放心使用。 从项目名也能读出信息gpuep GPU Execution ProviderGPU 执行后端1.0 版本号gpu_128 面向 128K 上下文的 GPU 部署版本。二、关键规格一览模型的核心参数都记录在 genai_config.json 中以下是新手需要知道的几个数字参数数值说明context_length131072最大上下文长度128Knum_hidden_layers36Transformer 层数hidden_size2880隐藏层维度num_attention_heads64注意力头数num_key_value_heads8KV 头数GQA 架构省显存vocab_size201088词表大小默认采样参数top_k50,top_p1.0,temperature1.0开箱即用的推理设置默认采样配置可直接查看 genai_config.json 中的search字段。三、3步快速上手指南 步骤 1获取模型文件模型权重文件 model.onnx.data 通过 Git LFS 存储实际大小约64.5 GB请确保磁盘空间充足git lfs install git clone https://gitcode.com/hf_mirrors/amd/GPT-OSS-120B_gpuep_1.0_gpu_128⚠️硬件提示仅权重就需约 64.5 GB再加上 128K 上下文的 KV Cache 开销建议使用80 GB 级大容量显存的 GPU或多卡环境。步骤 2核对模型配置克隆完成后快速确认三样东西就位即可model.onnxONNX 计算图文件本身很小是入口model.onnx.data真正的 64.5 GB 权重数据tokenizer.json词表与分词器约 27.8 MB再打开 genai_config.json 确认context_length: 131072说明 128K 上下文配置无误。步骤 3用 ONNX Runtime GenAI 跑通推理安装支持 AMD GPU 执行后端的 ONNX Runtime GenAI 后一段极简的 Python 代码即可跑通import onnxruntime_genai as og model_dir ./GPT-OSS-120B_gpuep_1.0_gpu_128 model og.Model(model_dir) tokenizer og.Tokenizer(model_dir) generator_params og.GeneratorParams(model) prompt 你好请用一句话介绍你自己。 generator_params.update(tokenizer.encode(prompt)) generator og.Generator(model, generator_params) while not generator.is_done(): generator.generate_next_token() print(tokenizer.decode(generator.get_sequence()))看到模型流畅输出中文回复恭喜——你就已经在 AMD GPU 上跑通了 128K 上下文大模型四、仓库文件结构说明 整个仓库非常精简每个文件各司其职文件作用README.md项目说明、量化策略与评估分数model.onnxONNX 计算图定义model.onnx.data量化后的模型权重约 64.5 GBgenai_config.jsonONNX Runtime GenAI 的模型与推理参数配置tokenizer.json分词器词表tokenizer_config.json分词器配置含model_max_length: 131072special_tokens_map.json特殊标记映射如|return|作为 EOSchat_template.jinjaJinja2 聊天模板支持工具调用与推理强度设置其中 chat_template.jinja 值得特别一提它不仅处理普通对话还支持builtin_tools内置浏览器、Python 工具和reasoning_effort推理强度参数说明该模型具备工具调用与深度推理能力可用于构建 Agent 应用。五、新手常见问题 FAQ ❓Q1为什么用 ONNX 格式而不是直接下载 PyTorch 权重ONNX 是开放的中立格式配合 ONNX Runtime 可以在不依赖 PyTorch 生态的情况下高效推理尤其适合在 AMD GPU 上做轻量级部署环境更干净、启动更快。Q2128K 上下文一定要用满吗不用。131072是上限值实际推理时上下文长短由你的输入决定。短对话的显存和速度开销都小得多。Q3推理时应该用什么解码参数仓库在 genai_config.json 中已内置一套开箱即用的默认参数do_sampletrue、top_k50、top_p1.0新手直接使用即可需要更确定性输出时可把temperature调低。Q4这个模型可以商用吗可以。AMD 的修改部分采用MIT 许可证基础模型采用Apache 2.0许可证具体条款见 README.md 的 License 章节。六、总结GPT-OSS-120B_gpuep_1.0_gpu_128 OpenAI gpt-oss-120b 的 AMD GPU 优化版UINT4 量化 FP32 归一化修复 128K 上下文3 步跑通克隆仓库 → 核对配置 → ONNX Runtime GenAI 推理唯一门槛是显存权重约 64.5 GB建议 80 GB 级显存或多卡环境得益于内置的聊天模板与工具调用支持它还适合进一步搭建自己的 AI Agent 应用现在就可以动手试试在 AMD GPU 上体验 128K 上下文大模型的长文本能力吧赞分享【免费下载链接】GPT-OSS-120B_gpuep_1.0_gpu_128项目地址https://ai.gitcode.com/hf_mirrors/amd/GPT-OSS-120B_gpuep_1.0_gpu_128点击查看免费下载相关推荐GPT-OSS-120B_gpuep_1.0_gpu_128架构深剖36层、GQA注意力与128K长上下文设计GPT OSS 120B_gpuep_1.0_gpu_128架构深剖36层、GQA注意力与128K长上下文设计 GPT OSS 120B_gpuep_1.0_OneDiff性能优化秘籍10个技巧让你的扩散模型运行更快OneDiff性能优化秘籍10个技巧让你的扩散模型运行更快 OneDiff是一款开箱即用的扩散模型加速库能够显著提升各类扩散模型的运行速度。本文将为你介绍1人工智能深度学习模型编译模型优化媒体生成GetQzonehistory扫码一次导出全部QQ空间历史说说从环境安装到验收GetQzonehistory扫码一次导出全部QQ空间历史说说从环境安装到验收 翻 QQ 空间时页面一直往上翻却总到不了三四年前的记录网页版也没有取全创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考