【免费下载链接】HyLo-Llama-8MLA8GDN-64K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-64K-SFT点击查看免费下载HyLo-Llama-8MLA8GDN-64K-SFT 是 AMD 发布的开源研究模型它把 Llama-3.2-1B-Instruct升级成 8 层 MLA 8 层 Gated DeltaNet 的混合架构仅 1.61B 参数就支持64K65,536 tokens长上下文且 KV cache 内存只剩原模型的7.8%。本文带你用通俗的方式理解它的架构原理、训练过程、实测成绩与部署方法帮助新手快速上手这个小身材、长记忆的模型。一、模型速览这张名片有多省 先记住三个核心数字1.6B 参数、64K 上下文、7.8% 的 KV cache——这是它区别于普通小模型的全部卖点。项目说明基础模型Llama-3.2-1B-Instruct蒸馏教师模型Llama-3.1-8B-Instruct层数16 层8 层 MLA 8 层 Gated DeltaNet参数量1.61B论文中记为 1.6BKV cache仅为原模型的 7.8%训练上下文65,536 tokens权重精度float32 存储建议以 bfloat16 加载训练方式Enhanced-ILD 带教师蒸馏的长上下文 SFT它出自 AMD 的论文《Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling》arXiv:2604.24715核心思路是不从头预训练而是把现成的 Transformer改头换面成混合架构再用长文本训练让它长记性。二、混合架构拆解MLA 与 Gated DeltaNet 如何分工 这个模型的 16 层不是简单的交替重复而是按位置精心安排的详见 hybrid_config.jsonMLA 层8 层位于[0, 2, 4, 6, 8, 10, 12, 14]Gated DeltaNet 层8 层位于[1, 3, 5, 7, 9, 11, 13, 15]两种层各管一摊分工非常清晰1️⃣ Gated DeltaNet 层 —— 零缓存的线性注意力它是带门控的 delta 规则线性注意力块用一个固定大小的循环状态代替不断膨胀的 KV cache。无论输入多长这些层的内存占用都不变完全不产生 KV cache。2️⃣ MLA 层 —— 压缩版的标准注意力Multi-head Latent Attention 保留注意力机制但只缓存一个低秩潜向量latent而不是完整的 Key/Value。这正是把总缓存压缩到 7.8% 的关键。关键维度参数如下同样定义在 hybrid_config.json 中MLA 维度数值Gated DeltaNet 维度数值KV 潜秩kv_lora_rank128头数gdn_num_heads6Query 潜秩q_lora_rank1344头维度gdn_head_dim256RoPE 头维度32隐藏层d_model2048Value 头维度v_head_dim64SSM 状态d_state64 注意仓库里的 config.json 是基础模型的配置仅作参考真正的混合架构布局以 hybrid_config.json 为准。三、KV Cache 只剩 7.8%64K 长上下文为什么更便宜 普通 Transformer 处理长文本时每个 token 的 Key 和 Value 都要存进 KV cache内存随序列长度线性膨胀——这就是小模型跑长文最大的痛点。HyLo 的解法是双管齐下一半的层Gated DeltaNet根本不存 KV cache另一半的层MLA只存压缩后的低秩潜向量。两者叠加后总缓存降到原模型的 7.8%跑 64K 长文本的显存压力大幅下降。关于上下文长度有两个新手必须知道的细节位置编码采用YaRN缩放factor: 32.0把原本 2,048 token 的窗口扩展到65,536这是该模型经过训练和评测的可靠长度配置里的max_position_embeddings是 131,072继承自基础模型并非支持的长度。由于推理框架会按这个字段预分配 KV cache部署时请务必显式限制例如设置--max-model-len 65536超过 65,536 token 的质量没有任何保证。四、训练揭秘两阶段蒸馏让改头换面的模型不掉智商 ️把 Transformer 的层改成 MLA 和线性注意力后模型内部表示会被打乱。HyLo 用两阶段训练把它修复并教会长文本阶段做什么上下文学习率数据1. Enhanced-ILD逐层蒸馏让新初始化的 MLA/线性块对齐原模型内部表示2,0482e-4SFT 混合数据的 20%2. 长上下文 SFT以 8B 教师模型做端到端蒸馏在目标长度上精调65,5366e-5完整混合数据训练细节要点损失函数学生与教师下一词分布的 KL 散度kl_weight 1.0、ce_weight 0.0纯蒸馏损失数据5 个开源数据集的 AMD 处理变体含子集筛选、chat 模板重排、评测去污染覆盖通用指令、数学与长文 QA硬件8× AMD Instinct MI300XFSDP 分布式bfloat16 混合精度并采用chunked_kl省内存蒸馏全局 batch 8 条序列1 个 epoch余弦学习率调度。五、实测成绩长上下文与常识推理能拿多少分 以下为论文 Table 2 的 0-shot 结果EleutherAI lm-evaluation-harness 评测RULER 长上下文基准13 项任务总分——可以看到 64K 时的表现依然可用上下文长度得分8K61.516K53.732K48.164K41.6常识推理7 项任务平均分51.8含 ARC-Challenge 36.4、HellaSwag 57.2、PIQA 72.3 等数学GSM8K 得分 39.4对 1.6B 的小模型来说这套分数在 64K 长度上保持了相当的记忆力同时把显存成本压到了 7.8%。六、部署上手如何加载并运行 HyLo-Llama-8MLA8GDN-64K-SFT 第一步准备混合架构代码。MLA/GDN 这些混合层类型还没有进入transformers主线AutoModelForCausalLM无法直接构建该模型。需要先获取 AMD 的 Hybrid-Models 代码库进入其中的HyLo目录并按该目录下的 README 完成安装。第二步加载模型并生成核心代码仅 4 行from hybrid.hybrid_wrapper import HybridModelWrapper model HybridModelWrapper.from_pretrained( amd/HyLo-Llama-8MLA8GDN-64K-SFT, torch_dtypetorch.bfloat16 ).cuda()三个新手避坑要点用 bfloat16 加载权重文件model.safetensors是 float32 存储的按原精度加载会白白翻倍显存评测成绩也是在 bfloat16 下测得的使用本仓库自带的对话模板chat_template.jinja这是训练时用的模板与基础模型的不完全一致换了模板效果可能打折输入控制在 65,536 tokens 以内推理服务显式设置最大长度如--max-model-len 65536。七、HyLo 家族速查不同配方怎么选 ️HyLo 不只是这一个模型AMD 还开放了一整族MLA 线性块组合按骨干与 MLA 层数排列模型骨干训练上下文KV cacheHyLo-Llama-4MLA12GDN-64K-SFTLlama-3.2-1B64K3.9%HyLo-Llama-8MLA8GDN-64K-SFT本文主角Llama-3.2-1B64K7.8%HyLo-Llama-6MLA22GDN-64K-SFTLlama-3.2-3B64K2.0%HyLo-Llama-14MLA14GDN-64K-SFTLlama-3.2-3B64K4.7%HyLo-Qwen-14MLA14M2-64K-SFTQwen3-1.7BMamba-2 块64K7.8%规律很简单MLA 层越多缓存占比越高、精度通常越好追求极致省显存选 4MLA12GDN / 6MLA22GDN想要更稳的长文理解就选本文的 8MLA8GDN。八、使用边界研究专用模型的限制与许可证 ⚠️上手前请先了解它的身份——这是一个研究产物research artifact用于支撑论文研究而非生产级模型未做安全对齐输出可能出现事实错误或偏见对外提供服务前必须自行加装防护措施长度之外无保证超过 65,536 token 的质量未经测量与承诺评测范围有限只覆盖了上文列出的基准没有多语言、代码、安全性和长文指令遵循的评测报告许可需留意元数据声明为apache-2.0但仓库内的 LICENSE 是 AMD 的研究专用 RAIL-MS 许可且部分训练数据为非商用——两者不一致时以 LICENSE 文件为准请将其视为仅限研究使用。总结HyLo-Llama-8MLA8GDN-64K-SFT 展示了一条务实的长上下文路线——不烧钱从头预训练而是用MLA 压缩缓存 GDN 零缓存的混合架构改造现有模型再以两阶段蒸馏修复能力。对想在有限显存上跑长文本的新手而言它是目前值得重点关注的小模型方案之一。赞分享【免费下载链接】HyLo-Llama-8MLA8GDN-64K-SFT项目地址https://ai.gitcode.com/hf_mirrors/amd/HyLo-Llama-8MLA8GDN-64K-SFT点击查看免费下载相关推荐HyLo-Llama-8MLA8GDN-64K-SFT训练原理两阶段蒸馏与64K长上下文SFT是怎么做到的HyLo Llama 8MLA8GDN 64K SFT训练原理两阶段蒸馏与64K长上下文SFT是怎么做到的 HyLo Llama 8MLA8GDN 64HyLo-Llama-4MLA12GDN-64K-SFT快速总览AMD 1.67B混合架构长上下文模型KV Cache直降96%HyLo Llama 4MLA12GDN 64K SFT快速总览AMD 1.67B混合架构长上下文模型KV Cache直降96% HyLo Llama 4MYaRN如何实现64K长上下文HyLo-Llama-6MLA22GDN-64K-SFT位置编码扩展原理详解YaRN如何实现64K长上下文HyLo Llama 6MLA22GDN 64K SFT位置编码扩展原理详解 本文带你彻底搞懂 HyLo Llama 6MLA2上一篇gdsdecomp 完整指南3 步从 PCK/APK 恢复 Godot 游戏项目下一篇Nota Fiscal Eletrônica测试策略单元测试与集成测试最佳实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考