【免费下载链接】Ling-3.0-tiny-base-midtrain项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain点击查看免费下载Ling-3.0-tiny-base-midtrain 是蚂蚁开源 Ling-3.0 系列中总参数 7.9B、每 token 仅激活 1.3B的 MoE混合专家语言模型检查点采用原生混合线性注意力架构原生支持 256K 长上下文。它已完成大规模预训练和中训练mid-training但尚未做后训练对齐——本文基于官方基准数据完整评测它在代码、数学、长上下文三大硬核场景下的表现并与 Ling-2.5-mini16B A1.4B、Qwen3.5-9B、Qwen3.5-4B 正面硬刚帮新手快速判断这个小钢炮值不值得用。一、Ling-3.0-tiny-base-midtrain 是什么一张卡片看懂定位先说结论这是一个面向研究者的半成品基础模型检查点适合二次训练不适合直接拿来做聊天机器人。Ling-3.0 系列按训练阶段开放了三种检查点本文主角是中间那一档训练阶段检查点状态预训练Ling-3.0-tiny-base-30T完成预训练未中训练中训练Ling-3.0-tiny-base-midtrain完成中训练未合并、未后训练✅合并Ling-3.0-tiny-base基于 WSM 合并仍未后训练官方推荐的用途包括继续预训练continued pre-training、中训练、领域适配的 SFT、偏好优化/RL 后训练、蒸馏研究以及长上下文与 MoE 系统研究不推荐直接面向终端用户聊天部署或安全关键场景。关键规格一览数据来自 config.json 与 README.md配置项数值说明架构类型Hybrid-linear MoE混合线性注意力 MoE参数规模总 7.9B / 激活 1.3B推理成本≈1.3B 稠密模型层数18 层 KDA 6 层 Gated MLA3:124 层首层为 Dense专家配置128 路由专家 1 共享专家每 token 激活 8 个路由专家隐藏维度 / 注意力头1536 / 16head_dim 128词表大小157,184多语言最大上下文262,144256Kmax_position_embeddings精度bfloat16权重约 16.4GB协议MIT自由商用、可微调二、架构解读7.9B 的 MoE 为什么小身材、大能量1️⃣ 高稀疏 MoE128 专家只叫醒 9 个每个 token 只激活 8 个路由专家 1 个共享专家稀疏度约 1/64 量级——模型容量可以做到 7.9B而实际计算量只有 1.3B。这就是为什么它敢和 16B 的 Ling-2.5-mini、9B 的 Qwen3.5 掰手腕你花小模型的电费买大模型的知识容量。专家路由与门控逻辑可参见 modeling_bailing_moe_v3.pyBailingMoeV3SparseMoeBlock含共享专家混合结构路由采用 sigmoid 打分 组受限 top-ktopk_method: noaux_tc。2️⃣ 原生混合线性注意力KDA 与 Gated MLA 按 3:1 交替长上下文的成本和注意力稀释一直是 MoE 模型的短板。Ling-3.0 系列从预训练第一天起就采用混合线性注意力24 层中 18 层使用 KDAKimi Delta Attention线性注意力KV 缓存近乎 O(1)6 层使用 Gated MLA门控多潜注意力保留全量注意力精度按 3:1 交替排布。层类型的判定逻辑在 modeling_bailing_moe_v3.pyBailingMoeV3DecoderLayer线性注意力层负责跑得快MLA 层负责记得牢两者混合让 256K 上下文既能装得下、也读得动——这正是它长上下文成绩突出的底层原因。MLA 与 KDA 的实现分别位于 modeling_bailing_moe_v3.pyBailingMoeV3MultiLatentAttention和 modeling_bailing_moe_v3.pyBailingMoeV3KimiDeltaAttention。3️⃣ WSM 权重合并省掉学习率衰减的彩蛋官方用 Warmup-Stable and MergeWSM权重合并替代传统学习率衰减收尾。对新手最实在的好处是检查点更适合继续预训练和动态扩数据你可以在不同衰减策略间离线探索不必重跑昂贵实验。三、实测基准代码、数学、长上下文三场硬仗以下数据来自 README.md 的官方 Base Model Evaluation自建综合基准套件涵盖知识、代码、数学、推理、多语言与长上下文。对比模型Ling-3.0-tiny-base7.9B A1.3B、Ling-2.5-mini-base16B A1.4B、Qwen3.5-9B、Qwen3.5-4B。 代码能力全面压制同参数对手基准Ling-3.0-tiny-baseLing-2.5-mini-baseQwen3.5-9BQwen3.5-4BHumanEval-Plus (Pass1)79.2776.2252.4449.39CruxEval (Pass1)67.4463.1968.1264.31MultiPL-E (Pass1)64.3864.3452.8945.47LiveCodeBench¹ (Pass1)24.2322.9118.0613.88BigCodeBench (Pass1)42.8942.5429.3924.39FullStackBench (Pass1)39.4838.5937.2333.14LCBench² (Pass1)41.5946.1633.4719.46¹ LiveCodeBench (2408–2505)² LCBench (2301–2502)。解读7 项代码基准拿下 5 项第一。对 16B 的 Ling-2.5-mini 总体小幅领先HumanEval-Plus 领先 3 分、LiveCodeBench 领先 1.3 分仅在 LCBench 上落后 4.57 分对 Qwen3.5-9B 则是碾压式差距——HumanEval-Plus 高出 26.8 分。作为参考它尚未做后训练这个起点相当能打。 数学能力与前辈、巨头各有胜负基准Ling-3.0-tiny-baseLing-2.5-mini-baseQwen3.5-9BQwen3.5-4BMATH500 (Acc)65.6068.4055.2049.60OlympiadBench (Acc)25.9024.1021.8417.02TheoremQA (Acc)51.6450.6852.8847.40OmniMath (Acc)29.7029.0222.9920.89解读数学是 Ling-3.0 的胶着区。MATH500 上以 2.8 分之差惜败自家上一代 Ling-2.5-mini65.60 vs 68.40但竞赛数学 OlympiadBench 反超25.90 vs 24.10OmniMath 也拿下第一。对 Qwen3.5-9B 基本保持 10 分左右的领先。考虑到后训练尤其 RL 强化通常能大幅拉升数学推理这个底座的后劲值得期待。 长上下文混合线性注意力的主场基准Ling-3.0-tiny-baseLing-2.5-mini-baseQwen3.5-9BQwen3.5-4BLongBench (Acc)43.8529.9351.8739.96LEval (Acc)68.3762.7277.2463.09解读这是 Ling-3.0 架构卖点兑现最明显的一处——LongBench 上领先 Ling-2.5-mini 近 14 分43.85 vs 29.93。与 Qwen3.5-9B 仍有差距Qwen3.5 上下文能力更强但 7.9B A1.3B 的规格做到 LEval 68.37长文处理性价比突出256K 的原生上下文窗口在max_position_embeddings: 262144config.json中可直接确认。 知识与推理简述知识类CCPM 84.01、ARC-C 92.20、AGIEval 64.49、CEval 80.59、MMLU-Pro 51.83整体小幅领先 Ling-2.5-mini落后 Qwen3.5-9B 约 2~6 分推理类 CommonSenseQA 83.46、BBH 80.64均超越 Ling-2.5-mini。总体画像代码最强、数学稳健、长上下文亮眼、知识全面。四、上手指南如何获取与二次开发 一键克隆模型仓库git clone https://gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain 仓库文件结构速览文件作用config.json模型架构配置层数、专家数、上下文等configuration_bailing_moe_v3.pyHuggingFace 自定义 Config 类modeling_bailing_moe_v3.py模型实现KDA/MLA/MoE 核心代码约 1600 行chat_template.jinja对话模板支持 system/user/assistant 与工具调用tokenizer.json / tokenizer_config.json词表与分词配置157,184 词表special_tokens_map.json特殊 token 映射eos 等model-00001-of-00002.safetensors / model-00002-of-00002.safetensorsbf16 权重分片合计约 16.4GBmodel.safetensors.index.json权重索引模型通过BailingMoeV3ForCausalLMmodeling_bailing_moe_v3.py加载兼容 transformers 生态。官方建议参考 ling-cookbook 仓库获取微调示例对话行为由 chat_template.jinja 定义已内置 reasoningthink与工具调用tool call格式。⚠️ 使用提醒这是mid-train 检查点未经过 WSM 合并与后训练直接对话体验会直来直去务必先做 SFT / RL 对齐再上生产硬件参考bf16 权重约 16.4GB单张 24GB 显存卡如 RTX 4090/A5000可跑推理训练需按 MoE 多卡方案规划想在更大规模复现训练策略可无缝升级到 Ling-3.0-flash-base同一训练配方。五、总结谁应该关注 Ling-3.0-tiny-base-midtrain代码场景同规格第一梯队未后训练即领先 16B 前辈是低成本代码底座的不二之选数学场景稳健但非统治级适合叠加 RL 强化后训练放大收益长上下文混合线性注意力架构实打实兑现红利256K 窗口 LEval 68.37研究者友好MIT 协议 开源全部架构代码KDA、Gated MLA、稀疏路由均可见源码 三阶段检查点齐备做继续预训练、蒸馏、MoE 系统研究材料齐全。一句话评价7.9B 的总参、1.3B 的开销、256K 的视野在代码与长上下文上硬刚 Ling-2.5-mini 和 Qwen3.5 不落下风——这就是 Ling-3.0-tiny-base-midtrain 给社区的诚意。赞分享【免费下载链接】Ling-3.0-tiny-base-midtrain项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-base-midtrain点击查看免费下载相关推荐Ling-3.0-tiny-base-midtrain config.json 逐参数详解MoE、注意力与长上下文核心超参数全解读Ling 3.0 tiny base midtrain config.json 逐参数详解MoE、注意力与长上下文核心超参数全解读 如果你正在研究 Ling如何用 vLLM 部署 Ling-3.0-tiny-base-midtrain长上下文 MoE 推理服务化实战教程如何用 vLLM 部署 Ling 3.0 tiny base midtrain长上下文 MoE 推理服务化实战教程 Ling 3.0 tiny base miLing-3.0-tiny-base-midtrain Gated MLA 实现解析LoRA 压缩如何高效支撑 256K 长上下文Ling 3.0 tiny base midtrain Gated MLA 实现解析LoRA 压缩如何高效支撑 256K 长上下文 Ling 3.0 tiny创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考