一文读懂NVIDIA-Nemotron-3.5-Lightning从3B活跃参数到1M上下文窗口的终极技术解析【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16是由NVIDIA开发的大型语言模型LLM作为Nemotron 3.5 Lightning系列的基础预训练 checkpoint它采用创新的混合架构设计仅需3B活跃参数即可实现30B参数量级的性能表现同时支持高达100万 tokens的超长上下文窗口为开发者和研究人员构建定制化AI模型提供了高效起点。 模型核心亮点重新定义效率与性能的平衡 混合架构Mamba2与MoE的完美融合该模型突破性地采用了Mamba2-Transformer混合专家混合MoE架构结合了Mamba2的高效序列建模能力与MoE的并行计算优势。从config.json中可以看到模型的52层网络采用了精心设计的交替结构[mamba, moe, mamba, moe, mamba, attention, ...]这种结构使模型在处理长文本时既能保持计算效率又能捕捉复杂的上下文依赖关系。其中Mamba2层负责高效序列编码MoE层包含128个路由专家和1个共享专家则通过动态选择激活专家来优化计算资源分配每个token最多可激活6个专家实现了精度与效率的最佳平衡。 关键技术参数解析参数数值意义总参数量30B模型整体规模活跃参数量3B实际计算时激活的参数上下文窗口1M tokens支持超长文本处理预训练数据量20T tokens涵盖多语言和多领域知识隐藏层维度2688模型特征表示能力注意力头数32并行注意力机制专家数量128路由专家系统规模这些参数共同构成了Nemotron-3.5 Lightning的核心竞争力特别是3B活跃参数设计使得模型在保持高性能的同时大幅降低了计算资源需求。 性能表现超越同级别模型的基准测试结果 多维度能力评估NVIDIA在一致的测试框架下对Nemotron-3.5 Lightning进行了全面评估结果显示其在多个关键基准上表现优异通用知识与推理MMLU78.59多任务语言理解MMLU-Pro (5-shot)67.94高级专业领域知识AGIEval-EN (CoT)70.02中文语言理解数学能力GSM8K (8-shot, CoT)91.28小学数学问题Minerva Math (4-shot)82.78高等数学推理代码能力MBPP (3-shot)78.59代码生成与修复HumanEval77.44代码理解与补全特别值得注意的是在1M上下文长度的RULER基准测试中Nemotron-3.5 Lightning达到了69.62的分数远超同级别模型证明了其处理超长文本的卓越能力。 多语言支持模型预训练数据涵盖英语及19种其他口语语言在Global-MMLU-Lite测试中展现了强大的跨语言能力德语de76.00西班牙语es78.00法语fr76.25日语ja73.25中文zh74.75这种多语言能力使模型能够服务于全球不同地区的用户需求。️ 模型训练与优化20T tokens塑造的强大能力 两阶段训练流程Nemotron-3.5 Lightning采用了创新的两阶段训练方法基础预训练阶段使用NVFP4优化方案在包含代码、数学、科学和通用知识的多样化数据集上进行训练软件框架采用NVIDIA Megatron-LM。多 token 预测MTP持续预训练阶段专门训练MTP层使其能够预测多个未来 token为基础模型提供更丰富的训练信号并支持推理时的原生推测解码大幅提升生成速度。 多元化训练数据模型训练数据超过20万亿 tokens包含网络文本来自Common Crawl的高质量网页数据代码库GitHub上的开源项目代码数学资源专业数学文献和问题集科学文献 arXiv、PubMed等学术资源合成数据通过其他先进模型生成的高质量教学数据详细数据集信息可参考README.md中的Training, Testing, and Evaluation Datasets部分。 快速上手开始使用Nemotron-3.5 Lightning 模型获取要开始使用Nemotron-3.5 Lightning首先需要克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16 基本使用示例虽然本文不包含大量代码但以下是使用transformers库加载模型的基本框架from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer AutoTokenizer.from_pretrained(./NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16) model AutoModelForCausalLM.from_pretrained(./NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16) inputs tokenizer(你的输入文本, return_tensorspt) outputs model.generate(**inputs, max_length200) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))⚙️ 部署要求模型优化支持在NVIDIA GPU上运行推荐配置NVIDIA Hopper (H100, H200)NVIDIA Blackwell (GB200)运行时PyTorch, Megatron-LM, NeMo 许可证与使用条款Nemotron-3.5 Lightning采用OpenMDW License Agreement, version 1.1 (OpenMDW-1.1)许可证允许商业和非商业用途。使用前请确保遵守许可证条款并参考以下文档了解更多伦理和安全考量安全考量可解释性偏见隐私 未来展望基于Nemotron-3.5 Lightning的创新可能作为基础预训练模型Nemotron-3.5 Lightning为开发者提供了广阔的定制空间领域微调针对法律、医疗、金融等专业领域进行微调指令调优构建特定任务的AI助手强化学习通过人类反馈优化模型行为知识整合融入最新领域知识和数据NVIDIA提供了完整的工具链支持这些定制化工作包括NeMo RL、NeMo Gym和Megatron-LM。通过这一高效、强大的基础模型开发者能够以更低的成本和更高的效率构建下一代AI应用推动AI技术在各行业的创新与落地。【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考