LLaMA-Factory最新版本发布：GPT-OSS与Intern-S1-mini模型微调全支持

LLaMA-Factory最新版本发布GPT-OSS与Intern-S1-mini模型微调全支持【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactoryLLaMA-Factory作为一款易于使用的大语言模型LLM微调框架近期迎来重大更新正式宣布对GPT-OSS和Intern-S1-mini两款热门模型提供全面微调支持。这一更新将进一步丰富开发者的工具箱助力打造更贴合特定场景需求的AI应用。核心更新亮点本次更新重点聚焦于扩展模型支持范围新增对GPT-OSS和Intern-S1-mini的完整微调能力。根据更新日志显示GPT-OSS模型的微调支持于2025年8月6日通过PR #8826实现而Intern-S1-mini的支持则在2025年8月20日通过PR #8976完成。这两款模型的加入使得LLaMA-Factory支持的模型家族更加壮大能够满足不同算力条件和应用场景的需求。新增模型特性解析GPT-OSSGPT-OSSOpen Source Software是OpenAI推出的开源大语言模型提供20B和120B两种参数规模。该模型在通用语言理解、生成任务上表现出色同时具备良好的可扩展性。在LLaMA-Factory中GPT-OSS使用gpt模板进行微调开发者可根据实际需求选择合适的参数规模和微调策略。Intern-S1-miniIntern-S1-mini是由上海人工智能实验室推出的轻量级大语言模型参数量为8B。该模型在保持良好性能的同时具有计算效率高、部署门槛低的特点非常适合资源受限的场景或边缘设备部署。在LLaMA-Factory中Intern-S1-mini使用intern_s1模板进行微调。快速上手模型微调步骤环境准备首先确保已正确安装LLaMA-Factory。如果您是首次使用可以通过以下命令克隆仓库并安装依赖git clone https://gitcode.com/GitHub_Trending/ll/LLaMA-Factory cd LLaMA-Factory pip install -r requirements.txt配置文件修改LLaMA-Factory采用配置文件驱动的方式进行微调。以下是一个基于LoRALow-Rank Adaptation的微调配置示例您可以根据需要修改examples/train_lora/llama3_lora_sft.yaml文件将模型名称修改为您想要微调的目标模型### model model_name_or_path: openai/GPT-OSS-20B # 或 internlm/Intern-S1-mini trust_remote_code: true ### method stage: sft do_train: true finetuning_type: lora lora_rank: 8 lora_target: all ### dataset dataset: alpaca_zh_demo template: gpt # GPT-OSS使用gpt模板Intern-S1-mini使用intern_s1模板 cutoff_len: 2048 max_samples: 1000 ### output output_dir: saves/gpt-oss-20b/lora/sft logging_steps: 10 save_steps: 500 plot_loss: true ### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 3.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true启动微调配置文件准备就绪后使用以下命令启动微调过程python src/train.py --config examples/train_lora/llama3_lora_sft.yamlLLaMA-Factory提供了灵活的微调方法选择包括全参数微调full、冻结微调freeze、LoRA和OFTOptimized Finetuning等多种方式您可以根据模型大小和硬件条件选择合适的微调策略。技术细节模型支持实现LLaMA-Factory通过src/llamafactory/model/loader.py中的load_model函数加载和初始化模型通过src/llamafactory/model/adapter.py中的init_adapter函数配置不同的微调方法。这些模块为新增模型提供了统一的接入接口确保了框架的可扩展性。此外LLaMA-Factory维护了一个支持的模型列表定义在src/llamafactory/extras/constants.py文件中。通过register_model_group函数注册新模型包括模型名称、下载地址和默认模板等信息使得框架能够正确识别和处理不同的模型。应用场景与最佳实践GPT-OSS应用场景企业级智能客服利用GPT-OSS的强大语言理解能力构建高效、智能的客户服务系统。内容创作辅助帮助用户生成高质量的文章、报告、营销文案等。复杂任务处理如数据分析、代码生成、逻辑推理等需要深度思考的任务。Intern-S1-mini应用场景移动设备端AI助手在手机、平板等移动设备上提供本地化的AI服务。边缘计算节点在工业物联网、智能家居等场景中部署轻量级AI能力。教育资源受限地区在计算资源有限的环境中提供高质量的AI教育工具。最佳实践建议数据质量微调效果很大程度上取决于训练数据的质量。确保数据标注准确、无噪声。参数调优根据模型大小和数据规模调整学习率、 batch size等超参数。一般来说 smaller models require smaller learning rates.增量微调对于大型模型可以考虑采用增量微调策略逐步调整模型参数。评估验证微调过程中定期评估模型性能及时发现问题并调整策略。总结与展望LLaMA-Factory对GPT-OSS和Intern-S1-mini模型的支持进一步巩固了其作为全方位LLM微调框架的地位。无论是追求极致性能的研究人员还是需要在资源受限环境中部署AI能力的开发者都能从这一更新中受益。未来LLaMA-Factory团队将继续跟进最新的模型发展不断扩展支持的模型范围并持续优化微调算法和用户体验。我们期待看到社区基于这些新支持的模型开发出更多创新应用。如果您在使用过程中遇到任何问题或有新的功能需求欢迎通过项目的GitHub Issues或社区渠道与开发团队交流。让我们共同推动LLM技术的普及和应用创新【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考