Adapting Large Language Models to Low-Resource Tibetan: A Two-Stage Continual and Supervised Fine...
文章核心总结与翻译一、主要内容本文针对藏语这一低资源语言(数据稀缺、形态复杂且代表性不足),提出了一种两阶段训练框架,将Qwen2.5-3B大语言模型适配于藏语场景:持续预训练(CPT)阶段:使用20万条藏语单语语料(涵盖新闻、文学、宗教文本等多体裁),以自回归语言建模为目标,让模型建立藏语词汇、句法和语篇层面的语言基础,最大上下文长度设为8192 tokens。监督微调(SFT)阶段:基于5万条指令数据(80%藏语相关任务+20%中文通用指令),涵盖藏语指令遵循、汉藏翻译、英藏翻译三类任务,巩固模型的任务适配能力并避免灾难性遗忘,最大序列长度设为4096 tokens。实验结果显示,该框架成效显著:模型困惑度从2.98降至1.54;汉藏翻译BLEU值从0.046提升至0.261(提升5.7倍),chrF值从2.2提升至6.6(提升3倍);英藏翻译也通过跨语言迁移实现显著提升。层间权重分析表明,适配主要集中在嵌入层、输出头及中晚期MLP投影层,且SFT阶段是巩固而非覆盖CPT阶段建立的语言表征。二、创新点提出了首个针对藏语大模型的两阶段适配框架,系统分离语言基础构建与任务适配,有效解决低资源场景下的模型适配问题,且框架可复现、开源。首次对藏语大模型适配的内部机制进行定量探索,通过435层的层间权重分析,揭示了模型适配的关键层位与参数演化规律(CPT与SFT权重变化相关性接近1.0)。验证了

相关新闻

2026世界机器人大会现场直击:人形机器人从“秀肌肉”走向“干实事”

2026世界机器人大会现场直击:人形机器人从“秀肌肉”走向“干实事”

摘要:本文以2026世界机器人大会为背景,从现场记者视角出发,介绍了银河通用Galbot ET1、魔法原子MagicBot D1等明星产品,深入剖析了人形机器人在运动控制、灵巧操作、成本三方面的技术难点与突破,并展望了其在工厂、仓库…

2026/11/1 23:00:21 阅读更多 →
云、云计算、云服务知识点及具体实例

云、云计算、云服务知识点及具体实例

一、公有云、私有云、云服务、云计算知识点 1、概念 一、云服务与云计算 云服务:是基于互联网的相关服务的增加、使用和交互模式,通过网络以按需、易扩展的方式获得虚拟化资源,计算能力可作为商品通过互联网流通,像水电一样按需取…

2026/10/25 8:03:09 阅读更多 →
从源码静态证据看 NVIDIA NeMo:它不只是一个训练框架,更是企业级多模态 AI 的工程底座

从源码静态证据看 NVIDIA NeMo:它不只是一个训练框架,更是企业级多模态 AI 的工程底座

从源码静态证据看 NVIDIA NeMo:它不只是一个训练框架,更是企业级多模态 AI 的工程底座本文基于 NVIDIA/NeMo 仓库固定源码快照 ebe62eda40da762dd038e8c2a48d1dfc4a3a33e8 的只读静态证据完成。 未执行项目构建、测试、性能压测或依赖漏洞扫描。文中“存…

2026/10/24 13:13:18 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/14 5:13:29 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/14 5:13:29 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/14 5:13:29 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/13 22:08:41 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/14 2:41:37 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/14 5:13:29 阅读更多 →

日新闻

周新闻

月新闻