做自然语言处理这些年,身边非技术朋友问得最多的一个问题就是:大模型到底是怎么学会“说话”的?我最近带一个内部模拟项目X,顺手整理了大模型算法系列的第五篇内容,正好可以把这块讲透。这篇不谈玄学,只讲两件实事:一是大模型的原理到底长什么样,二是有监督微调(SFT)真正在做什么。如果你刚入门,或者已经跑过一些基座模型但总觉得控制不住效果,这篇文章应该能帮你把脑子里那些零散的概念拼成一张完整地图。我尽量用大白话,也会给一些可以照着抄的经验。先说一句大实话:很多人在微调阶段反复翻车,不是训练代码写得不对,而是对“原理”理解偏了。你只有知道基座模型是怎么被训出来的,才能明白为什么微调数据的格式、比例、难度分布会直接影响最终效果。所以我打算从底层原理一点点往上拆,最后落到SFT的完整实操上。1. 先拆清楚“原理”这两个字到底指什么1.1 大模型的第一性原理:预测下一个词大模型的原理听起来高深,但本质上只有一个动作:根据前文预测下一个词,或者说预测下一个token。你在对话里输入一句话,模型内部做的事情并不是“理解”了你的意思,而是计算一个概率分布——在所有可能的token里,哪个最像下一句的开头。这个动作在预训练阶段被反复执行。模型读入海量文本,看到一个长句子,遮住后面的部分,让自己去猜;猜对了,参数就往正确的方向调一点点;猜错了,损失函数就惩罚它。听起来很简单,但当文本规模足够大、参数规模足够大,这种“暴力统计”就会涌现出让人意外的能力,比如语法能力、事实记忆能力、甚至一部分推理能力。我在模拟项目X里做过一个验证实验:用一个很小的基座模型,只拿一本某领域的操作手册做增量预训练。训练三百个step之后,它能把手册里的固定说法背得滚瓜烂熟,但一旦问它一个需要推理才能回答的问题,它就露馅了。这说明什么?说明“背下来”和“会推理”是两个完全不同的能力来源。此处要理解一个关键:预训练的本质是让模型掌握语言的统计规律与知识分布,而不是让模型学会“按指令办事”。这为后面微调的必要性埋下了伏笔。1.2 基座模型为什么只能算“半成品”很多刚接触大模型的人会有个误会:基座模型不是已经很强了吗,为什么还要微调?因为基座模型的目标只是“预测下一个词”,它并不关心你是不是在“问问题”,也不关心回答是否符合人类偏好。你跟它说“讲个笑话”,它大概率会接一些“讲个笑话”后面最常出现的内容,而不是真的给你讲一个完整好笑的段子。换句话说,基座模型是一个“语言接龙大师”,不是一个“助手”。它缺少三样东西:指令跟随能力:知道什么时候该输出回答,什么时候该拒绝。输出格式约束:能按“要点、步骤、总结”的结构组织内容。安全与偏好对齐:不输出有害内容,尽量符合大多数人的价值观与需求。这三样东西,几乎都不是再喂更多文本就能长出来的,而是需要有人类标注数据去“教”它。这一步就是有监督微调,英文缩写叫SFT。2. 从原理到训练,你需要理解这几块关键拼图2.1 Transformer骨架与参数/上下文现在主流大模型基本都跑在Transformer架构上。它的核心构件大致有三个:tokenizer负责把文本切成数字块,词嵌入层负责把token变成向量,自注意力机制负责让向量之间互相“看”一眼,决定哪些词应该重点关注谁。参数规模是怎么来的?主要来自两个地方:词嵌入矩阵和每一层Transformer里的前馈网络。我们常说的“7B模型”“13B模型”,指的就是全部可训练参数加起来大约七十亿、一百三十亿个。这里有一个容易被忽略的概念:上下文窗口。模型一次能“看到”的token数量是有限的,比如4096个token。所有自注意力计算都发生在这个窗口之内,窗口外的内容模型根本看不见。设计训练数据的时候,如果单条样本过长,要么截断,要么丢弃,否则会严重影响训练效率。2.2 自注意力机制与KV缓存的直觉理解自注意力机制可以用一个生活化的类比来解释。假设你正在读一篇长文,每读到一个词,你都会回头扫一眼前面的关键词,决定哪些词对当前这个词更重要。“注意力”要做的就是给每个历史位置算一个权重,权重越大,表示它对当前词的影响越强。本质上模型会计算三组向量:Query(当前词想问什么)、Key(历史词能回答什么)、Value(历史词的实际内容是什么)。用Query去匹配Key,得到的匹配分数经过排序后,与Value加权求和,就是最终的上下文表示。这件事在训练和推理时有个明显差异:训练时所有词可以并行算,非常快;推理时只能一个词一个词生成,并且每生成一个新词,都要重新计算一遍前面的注意力。为了提速,框架会把已经算好的Key和Value缓存在显存里,这就是KV cache。如果你部署模型时感觉显存吃紧,很多都耗在这上面。2.3 预训练损失函数与“涌现”的边界预训练阶段最常用的损失函数是交叉熵。给定前文tokens,模型会输出下一个token的概率分布,交叉熵就是衡量“模型给正确token分配的概率有多低”的指标。这个值越低,模型预测越准。有个很常见的疑问:既然预训练已经这么强,为什么不无限加大算力和数据,让模型自己悟出“对齐”呢?目前看是不行。学习和对齐是两条方向不同的优化目标。预训练只优化“文本接龙”,对齐还需要人类反馈、偏好排序这些额外信息。单纯增加数据,更多是让模型知识更丰富,而不一定让它更“听话”。可以这么理解:预训练决定模型的“知识储量”,SFT决定模型的“行为风格”。两者不是一回事。3. 有监督微调到底在做什么3.1 SFT的目标不是知识注入,而是行为对齐SFT的完整名称是有监督微调。它做的是这样一件事:拿一批“指令-回答”对,让基座模型去学习从指令到回答的映射。表面上看,模型确实在微调过程中记住了一些新知识,但其核心目的是改变行为模式。我见过很多刚上手的同学,希望用微调给模型“灌”大量领域知识。结果训练完发现,模型对领域的专有名词还是不懂,反而把之前的通用能力给忘掉了。原因就是方向搞反了:如果想让模型掌握某个领域的冷门知识,更有效的手段是向量检索加外挂知识库;SFT更适合教模型“怎么说”,而不是“知道什么”。3.2 一条完整的指令样本长什么样构造SFT数据时,最常见的是三段式结构:系统提示词、用户指令、模型回复。下面是我在模拟项目X里反复使用的一个模板:<system> 你是一个严谨的技术助手。 </system> <user> 请解释什么是反向传播,要求用通俗语言。 </user> <assistant> 反向传播可以理解为一种“归责机制”。当网络输出结果出错时,它会从最后一层开始,逐层计算每个参数对误差的贡献,并据此调整参数,让网络下次的输出更接近正确答案。 </assistant>注意这里的关键:不是所有数据都必须有<system>。如果领域简单,可以统一设置一个系统提示词,作为全局常量。但如果你希望同一批数据里覆盖多种角色风格,那系统提示词就必须逐条写到数据里。3.3 数据比例与难度分布怎么定数据不是越多越好,关键在于比例。我在实际项目中见过三种常见问题:指令重复度高,模型开始“背答案”,遇到同义改写就不会了。回答长度过长,模型跟着练出冗长啰嗦的风格。数据难度太大,模型在训不动的样本上反复崩溃,损失震荡不止。经验做法是:把指令按难度分三档,简单模板类占20%,中等推理类占50%,复杂长文类占30%。再按领域业务需求调整,但最低也需保证简单样本占比超过10%,否则模型很容易出现“开始胡说”的现象。数据质量优先级永远高于数据数量。十条精心构造的样本,往往比一百条凑数的样本更能稳定提升模型表现。4. 一次完整的SFT实操复盘4.1 环境准备与基座模型选择以一个模拟项目X为例,业务场景是“面向新员工的制度问答助手”。我先选择一个开源基座模型,参数规模在7B左右,这个体积单卡就能跑,方便迭代。环境层面,我通常在某个开源深度学习框架里搭建训练脚本,用的显卡是一块显存24G左右的消费级GPU。7B模型做全量微调,24G显存基本装不下,但搭配低秩适配技术(LoRA),可以显著压缩显存占用。关键命令分几步:加载基座模型和tokenizer。设置低秩适配参数:秩r取8,缩放因子alpha取16,目标模块选query和value的投影层。冻结基座参数,只训练低秩适配层。配置优化器、学习率、批次大小。4.2 数据处理与模板化的实操细节我从业务方拿到了两千条问答记录,但原始文本非常脏:有人把问题写成口语,有人把回答写成大段邮件格式,还有人答案是纯表格。我先做统一清洗,把每一条都转成上面说的三字段模板。有个细节值得强调:tokenizer处理中文时会把整句切成小块,不同分词策略会直接影响训练效果。我的做法是保留原始标点,不强行分词,让tokenizer自己处理。同时所有样本统一设置最大长度512个token,超过的直接截断,保证一个batch内长度差异不要太大。数据处理流程最后一步是写入训练格式文件,每条样本一个JSON对象:{"system": "...", "user": "新的加班申请需要提前几天提交?", "assistant": "按最新制度,紧急加班需提前一个工作日提交,常规加班需提前三个工作日提交。"}4.3 训练参数怎么定训练参数是我的踩坑重灾区,这里直接给出一个经过多次验证的起点配置,供参考:参数数值说明LoRA秩r8越小越省显存,但太低会限制表达能力LoRA缩放alpha16一般设为r的2倍左右学习率2e-4使用带预热和余弦退火的调度器训练轮次3数据量小时宁可少训几轮批次大小4微调时受显存限制,可用梯度累积替代梯度累积步数8等效批次大小变成32最大长度512按业务数据长度分布调整优化器某个适合Transformer的优化器默认参数即可训练过程中要关注的指标不是训练loss越低越好,而是验证集loss的变化曲线。当训练loss持续下降、验证loss开始上升,就说明模型在过拟合训练集,该停了。我在第一次实验里把轮次拉到10,结果模型学会了模板语气,但一碰到新问题就答非所问。4.4 评估与上线前检查评估阶段我分三步走。第一步做自动评价,比如算BLEU相似度、回答长度、关键词覆盖率;第二步做规则校验,看输出里是否出现禁用词;第三步人工回归,挑二十条典型问题让模型回答,逐条看语气、格式、事实准确性。人工回归这步目前无法完全省掉。模型可能在自动指标上得分很高,但回答里隐藏着事实错误。我在模拟项目X里发现,模型对“下午五点前提交申请”这种时间约束记得很好,但对“紧急情况不受时间限制”这个例外条款经常忽略。这种问题靠自动指标很难发现,只有人工逐条翻。上线前一定要测“拒绝能力”:给模型灌一些它不该回答的问题,比如超纲业务、无关闲聊。如果模型一本正经地编造答案,说明微调还没到位,需要补充这类样本。5. 常见问题与排查实录5.1 loss下降但生成质量变差这是最诡异的问题:训练时loss在下降,看起来一切正常,但推理时生成内容越来越差,甚至开始重复同一句话。我排查后的结论往往是数据格式出了问题。比如训练模板的<assistant>标签和推理时拼接的前缀不一致。模型在训练时看到的是“user-tag + 文本 + assistant-tag”,推理时你只给它“user-tag + 文本”,它无法判断该从哪里开始生成,就可能自问自答,或者把用户输入又重复一遍。解决办法是保证训练和推理使用完全相同的拼接模板。更稳妥的做法是直接在训练时也把“预测下一个词”的目标施加到assistant部分,让模型明确知道只有这段文本需要生成。5.2 灾难性遗忘怎么处理灾难性遗忘指模型通过微调掌握了新行为,却把基座模型原本的能力丢掉了。比如做完SFT之后,模型对业务问答变强了,但让它做基础数学题、常识问答反而变差了。处理思路有三个:混入一部分通用数据。在SFT数据里加入少量常识问答、逻辑推理数据,比例控制在5%到15%。降低学习率。学习率太高容易把旧参数冲掉,新知识又没学稳。使用低秩适配。它只额外训练少量参数,对原有权重的破坏远小于全量微调。我在一次实验里尝试了“通用数据与业务数据7:3混合”,效果比纯业务数据好很多,模型既保留了通用能力,也学会了业务回答风格。5.3 显存溢出与速度瓶颈7B模型搭配LoRA,24G显存是够用的,但我第一次训练时还是爆显存了。原因是批次大小设得太高,加上把最大长度拉到了1024,KV cache和中间激活一起挤爆了显卡。降低显存占用的有效手段:把批次大小降到2或4,配合梯度累积。把最大长度降到业务需要的实际值,比如512或256。开启梯度检查点,用时间换显存。检查是否误把所有模块都加入可训练参数,应只保留LoRA层。训练速度方面,瓶颈绝大多数在数据加载和预处理。我习惯先把所有样本切好token并缓存到磁盘,训练时直接读取,可以避免每步都做分词。5.4 模板标签不一致的隐性问题这是我在某个项目中踩过的一个典型坑:数据里有两批样本,一批用了<user>标签,一批直接写“用户:”,模型在训练中会产生混乱。推理时给它标准模板,它可能乱接标签。现在我的做法是,在训练之前写一个数据校验脚本,检查每条样本是否符合既定模板,如果有缺失标签直接报错。上线之前再用相同模板做一遍推理冒烟测试,基本就能堵住这类问题。6. 微调之后还能做什么如果把SFT比作“按人类的说话方式教模型回答问题”,那后面的对齐其实还有很长一段路。SFT之后通常还会做偏好优化类训练,让模型学会在多个可行回答里选择更优质、更符合用户偏好的一种。那部分需要的就不再是简单的“指令-回答”对,而是带排序或对比的数据。我在模拟项目X里做完SFT之后,明显感觉到模型已经能“好好说话了”,但它偶尔还是会给出不够简洁的答案,或者在某些边缘问题上摇摆不定。这个阶段我选择暂时不上偏好优化的完整流程,而是先通过设计更好的系统提示词和few-shot示例来缓解。微调不是万能药,90%的业务问题其实靠提示词工程加少量SFT就够用了。最后分享一个我的个人心得:真正把项目从“能用”做到“好用”,关键在于数据反馈闭环。SFT模型上线后,持续收集用户的badcase,定期挑出高频问题补样本,再重新微调一轮。我每次迭代都能看到新的效果提升,这也是为什么我现在格外重视数据的清洗和标注流程。训练只是把数据里的“行为先验”搬运到模型参数中,数据什么质量,模型就是什么水平。
做自然语言处理这些年,身边非技术朋友问得最多的一个问题就是:大模型到底是怎么学会“说话”的?我最近带一个内部模拟项目X,顺手整理了大模型算法系列的第五篇内容,正好可以把这块讲透。这篇不谈玄学,只讲两件实事:一是大模型的原理到底长什么样,二是有监督微调(SFT)真正在做什么。如果你刚入门,或者已经跑过一些基座模型但总觉得控制不住效果,这篇文章应该能帮你把脑子里那些零散的概念拼成一张完整地图。我尽量用大白话,也会给一些可以照着抄的经验。先说一句大实话:很多人在微调阶段反复翻车,不是训练代码写得不对,而是对“原理”理解偏了。你只有知道基座模型是怎么被训出来的,才能明白为什么微调数据的格式、比例、难度分布会直接影响最终效果。所以我打算从底层原理一点点往上拆,最后落到SFT的完整实操上。1. 先拆清楚“原理”这两个字到底指什么1.1 大模型的第一性原理:预测下一个词大模型的原理听起来高深,但本质上只有一个动作:根据前文预测下一个词,或者说预测下一个token。你在对话里输入一句话,模型内部做的事情并不是“理解”了你的意思,而是计算一个概率分布——在所有可能的token里,哪个最像下一句的开头。这个动作在预训练阶段被反复执行。模型读入海量文本,看到一个长句子,遮住后面的部分,让自己去猜;猜对了,参数就往正确的方向调一点点;猜错了,损失函数就惩罚它。听起来很简单,但当文本规模足够大、参数规模足够大,这种“暴力统计”就会涌现出让人意外的能力,比如语法能力、事实记忆能力、甚至一部分推理能力。我在模拟项目X里做过一个验证实验:用一个很小的基座模型,只拿一本某领域的操作手册做增量预训练。训练三百个step之后,它能把手册里的固定说法背得滚瓜烂熟,但一旦问它一个需要推理才能回答的问题,它就露馅了。这说明什么?说明“背下来”和“会推理”是两个完全不同的能力来源。此处要理解一个关键:预训练的本质是让模型掌握语言的统计规律与知识分布,而不是让模型学会“按指令办事”。这为后面微调的必要性埋下了伏笔。1.2 基座模型为什么只能算“半成品”很多刚接触大模型的人会有个误会:基座模型不是已经很强了吗,为什么还要微调?因为基座模型的目标只是“预测下一个词”,它并不关心你是不是在“问问题”,也不关心回答是否符合人类偏好。你跟它说“讲个笑话”,它大概率会接一些“讲个笑话”后面最常出现的内容,而不是真的给你讲一个完整好笑的段子。换句话说,基座模型是一个“语言接龙大师”,不是一个“助手”。它缺少三样东西:指令跟随能力:知道什么时候该输出回答,什么时候该拒绝。输出格式约束:能按“要点、步骤、总结”的结构组织内容。安全与偏好对齐:不输出有害内容,尽量符合大多数人的价值观与需求。这三样东西,几乎都不是再喂更多文本就能长出来的,而是需要有人类标注数据去“教”它。这一步就是有监督微调,英文缩写叫SFT。2. 从原理到训练,你需要理解这几块关键拼图2.1 Transformer骨架与参数/上下文现在主流大模型基本都跑在Transformer架构上。它的核心构件大致有三个:tokenizer负责把文本切成数字块,词嵌入层负责把token变成向量,自注意力机制负责让向量之间互相“看”一眼,决定哪些词应该重点关注谁。参数规模是怎么来的?主要来自两个地方:词嵌入矩阵和每一层Transformer里的前馈网络。我们常说的“7B模型”“13B模型”,指的就是全部可训练参数加起来大约七十亿、一百三十亿个。这里有一个容易被忽略的概念:上下文窗口。模型一次能“看到”的token数量是有限的,比如4096个token。所有自注意力计算都发生在这个窗口之内,窗口外的内容模型根本看不见。设计训练数据的时候,如果单条样本过长,要么截断,要么丢弃,否则会严重影响训练效率。2.2 自注意力机制与KV缓存的直觉理解自注意力机制可以用一个生活化的类比来解释。假设你正在读一篇长文,每读到一个词,你都会回头扫一眼前面的关键词,决定哪些词对当前这个词更重要。“注意力”要做的就是给每个历史位置算一个权重,权重越大,表示它对当前词的影响越强。本质上模型会计算三组向量:Query(当前词想问什么)、Key(历史词能回答什么)、Value(历史词的实际内容是什么)。用Query去匹配Key,得到的匹配分数经过排序后,与Value加权求和,就是最终的上下文表示。这件事在训练和推理时有个明显差异:训练时所有词可以并行算,非常快;推理时只能一个词一个词生成,并且每生成一个新词,都要重新计算一遍前面的注意力。为了提速,框架会把已经算好的Key和Value缓存在显存里,这就是KV cache。如果你部署模型时感觉显存吃紧,很多都耗在这上面。2.3 预训练损失函数与“涌现”的边界预训练阶段最常用的损失函数是交叉熵。给定前文tokens,模型会输出下一个token的概率分布,交叉熵就是衡量“模型给正确token分配的概率有多低”的指标。这个值越低,模型预测越准。有个很常见的疑问:既然预训练已经这么强,为什么不无限加大算力和数据,让模型自己悟出“对齐”呢?目前看是不行。学习和对齐是两条方向不同的优化目标。预训练只优化“文本接龙”,对齐还需要人类反馈、偏好排序这些额外信息。单纯增加数据,更多是让模型知识更丰富,而不一定让它更“听话”。可以这么理解:预训练决定模型的“知识储量”,SFT决定模型的“行为风格”。两者不是一回事。3. 有监督微调到底在做什么3.1 SFT的目标不是知识注入,而是行为对齐SFT的完整名称是有监督微调。它做的是这样一件事:拿一批“指令-回答”对,让基座模型去学习从指令到回答的映射。表面上看,模型确实在微调过程中记住了一些新知识,但其核心目的是改变行为模式。我见过很多刚上手的同学,希望用微调给模型“灌”大量领域知识。结果训练完发现,模型对领域的专有名词还是不懂,反而把之前的通用能力给忘掉了。原因就是方向搞反了:如果想让模型掌握某个领域的冷门知识,更有效的手段是向量检索加外挂知识库;SFT更适合教模型“怎么说”,而不是“知道什么”。3.2 一条完整的指令样本长什么样构造SFT数据时,最常见的是三段式结构:系统提示词、用户指令、模型回复。下面是我在模拟项目X里反复使用的一个模板:<system> 你是一个严谨的技术助手。 </system> <user> 请解释什么是反向传播,要求用通俗语言。 </user> <assistant> 反向传播可以理解为一种“归责机制”。当网络输出结果出错时,它会从最后一层开始,逐层计算每个参数对误差的贡献,并据此调整参数,让网络下次的输出更接近正确答案。 </assistant>注意这里的关键:不是所有数据都必须有<system>。如果领域简单,可以统一设置一个系统提示词,作为全局常量。但如果你希望同一批数据里覆盖多种角色风格,那系统提示词就必须逐条写到数据里。3.3 数据比例与难度分布怎么定数据不是越多越好,关键在于比例。我在实际项目中见过三种常见问题:指令重复度高,模型开始“背答案”,遇到同义改写就不会了。回答长度过长,模型跟着练出冗长啰嗦的风格。数据难度太大,模型在训不动的样本上反复崩溃,损失震荡不止。经验做法是:把指令按难度分三档,简单模板类占20%,中等推理类占50%,复杂长文类占30%。再按领域业务需求调整,但最低也需保证简单样本占比超过10%,否则模型很容易出现“开始胡说”的现象。数据质量优先级永远高于数据数量。十条精心构造的样本,往往比一百条凑数的样本更能稳定提升模型表现。4. 一次完整的SFT实操复盘4.1 环境准备与基座模型选择以一个模拟项目X为例,业务场景是“面向新员工的制度问答助手”。我先选择一个开源基座模型,参数规模在7B左右,这个体积单卡就能跑,方便迭代。环境层面,我通常在某个开源深度学习框架里搭建训练脚本,用的显卡是一块显存24G左右的消费级GPU。7B模型做全量微调,24G显存基本装不下,但搭配低秩适配技术(LoRA),可以显著压缩显存占用。关键命令分几步:加载基座模型和tokenizer。设置低秩适配参数:秩r取8,缩放因子alpha取16,目标模块选query和value的投影层。冻结基座参数,只训练低秩适配层。配置优化器、学习率、批次大小。4.2 数据处理与模板化的实操细节我从业务方拿到了两千条问答记录,但原始文本非常脏:有人把问题写成口语,有人把回答写成大段邮件格式,还有人答案是纯表格。我先做统一清洗,把每一条都转成上面说的三字段模板。有个细节值得强调:tokenizer处理中文时会把整句切成小块,不同分词策略会直接影响训练效果。我的做法是保留原始标点,不强行分词,让tokenizer自己处理。同时所有样本统一设置最大长度512个token,超过的直接截断,保证一个batch内长度差异不要太大。数据处理流程最后一步是写入训练格式文件,每条样本一个JSON对象:{"system": "...", "user": "新的加班申请需要提前几天提交?", "assistant": "按最新制度,紧急加班需提前一个工作日提交,常规加班需提前三个工作日提交。"}4.3 训练参数怎么定训练参数是我的踩坑重灾区,这里直接给出一个经过多次验证的起点配置,供参考:参数数值说明LoRA秩r8越小越省显存,但太低会限制表达能力LoRA缩放alpha16一般设为r的2倍左右学习率2e-4使用带预热和余弦退火的调度器训练轮次3数据量小时宁可少训几轮批次大小4微调时受显存限制,可用梯度累积替代梯度累积步数8等效批次大小变成32最大长度512按业务数据长度分布调整优化器某个适合Transformer的优化器默认参数即可训练过程中要关注的指标不是训练loss越低越好,而是验证集loss的变化曲线。当训练loss持续下降、验证loss开始上升,就说明模型在过拟合训练集,该停了。我在第一次实验里把轮次拉到10,结果模型学会了模板语气,但一碰到新问题就答非所问。4.4 评估与上线前检查评估阶段我分三步走。第一步做自动评价,比如算BLEU相似度、回答长度、关键词覆盖率;第二步做规则校验,看输出里是否出现禁用词;第三步人工回归,挑二十条典型问题让模型回答,逐条看语气、格式、事实准确性。人工回归这步目前无法完全省掉。模型可能在自动指标上得分很高,但回答里隐藏着事实错误。我在模拟项目X里发现,模型对“下午五点前提交申请”这种时间约束记得很好,但对“紧急情况不受时间限制”这个例外条款经常忽略。这种问题靠自动指标很难发现,只有人工逐条翻。上线前一定要测“拒绝能力”:给模型灌一些它不该回答的问题,比如超纲业务、无关闲聊。如果模型一本正经地编造答案,说明微调还没到位,需要补充这类样本。5. 常见问题与排查实录5.1 loss下降但生成质量变差这是最诡异的问题:训练时loss在下降,看起来一切正常,但推理时生成内容越来越差,甚至开始重复同一句话。我排查后的结论往往是数据格式出了问题。比如训练模板的<assistant>标签和推理时拼接的前缀不一致。模型在训练时看到的是“user-tag + 文本 + assistant-tag”,推理时你只给它“user-tag + 文本”,它无法判断该从哪里开始生成,就可能自问自答,或者把用户输入又重复一遍。解决办法是保证训练和推理使用完全相同的拼接模板。更稳妥的做法是直接在训练时也把“预测下一个词”的目标施加到assistant部分,让模型明确知道只有这段文本需要生成。5.2 灾难性遗忘怎么处理灾难性遗忘指模型通过微调掌握了新行为,却把基座模型原本的能力丢掉了。比如做完SFT之后,模型对业务问答变强了,但让它做基础数学题、常识问答反而变差了。处理思路有三个:混入一部分通用数据。在SFT数据里加入少量常识问答、逻辑推理数据,比例控制在5%到15%。降低学习率。学习率太高容易把旧参数冲掉,新知识又没学稳。使用低秩适配。它只额外训练少量参数,对原有权重的破坏远小于全量微调。我在一次实验里尝试了“通用数据与业务数据7:3混合”,效果比纯业务数据好很多,模型既保留了通用能力,也学会了业务回答风格。5.3 显存溢出与速度瓶颈7B模型搭配LoRA,24G显存是够用的,但我第一次训练时还是爆显存了。原因是批次大小设得太高,加上把最大长度拉到了1024,KV cache和中间激活一起挤爆了显卡。降低显存占用的有效手段:把批次大小降到2或4,配合梯度累积。把最大长度降到业务需要的实际值,比如512或256。开启梯度检查点,用时间换显存。检查是否误把所有模块都加入可训练参数,应只保留LoRA层。训练速度方面,瓶颈绝大多数在数据加载和预处理。我习惯先把所有样本切好token并缓存到磁盘,训练时直接读取,可以避免每步都做分词。5.4 模板标签不一致的隐性问题这是我在某个项目中踩过的一个典型坑:数据里有两批样本,一批用了<user>标签,一批直接写“用户:”,模型在训练中会产生混乱。推理时给它标准模板,它可能乱接标签。现在我的做法是,在训练之前写一个数据校验脚本,检查每条样本是否符合既定模板,如果有缺失标签直接报错。上线之前再用相同模板做一遍推理冒烟测试,基本就能堵住这类问题。6. 微调之后还能做什么如果把SFT比作“按人类的说话方式教模型回答问题”,那后面的对齐其实还有很长一段路。SFT之后通常还会做偏好优化类训练,让模型学会在多个可行回答里选择更优质、更符合用户偏好的一种。那部分需要的就不再是简单的“指令-回答”对,而是带排序或对比的数据。我在模拟项目X里做完SFT之后,明显感觉到模型已经能“好好说话了”,但它偶尔还是会给出不够简洁的答案,或者在某些边缘问题上摇摆不定。这个阶段我选择暂时不上偏好优化的完整流程,而是先通过设计更好的系统提示词和few-shot示例来缓解。微调不是万能药,90%的业务问题其实靠提示词工程加少量SFT就够用了。最后分享一个我的个人心得:真正把项目从“能用”做到“好用”,关键在于数据反馈闭环。SFT模型上线后,持续收集用户的badcase,定期挑出高频问题补样本,再重新微调一轮。我每次迭代都能看到新的效果提升,这也是为什么我现在格外重视数据的清洗和标注流程。训练只是把数据里的“行为先验”搬运到模型参数中,数据什么质量,模型就是什么水平。