在跑过几轮一卡难求的微调任务之后你就会明白大模型训练这件事其实有两条完全不同的路线一条是捧着源码和论文从深拷贝模型到手动拼接低秩矩阵每一步都在跟底层API搏斗另一条是选择像 LLaMA Factory 这类面向大模型训练全流程的微调工具把数据集处理、模型加载、LoRA/QLoRA训练、评估、导出这些环节打包成一条可复现的生产流水线。这篇工具篇就专门写 LLaMA Factory 的使用指南围绕大模型训练全流程中的关键节点把每一步怎么配置、参数怎么选、坑在哪里讲透。这篇内容适合谁刚接触大模型微调的开发者想把私有数据训进开源模型里的产品团队以及需要在多台机器上反复试参的研究人员。读完之后你应该能独立完成从环境安装、数据准备到发起一次LoRA微调再合并导出模型的全流程操作。我不会把命令堆给你就算完更重要的是帮你建立一套判断依据知道为什么这样选以及当意外发生时该往哪个方向排查。1. 为什么大模型训练要单独需要一款工厂级工具1.1 大模型微调的真实复杂度从环境、显存到调参很多人第一次接触大模型微调是从网上复制了一段代码开始的。代码能跑但换个模型、换份数据就翻车。为什么因为大模型微调链路中隐藏的复杂度远比你想象得多。首先是依赖矩阵。模型基座用 Transformers低秩适配用 PEFT量化用 bitsandbytes训练调度用 accelerate 或 Deepspeed这几样东西的版本必须彼此兼容。Transformers 升级一个大版本PEFT 的 API 可能就变了bitsandbytes 在多卡环境下的版本坑更是经典。很多看似代码逻辑的问题最后定位到都是依赖版本不匹配。其次是显存调度。模型权重、梯度、优化器状态、激活值每一项都在吃显存。同样是微调一个 7B 模型全参微调和 QLoRA 的显存需求能差出一个数量级。即便是都叫 LoRA是否开启梯度检查点、是否启用 4bit 量化显存表现也完全不同。新手很容易在最开始就陷入买了大显存卡还是爆掉的困境。再就是数据格式。大模型微调领域没有一个统一的官方数据规范Alpaca 格式、ShareGPT 格式、OpenAI 格式并存。你手上一批干净的问答数据如果字段名写错训练时要么直接报错要么静默地被当成空数据。最坑的是后者训练跑完了才发现效果一塌糊涂回头检查才发现数据加载阶段就出了问题。最后是权重合并与导出。LoRA 训练结束后得到的只是一个很小的适配器权重需要把它和基座模型合并才能真正变成一个可独立部署的模型。这个步骤有固定范式合并错了位置或者量化状态没有处理好导出的模型会有几 KB 甚至几 MB 的文件异常推理时出现随机乱码。所以你会发现大模型微调不缺能跑的方法缺的是把整个流程约束成规范的工具。这正是 LLaMA Factory 这类工具存在的价值把反复踩坑的环节管起来把我们从手忙脚乱配环境里解放出来把精力放到数据和效果调优上。1.2 同类方案横向对比与选型逻辑我平时接触到的微调路径大致有三种手写 Transformers PEFT使用对话式训练框架再就是 LLaMA Factory。手写方案的灵活度最高调试深度最大但代价是每一次模型切换都意味着维护一套自己的胶水代码。对话式训练框架把交互做得友好但很多在模型支持列表和数据集规范上比较封闭想加一个私有数据格式或者新出的模型往往要改框架源码。LLaMA Factory 恰好站在一个平衡点上。它在底层仍然走的是 Transformers 和 PEFT 的标准接口所以你的模型越接近标准体系兼容性越好同时它提供了 Web UI 和命令行两套入口既能给不懂写代码的团队成员用也能给需要自动化脚本的工程师用。它支持的微调方法覆盖了 LoRA、QLoRA、DoRA也保留了全参微调和冻结层微调的入口具备比较完整的训练方式闭环。对比维度手写 Transformers PEFT对话式训练框架LLaMA Factory上手门槛高需熟悉大量API低界面点击为主中低UI命令行双入口模型支持范围基本都支持自己写通常有限依赖框架更新主流开源模型基本覆盖数据集规范自己定义最大灵活度受框架约束标准格式内置多种范式自动化/复现性自己写脚本灵活但易错弱界面操作难以脚本化强命令行完备权重导出自己写合并逻辑部分支持内置导出脚本我的选型逻辑很简单如果只是实验性验证想法用 Web UI 最快如果要跑线上任务或者做批量实验直接用命令行配 YAML 参数文件。这个工具不是银弹但它把最多人踩的坑给挡住了。实际用下来我在迁移模型和数据格式上的时间至少节约了一大半。2. 环境准备与安装部署从裸机到能跑起来的完整路径2.1 硬件规划与CUDA环境检查在安装任何东西之前先回答一个最基础的问题你手上的硬件能跑哪种规模的微调我给一个经验参考以 7B 级别模型为例。全参微调通常需要 60GB 以上显存也就是至少要 A100 或者多卡拼接LoRA 微调大概需要 16GB 到 24GBQLoRA 开启 4bit 量化后8GB 到 12GB 也有机会跑起来。这不是精确数字因为序列长度、batch size、是否开梯度检查点都会影响实际占用但它可以帮你快速判断方向。确定思路之后检查环境。这几步可以固化成一个流程我自己每次在新的机器上部署都会先跑一遍nvidia-smi python --version pip show torch transformers peft bitsandbytes acceleratenvidia-smi里显示的 CUDA 版本是驱动支持的版本不等于 PyTorch 运行时的 CUDA 版本很多新手在这里困惑。真正决定 PyTorch 能不能调用 GPU 的是你安装 PyTorch 时选择的 CUDA 版本以及驱动版本是否满足它的最低要求。比如 PyTorch 的 cu121 版本要求驱动支持 CUDA 12.1 以上如果你的驱动只支持 CUDA 11.4大概率会在torch.cuda.is_available()这一步直接返回 False。Python 版本建议 3.10 或 3.11兼容性最稳。3.12 也能用但部分依赖比如自定义算子需要在编译阶段处理容易多花时间。Transformers、PEFT、accelerate 这几个核心包的版本建议直接参照项目文档给出的匹配矩阵不要全部追最新版。2.2 安装LLaMA Factory的两种方式安装我推荐直接用源码方式因为你可以随时切换到最新分支也能方便地查看内置脚本的实现细节。整个过程不复杂git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e .-e参数表示可编辑安装这样你把项目目录拉下来之后改源码不用重新安装就能生效。如果你要跑 Web UI还需要确保gradio相关依赖已经装上虽然多数情况下pip install -e .会把核心依赖一起带进来但个别轻量化安装方式下可能缺少 UI 部分。这里我要单独提醒一个老生常谈但依然高频出现的问题bitsandbytes。这个库在 Linux 上表现良好但如果你的开发机是 WindowsQLoRA 4bit 量化这条路会走得比较辛苦轻则版本不兼容重则根本装不上。如果你确实需要在 Windows 上做实验可以考虑用 WSL 环境或者退回到 LoRA 这种不需要量化的方案。另一个经验是把训练环境单独用虚拟环境管理不要在系统 Python 里直接装。我第一次在服务器上偷懒省掉这步结果后来装另一个工具时把 transformers 版本顶了上去之前能跑的训练脚本瞬间全部失控。从那以后每个项目一个虚拟环境成了我自己的铁律。2.3 目录结构与配置文件布局项目装好后我会先快速扫一遍目录。src/下放着训练、推理、Web UI 的入口脚本以我常用的开源版本为例主入口包含train_bash.py和train_web.py这样的脚本前者面向命令行训练后者启动 Gradio 服务。新版本在有些分支里会改成train.py加子命令的方式所以当你看到网上的教程命令对不上时先检查版本差异这非常关键。data/目录是数据集的家里面除了自带示例数据还有一个dataset_info.json注册表文件。你新增的数据集必须在这里登记训练脚本才知道去哪里找文件、每一列对应什么字段。outputs/默认用来存放训练日志和 LoRA 适配器权重saves/或类似目录存放合并导出后的完整模型。我建议你从一开始就固定一个习惯把项目目录里相关的outputs、saves、data这三个位置搞清楚训练之前先确认路径里有没有历史残留文件。我见过有些同学跑了第二次训练因为输出目录里留着上一次的 checkpoint加载时直接恢复旧权重导致效果分析完全失真。3. 数据集是训练的灵魂格式规范与实操准备3.1 Alpaca格式与ShareGPT格式怎么选LLaMA Factory 对数据格式的核心支持是 Alpaca 格式这也是大模型指令微调领域最常见的一种结构。它的基本形态是这样[ { instruction: 请用中文回答下面的问题, input: 什么是量子计算, output: 量子计算是一种利用量子比特进行计算的新型计算范式。 } ]其中instruction是指令或任务描述input是可选输入内容。如果任务本身不需要额外输入可以把input留空或者省略。output是期望模型生成的回答。还有可选的system字段用来描述角色设定。一个字段一个含义非常直观。如果你想微调的是对话模型比如让模型学会多轮聊天Alpaca 格式就有点吃力了。这时候用 ShareGPT 格式更合适它的结构是围绕conversations展开的[ { conversations: [ { role: human, content: 你好介绍一下你自己 }, { role: assistant, content: 我是一名AI助手很高兴为你服务。 } ] } ]怎么选核心看你要解决什么任务。单轮指令问答、结构化信息抽取、代码生成这类任务用 Alpaca 格式足够。多轮客服场景、角色扮演、聊天对话类任务建议用 ShareGPT。如果你的训练目标是让模型更像一个会聊天的人却用单轮指令数据去微调效果往往生硬接不上上下文。3.2 从原始文本到标准数据集的清洗思路现实中的私有数据很少天生就是标准 JSON。我见过从 PDF 里抽出来的问答对从 Excel 导出的表格以及从客服聊天记录里扒下来的对话片段。把这些变成训练数据我的一套固定思路是这样的先丢空值再去重然后统一文本格式最后把完整问答对映射成目标字段。拿一段简单的 Python 脚本示例假设你原始数据存在 CSV 里import json import pandas as pd df pd.read_csv(raw_qa.csv) df df.dropna(subset[question, answer]) df df.drop_duplicates(subset[question]) records [] for _, row in df.iterrows(): records.append({ instruction: row[question], input: , output: row[answer] }) with open(private_qa.json, w, encodingutf-8) as f: json.dump(records, f, ensure_asciiFalse, indent2)这段代码只是骨架实际处理时要格外留意几件事。首先是回答长度如果某条 output 过长最终会被训练时设置的cutoff_len硬生生截断导致一条数据的前半段有监督信号、后半段直接被扔掉模型学到的内容不完整。其次是内容质量标注错误的数据比数据少更可怕模型会把错误知识刻进去后面很难纠正。我自己踩过一个很深的坑从业务系统导出的问答对里答案是包含超链接和格式符的 HTML 片段。训练完模型确实学会了输出那些标签看起来像模像样实际拿去用都是坏数据。清洗阶段把文本规范成纯文本能避免这一整类问题。3.3 数据集注册表配置实操数据文件准备好了还差最后一步告诉 LLaMA Factory 这份数据集长什么样。打开data/dataset_info.json需要新增一个条目示例内容如下{ private_qa: { file_name: private_qa.json, columns: { prompt: instruction, query: input, response: output } } }file_name是放在data目录下的文件名columns把数据集内部的字段映射到 LLaMA Factory 内部的prompt、query、response逻辑上。如果你的 JSON 文件里本身就是 Alpaca 格式的instruction、input、output字段名那映射关系就是上面这样。如果你有自己的字段名比如question和answer那就把它们映射过来。这里我要强调一个细节有些同学喜欢直接用alpaca这个名字把自带示例数据集作为格式模板再把自己的数据渲染成同样结构。这没问题但一旦字段名有差异你需要回到注册表里修改映射否则训练脚本会按照默认字段去读读不到就报 KeyError。遇到这种情况别慌先检查注册表映射多数报错都能从这里解决。我个人的习惯是把私有数据集单独放在一个子目录比如data/private/然后用相对路径在file_name里声明同时维护好注册表条目。这样既能和官方示例数据隔离也方便在多个项目中复用同一份数据。版本管理上我建议用文件名后缀带日期的方式区分迭代版本比如private_qa_v2.json避免训练完发现用的是旧数据。4. Web UI实操一次完整的微调任务4.1 启动Web UI并检查状态LLaMA Factory 的 Web UI 是我最喜欢的部分之一因为它真的把训练门槛降到了很低。启动命令非常简单CUDA_VISIBLE_DEVICES0 python src/train_web.py启动成功后浏览器访问http://127.0.0.1:7860你应该能看到界面。如果端口被占用可以在启动命令后追加--port参数换一个。这里有一个经验点如果在远程服务器上运行本地浏览器访问前需要做端口转发但生产环境我更推荐用命令行而不是 Web UI原因后面会讲。界面加载后第一件事不是急着选模型而是确认下方日志区有没有异常。常见的情况是某些依赖缺失而 UI 仍然能启动但真正点击加载模型时会崩溃。我还遇到过因为 Gradio 版本太新导致界面组件错位的例子这时候检查一下安装时锁定的版本和项目 README 里的要求对齐。4.2 模型加载与微调方法选择在界面里你需要填写模型名称或路径。如果模型是从 Hugging Face 下载的会有一个缓存标识直接填模型名即可如果是本地下载好的部署权重记得填完整的本地路径。然后是最重要的选择微调方法。面板上通常会提供full、freeze、lora、qlora、dora等选项。我做一个快速对比微调方法显存开销训练速度效果风格适合场景full最高最慢改变彻底数据量大、硬件充裕lora中等较快保留基座能力通用场景默认选择qlora低中等略逊于lora单卡显存有限dora中等较慢权重分解更细致对效果敏感且显存可控如果你不是在做前沿研究我的默认建议就是 LoRA。它是最稳的选择训练速度快不容易破坏基座模型的原有能力。显存不够再切换到 QLoRA。全参微调除非你有大量数据和时间预算否则很容易训飞。LoRA 的原理可以这样理解它不像全参微调那样更新整个权重矩阵而是训练一对低秩的小矩阵在推理时把它们的乘积加到原来的权重上去。因此训练出来的参数总量少得多所需显存也小得多。参数设置的关键是lora_rank和lora_alpha通俗点说前者决定低秩矩阵的粗细后者决定改动权重的缩放比例。我用生活的类比跟你说rank 像是你要在墙上画一条杠的粗细alpha 像是这条杠的颜色浓淡。画太粗容易盖住原有墙面画太淡又看不出效果。4.3 关键训练参数逐个拆解在 Web UI 中训练参数是最容易让人眼花缭乱的部分。我不打算按界面顺序逐项讲解而是把影响最大的几个参数拆开讲。第一个是cutoff_len中文叫截断长度。它决定了每条训练样本的最大长度。设太短长文本被切断设太长显存占用飙升训练速度下降。经验值普通指令微调 512 到 1024 够用代码或长文档任务可以设到 2048但这时候要密切关注显存压力。第二个是learning_rate。这是整个训练参数里最关键的开关。全参微调一般用 1e-5 左右但 LoRA 微调建议用更高的值比如 2e-4 到 5e-4。原因是 LoRA 只更新少量参数用较低的全局学习率相当于在很小的参数空间里走碎步收敛非常慢甚至训不动。很多从全参切到 LoRA 的同学继续沿用 1e-5结果训练半天 loss 纹丝不动。第三个是lora_rank和lora_alpha。rank 常用 8、16、32。数据量小用低 rank数据量大可以适当提高。lora_alpha一般是 rank 的 1 到 2 倍。比如 rank16 时alpha32 常见。我建议新手直接用 16 和 32 的组合大多数场景下都是不错的起点。第四是per_device_train_batch_size和gradient_accumulation_steps。这两个配合起来等效于全局 batch size。显存有限时减小前者增大后者。比如显存只允许 batch size 为 2你可以设gradient_accumulation_steps4让模型累积 4 次梯度再更新一次等效 batch size 就是 8。这种方式在训练效果上和真正的大 batch 有细微差别但工程上是常见的折中方案。第五是num_train_epochs。指令微调通常不需要太多轮次3 到 5 轮已经很多了。如果你的数据量很大1 到 2 轮反而效果更稳。我见过有人把 epochs 设到 10结果模型开始过拟合输出变得机械重复而且把训练数据里的噪音也背了下来。最后是学习率调度器。默认的cosine一般表现稳定线性下降也常见。我自己一般不会在这个参数上纠结太久使用默认值即可更重要的是上面几个参数先调对。4.4 开始训练日志与资源监控配置完成后点击开始你会看到训练日志滚动。这一步最能判断训练是否健康。在另一个终端窗口执行命令监控显存nvidia-smi -l 2高端的卡显存使用一般会达到一个稳定的高峰值如果持续上涨直到 OOM就要警惕是不是梯度检查点没开或者cutoff_len设太大。如果显存峰值一直在低位徘徊说明 batch size 调小了训练效率偏低。再看日志里的 loss。正常情况下 loss 会随着步数增加逐渐下降哪怕有波动。如果 loss 像一条直线怎么调学习率都不动那基本可以判断是数据没被正确读取。此时此刻不要浪费时间虐待训练脚本先停车回去检查数据集注册和字段映射。训练过程中可以随时停止LoRA 的 checkpoint 会按步数保存到输出目录。如果你想在中途调整参数再继续这也是可行的但要注意新参数会对你后半程训练产生什么影响。我的建议是除非遇到了发散趋势尽量让一次训练跑完频繁中断再续训反而让结果难以解释。5. 命令行模式可复现、自动化训练的进阶玩法5.1 标准命令模板与参数解读Web UI 很好用但它有两个不可回避的问题不好自动化不好做版本复现。你在界面上点来点去的一组参数如果不拍照记录第二天就忘了。命令行模式就是为这个场景准备的。下面这条命令是我在一台 24GB 显存机器上微调 7B 模型的标准模板CUDA_VISIBLE_DEVICES0 python src/train_bash.py \ --model_name_or_path /data/models/Qwen2.5-7B-Instruct \ --dataset private_qa \ --finetuning_type lora \ --lora_rank 16 \ --lora_alpha 32 \ --output_dir outputs/private_qa_lora_v1 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --learning_rate 2e-4 \ --num_train_epochs 3.0 \ --cutoff_len 1024 \ --logging_steps 10 \ --save_steps 500 \ --fp16逐项解读model_name_or_path指向基座模型权重dataset指向注册表里登记的数据集集名称finetuning_type声明微调方式output_dir是本次训练的输出目录我习惯在目录名里带上版本标记方便后来对比。fp16在支持的显卡上能显著降低显存占用如果你的卡比较新bf16稳定性更好。这个命令跑起来后训练过程全部固定在命令行参数里把这一串存成脚本或者 Makefile下次直接调用即可。我自己的习惯是把各种实验参数组合放在不同脚本里目录名就是实验代号这样几十次实验下来依然能快速定位是哪一组参数产出的结果。5.2 用YAML配置文件管理参数命令一行行写出来可读性还是差了点。对于参数较多的实验我会把参数抽到一个 YAML 文件里。LLaMA Factory 本身也支持通过config参数来指定配置文件这样你只需要维护一份可读性高的配置model_name_or_path: /data/models/Qwen2.5-7B-Instruct dataset: private_qa finetuning_type: lora lora_rank: 16 lora_alpha: 32 output_dir: outputs/private_qa_lora_v1 per_device_train_batch_size: 4 gradient_accumulation_steps: 4 learning_rate: 2e-4 num_train_epochs: 3.0 cutoff_len: 1024 save_steps: 500使用的时候命令变成python src/train_bash.py --config configs/private_qa_lora_v1.yaml这种方式的好处是配置即文档以后无论是自己回看还是交给同事一了然。而且 YAML 天然支持注释可以把当时为什么选这个参数的原因写在旁边这对实验复盘太重要了。我见过太多人只留下一堆命令过两周根本分不清哪个实验对应哪个结果。5.3 一个快速上手的完整案例我拿一个实际场景举例假设我有 1000 条中文客服问答对想把它微调进一个开源 7B 对话模型让模型学会用客服的口吻回答产品问题。数据集准备阶段我把问答对整理成 Alpaca 格式放在data/private/qa_v1.json并在dataset_info.json注册。然后写上面的 YAML 配置。这里有一个重点因为我希望模型保持对话能力同时注入新的业务知识LoRA rank 我选了 16学习率 2e-4训练 3 轮。在实际运行中这批 1000 条数据在单张 24GB 显卡上训练大约需要一两个小时。如果是 8GB 显存的小卡开启 QLoRA 后也能跑但速度会慢一些每个 epoch 耗时会拉长不少。完整过程下来训练输出目录里会存在模型检查点文件。训练完后我先在 Web UI 里加载这个 LoRA 适配器做几轮对话测试确认行为符合预期再进行下一步导出。这套流程跑熟之后换数据、换模型、调参数都只是改配置的事整个训练管线对你来说就成了一个稳定复用的工具。这也就是为什么我强烈建议即使你用 Web UI 入门最终也要把命令行跑通一遍。6. 评估、推理与模型导出训练完不是结束6.1 用Web UI验证微调效果训练结束最兴奋也最容易忽略的是验证环节。先在 Web UI 的对话面板里加载刚训练好的模型注意加载时要区分是加载原模型还是加载 LoRA 适配器。如果你已经训练过并且保存了 adapter应该在模型加载后手动选择对应的 checkpoint 路径。验证不是随便聊两句就完事。我给你一个我在用的冒烟测试思路准备三个难度递进的问题。第一个是大路货问题测试模型基础能力是否还在第二个是训练集里的代表性样本换个问法测试知识是否迁移第三个是训练数据里没有的边界问题测试模型是否胡编。三关都过了才敢说这次微调是有效的。观察的时候重点看几个信号模型回答有没有在重复问题里的字眼是不是因为过拟合开始复读训练数据里的答案以及回答格式是不是崩了——比如不再换行、标点混乱。这些问题往往暗示训练参数或者数据质量有问题最好在导出之前就发现。6.2 量化与性能层面的简单评估模型效果之外还要看它对硬件资源的占用。如果导入完成后模型能正常响应但推理显存占用极高或者速度很慢就要考虑进行量化处理。LLaMA Factory 的 Web UI 里通常提供模型量化选项将模型转换为 8bit 或 4bit。量化级别越低模型体量越小推理越快但效果损失也会逐渐显现。我的建议是如果部署目标是 API 服务优先用 4bit 量化降低部署成本如果微调本身就是目标量化留到最后导出阶段再说。训练过程中默认权重精度是最重要的过早量化会让训练过程引入不必要的误差。另外评估模型的生成速度时要在固定 batch size 和 max length 下测否则数据没有可比性。如果你想要更系统的效果评估可以考虑用一组标准评估集在微调前后分别跑一遍对比分数。这一步对于业务方判断这次微调值不值特别有帮助也是我在项目里长期保持的习惯。6.3 LoRA权重合并与模型导出训练完的 LoRA 适配器只是一堆小文件不能直接用于常规部署。要真正把训练成果固化下来需要合并权重。命令行下对应的脚本通常是python src/export_model.py \ --model_name_or_path /data/models/Qwen2.5-7B-Instruct \ --adapter_name_or_path outputs/private_qa_lora_v1 \ --template qwen \ --finetuning_type lora \ --export_dir models/private_qa_v1_merged \ --export_size 4 \ --export_legacy_format false这段命令把你训练的 adapter 拼回基座模型中得到一个完整可部署的权重目录。template参数要和训练时用的模板保持一致它是决定模型使用哪种角色格式的关键。export_size不是必选参数但如果你想做多份分片导出可以指定分片大小模型理解后做一个合理设定。合并后的模型才是真正可以放进推理框架的产品。不要急着删掉 LoRA adapter它体积小留着方便你后续在同样基座上做对比实验。导出完成后用和训练前相同的一组测试问题重新跑一遍确认导出过程没有伤害模型效果。7. 实战踩坑记录常见问题与排查思路7.1 显存不足OOM报错怎么处理训练到一半突然弹出 CUDA out of memory这是每个人都会遇到的坎。我的处理顺序是这样先把per_device_train_batch_size降为 1再开gradient_accumulation_steps补偿如果还不行开启gradient_checkpointing它通过重计算激活值来省显存虽然训练速度会慢一些但稳定性提升明显再不行就把cutoff_len减小从 1024 降到 512。四步走下来大部分 OOM 都能解决。还有一个容易被忽略的问题如果本机还有其他任务在跑GPU 显存可能根本没清空。用nvidia-smi看一下进程列表把僵尸进程清掉再训练。DeepSpeed 场景下也检查一下 zero 配置是否过于激进。7.2 Loss不下降或训练发散训练开始后 loss 一直持平或者干脆上升然后变成 NaN这是最让人头疼的两种结果。先看数据检查训练样本里有没有大量空输出、异常长文本或者重复数据。再看学习率LoRA 微调学习率过低会导致训练几乎不动高到 1e-3 以上又很容易发散。我的经验是用网格思想在一个小数据集上快速试几组学习率挑一条最平滑且下降的曲线用于正式训练。如果用到fp16注意观察 loss 是不是在某个步数突然变成 NaN这可能是数值溢出。切换bf16通常能缓解。我在某些老卡上测试时bf16不兼容只能用fp16这时候我会把 batch 调小一些再试。7.3 数据集加载报错与格式校验训练脚本在数据加载阶段最常见的报错就是字段名对不上。看到类似 KeyError 的提示第一步回到dataset_info.json确认你注册的columns映射里的字段名真的存在于数据文件中。第二步检查 JSON 文件格式是不是每条记录了多余逗号或者文件编码不是 UTF-8。我推荐在正式训练前先写一个简单的加载脚本把数据集读出来打几条样例确认内容完整再开训练。这一步能节省你几小时的无效训练时间。还有一个细节点如果你的数据文件体积很大几十万条起步加载时间会明显变长。这不是卡死而是它在预处理。这时候不要反复重启训练耐心等一等同时可以观察 CPU 占用确认确实在干活。7.4 问题排查速查表问题现象可能原因排查方向CUDA不可用PyTorch与驱动不匹配检查驱动版本重装匹配的PyTorch显存OOMbatch过大/序列过长降batch、开梯度检查点、减cutoff_lenLoss不降学习率过低/数据未正确读取提升学习率检查数据集映射Loss变成NaN数值溢出切换bf16或降低学习率数据集KeyError字段映射配置错误检查dataset_info.json映射输出乱码权重合并模板错误训练和导出时保持同一模板Web UI启动失败端口占用/Gradio依赖换端口核对依赖版本写在最后训练这件事工具只是一部分。我在实际使用中最深刻的体会是LLaMA Factory 把环境、数据、训练、导出这些环节的重复劳动大幅压缩但数据和实验设计永远是决定结果上限的核心。不要因为工具好用就忽略了对数据的清洗和质检那是一条无数人走弯的路。最后再分享一个小技巧每次训练前把数据集、参数配置、模型版本和最终效果记录在同一个实验日志里。哪怕只是几句话过一个月你再回看时会感激当时的自己。大模型迭代很快今天折腾一晚上的知识可能下个版本就变了但一套好的实验习惯能让你快速跟上变化。