PaddleNLP 中的 ChatGLM-6B：模型解读、全场景微调与量化部署实践

PaddleNLP 中的 ChatGLM-6B模型解读、全场景微调与量化部署实践【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLPChatGLM-6B 是 THUDM 开源的中英双语对话模型PaddleNLP 在其 llm/config/chatglm 目录下提供了从全参微调SFT、LoRA、Prefix Tuning 到 PTQ/GPTQ 量化的完整配置方案。本文以该配置文档为核心结合 llm/config/chatglm 目录下的五份 JSON 配置与 paddlenlp/transformers/chatglm 源码实现系统讲解 ChatGLM-6B 的架构要点、训练参数逐项含义、微调与量化实操以及推理导出方式帮助你在 PaddleNLP 中快速落地 ChatGLM-6B 的定制化部署。1. ChatGLM-6B 模型概述1.1 模型背景ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型基于General Language ModelGLM架构构建参数量约 62 亿6.2B。它使用了与 ChatGLM 相同的技术路线针对中文问答和对话场景进行了专门优化模型在约 1T 标识符tokens的中英双语语料上完成预训练并辅以**监督微调Supervised Fine-tuning、反馈自助Feedback Bootstrap、人类反馈强化学习RLHF**等技术使得 62 亿参数的模型即可生成相当符合人类偏好的回答。在 PaddleNLP 中ChatGLM-6B 的完整实现位于 paddlenlp/transformers/chatglm 目录包含以下核心文件文件职责configuration.py定义ChatGLMConfig配置类与预训练权重资源映射modeling.py实现ChatGLMModel、ChatGLMForCausalLM等模型结构tokenizer.py实现 ChatGLM 分词器LICENSE模型权重使用协议1.2 支持的模型权重配置目录明确列出了 PaddleNLP 支持加载的 ChatGLM-6B 模型权重ModelTHUDM/chatglm-6bTHUDM/chatglm-6b-v1.1其中 v1.1 是优化后的版本。从 configuration.py 中的CHATGLM_PRETRAINED_RESOURCE_FILES_MAP可以看到两个版本均映射到了 PaddleNLP 社区的预训练权重资源加载时只需在配置中指定model_name_or_path即可自动下载对应权重。1.3 模型架构参数源码级从 configuration.py 的ChatGLMConfig类可以看到 ChatGLM-6B 的核心架构参数及其默认值配置项默认值含义vocab_size150528词表大小决定inputs_ids可表示的 token 数量hidden_size4096编码器层与池化层的隐藏维度num_hidden_layers28Transformer 编码器层数num_attention_heads32每层注意力头数inner_hidden_size16384Transformer 前馈网络FFN中间层维度max_sequence_length512模型可处理的最大序列长度实际训练中可由src_length/max_length放宽layernorm_epsilon1e-5LayerNorm 的 epsilon 值use_cacheTrue推理时是否返回并复用 key/value 缓存从这些参数可以看出ChatGLM-6B 是一个 28 层、32 注意力头、隐藏维度 4096、FFN 维度 16384 的标准 GLM 架构模型model_type被定义为chatglm且通过attribute_map {num_layers: num_hidden_layers}兼容不同命名风格的权重文件。2. 模型协议ChatGLM-6B 模型权重的使用必须遵循其开源协议具体协议文本见仓库内的 paddlenlp/transformers/chatglm/LICENSE。在使用模型权重进行训练、微调或商用部署前请务必阅读并确认合规性模型实现代码本身则遵循 Apache 2.0 协议见各源码文件头部声明。3. 快速开始环境与数据准备PaddleNLP 的 LLM 训练脚本统一位于 llm 目录核心入口包括run_finetune.py全参微调、LoRA、Prefix Tuning 等微调入口run_quantization.pyPTQ / GPTQ 量化入口run_pretrain.py预训练入口ChatGLM-6B 可直接加载权重继续预训练。脚本通过PdArgumentParser解析 JSON / YAML 参数文件见 run_finetune.py 中parse_json_file_and_cmd_lines()的分支逻辑因此运行方式统一为# 微调SFT / LoRA / Prefix Tuning python run_finetune.py ./config/chatglm/sft_argument.json # 量化PTQ / GPTQ python run_quantization.py ./config/chatglm/ptq_argument.json数据方面配置文件中dataset_name_or_path指向本地数据目录默认./data数据格式与预处理逻辑可参考 llm/utils/data.py 与 docs/zh/llm/finetune.md。4. 全参微调SFTsft_argument.json 逐项解析sft_argument.json 是 ChatGLM-6B 全参微调的推荐配置也是配置目录中最核心的一份文件。下面逐项说明其含义与调优要点{ model_name_or_path: THUDM/chatglm-6b, dataset_name_or_path: ./data, output_dir: ./checkpoints/sft_ckpts, per_device_train_batch_size: 4, gradient_accumulation_steps: 4, per_device_eval_batch_size: 8, eval_accumulation_steps: 16, num_train_epochs: 3, learning_rate: 3e-05, warmup_steps: 30, logging_steps: 1, evaluation_strategy: epoch, save_strategy: epoch, src_length: 1024, max_length: 2048, fp16: true, fp16_opt_level: O2, do_train: true, do_eval: true, disable_tqdm: true, load_best_model_at_end: true, eval_with_do_generation: false, metric_for_best_model: accuracy, recompute: true, save_total_limit: 1, tensor_parallel_degree: 4, pipeline_parallel_degree: 1, zero_padding: false, unified_checkpoint: true, use_flash_attention: false }4.1 模型与数据model_name_or_path指定THUDM/chatglm-6b或THUDM/chatglm-6b-v1.1首次运行会自动下载权重也支持传入本地权重目录路径。dataset_name_or_path训练/评估数据路径默认为./data。output_dir模型与检查点输出目录默认./checkpoints/sft_ckpts。4.2 训练策略与批大小per_device_train_batch_size 4单卡训练批大小。ChatGLM-6B 参数量较大显存不足时优先调小此项并配合gradient_accumulation_steps保持等效批大小。gradient_accumulation_steps 4梯度累积步数。等效全局批大小 per_device_train_batch_size × gradient_accumulation_steps × 卡数。per_device_eval_batch_size 8单卡评估批大小。eval_accumulation_steps 16评估时梯度累积步数用于控制评估阶段的内存占用。num_train_epochs 3训练轮数。对话任务通常 25 轮即可收敛轮数过多易过拟合。learning_rate 3e-05学习率。全参微调对学习率敏感建议保持在 1e-55e-5 量级。warmup_steps 30前 30 步线性预热帮助训练初期稳定。4.3 序列长度src_length 1024输入源序列最大长度。max_length 2048模型最大序列长度含输入与生成部分。ChatGLM-6B 原生max_sequence_length默认 512这里通过训练配置放宽到 2048训练时数据会按此长度进行 padding/截断。4.4 混合精度与显存优化fp16 true开启混合精度训练。fp16_opt_level O2O2 级别优化半精度算子 少量白名单算子保持 FP32是训练加速与显存节省的推荐配置。recompute true开启激活重计算Activation Recomputation以少量计算换显存是 6B 级模型在单机多卡上稳定训练的关键开关。use_flash_attention false不启用 FlashAttention当前配置默认关闭需确认硬件与算子支持后开启以进一步提升长序列效率。4.5 训练 / 评估控制do_train/do_eval true同时执行训练与评估。logging_steps 1每个 step 打印一次日志。evaluation_strategy/save_strategy epoch每个 epoch 结束时执行评估与保存。load_best_model_at_end true训练结束后自动加载评估指标最优的检查点。metric_for_best_model accuracy以 accuracy 作为最优模型选择指标。eval_with_do_generation false评估时不执行生成式解码加快评估速度。disable_tqdm true关闭进度条输出便于日志采集。save_total_limit 1最多保留 1 份检查点避免磁盘膨胀。4.6 并行策略与检查点tensor_parallel_degree 4张量并行度为 4适合 4 卡及以上环境显存足够时调低到 12 可减少通信开销。pipeline_parallel_degree 1流水线并行度为 1不启用。zero_padding false不启用 zero padding 数据打包策略。unified_checkpoint true启用统一检查点格式见 paddlenlp/trainer/unified_checkpoint使检查点与模型并行策略解耦便于在不同并行配置间迁移和续训。5. 高效微调LoRA 与 Prefix Tuning全参微调对算力要求较高配置目录提供了两种参数高效微调PEFT方案可大幅降低显存与训练成本。5.1 LoRA 微调lora_argument.jsonlora_argument.json 与 SFT 配置主体相同核心差异点在于{ learning_rate: 3e-04, tensor_parallel_degree: 1, lora: true }关键差异说明lora true开启 LoRALow-Rank Adaptation仅训练低秩适配矩阵冻结原始权重可训练参数量大幅减少。learning_rate 3e-04LoRA 的学习率通常比全参微调高一个数量级SFT 为 3e-5这里为 3e-4因为可训练参数少、更新幅度需要更大。tensor_parallel_degree 1单卡即可训练体现 LoRA 的低显存优势。LoRA 的实现位于 paddlenlp/peft/lora如LoRAConfig、LoRAModel训练脚本在 run_finetune.py 中通过paddlenlp.peft导入 LoRA 相关组件lora开关会触发对应分支加载与训练逻辑。训练完成后可使用 llm/tools/merge_lora_params.py 将 LoRA 权重合并回基础模型得到完整的部署权重。5.2 Prefix Tuningpt_argument.jsonpt_argument.json 提供了基于前缀微调的配置{ learning_rate: 3e-02, tensor_parallel_degree: 1, pipeline_parallel_degree: 1, prefix_tuning: true, zero_padding: false, use_flash_attention: false }关键差异说明prefix_tuning true开启 Prefix Tuning在注意力层前插入可学习的 prefix 向量只训练这些前缀参数。learning_rate 3e-02Prefix Tuning 的可训练参数比 LoRA 更少学习率进一步提高到 3e-2 量级。其余参数批大小、序列长度、fp16 等与 SFT 保持一致。实现方面Prefix Tuning 对应 paddlenlp/peft/prefix 中的PrefixConfig、PrefixModelForCausalLM其 prefix 参数构造细节可参考 llm/utils/llm_utils.py 中的get_prefix_tuning_params。5.3 三种微调方式对比方案配置文件可训练参数量学习率适用场景全参 SFTsft_argument.json全部约 62 亿3e-5数据充足、追求最优效果LoRAlora_argument.json低秩矩阵极少3e-4显存受限、快速适配Prefix Tuningpt_argument.json前缀向量最少3e-2极低资源下的轻量适配6. 模型量化PTQ 与 GPTQ针对推理阶段显存与速度优化配置目录提供了两份量化配置均通过 run_quantization.py 执行。6.1 PTQ 后训练量化ptq_argument.jsonptq_argument.json 的关键配置{ per_device_train_batch_size: 8, per_device_eval_batch_size: 8, src_length: 1024, max_length: 2048, do_eval: true, do_ptq: true, unified_checkpoint: true, ptq_step: 16 }要点do_ptq true开启 PTQPost-Training Quantization后训练量化无需反向传播仅用少量校准数据确定量化尺度。ptq_step 16量化校准步数即使用 16 个 batch 的校准数据统计激活分布。其余参数批大小、序列长度、fp16用于校准阶段的数据加载与计算。6.2 GPTQ 量化gptq_argument.jsongptq_argument.json 的关键配置{ do_eval: true, do_gptq: true, unified_checkpoint: true, gptq_step: 8 }要点do_gptq true开启 GPTQ 量化基于二阶信息的权重量化方法通常可量化至 4-bit精度损失更小。gptq_step 8GPTQ 校准步数。量化后的检查点同样以unified_checkpoint格式保存便于后续加载推理。量化相关的底层实现与工具函数见 paddlenlp/quantization如 quantization_utils.py更完整的量化流程说明可参考 docs/zh/llm/quantization.md。7. 推理与模型导出完成微调或量化后可以通过以下方式部署动态图推理使用 llm/predict/predictor.py 加载训练产出含 LoRA 合并后的权重进行对话式推理模型导出通过 llm/predict/export_model.py 将模型导出为静态图模型用于服务化部署服务部署参考 llm/server 与 llm/docs/predict 中的文档搭建推理服务。8. 实践建议与注意事项显存规划6B 级全参微调建议至少 4 卡配合tensor_parallel_degree4、recomputetrue、fp16单卡环境请优先选择 lora_argument.json 或 pt_argument.json。学习率选择全参 3e-5、LoRA 3e-4、Prefix Tuning 3e-2 是配置目录给出的推荐基线实际使用应根据数据量与任务复杂度微调。检查点管理统一开启unified_checkpoint可保证权重在不同张量/流水线并行配置间平滑迁移save_total_limit1可有效控制磁盘占用。权重合规使用 ChatGLM-6B 权重前请确认符合 paddlenlp/transformers/chatglm/LICENSE 协议要求。版本要求run_finetune.py 中的paddlenlp_verison_check要求paddlenlp 3.0.0b3运行前请确保安装满足版本要求的 PaddleNLP。9. 总结PaddleNLP 为 ChatGLM-6B 提供了开箱即用的完整技术栈从 llm/config/chatglm/README.md 的模型说明出发llm/config/chatglm 目录下的五份 JSON 配置覆盖了全参微调、LoRA、Prefix Tuning、PTQ、GPTQ五条主流实践路径配合 paddlenlp/transformers/chatglm 的完整模型实现与 llm 下的训练、量化、推理工具链你可以从零开始完成 ChatGLM-6B 的加载、定制、量化与部署全流程。无论目标是领域对话能力增强、资源受限下的轻量适配还是推理阶段的极致压缩上述配置与源码都能作为直接可用的起点。【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考