人工智能大模型预训练微调LoRARLHF强化学习分布式训练【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址https://gitcode.com/gh_mirrors/pa/PaddleNLP点击查看免费下载导读ChatGLM-6B 是智谱 AI 开源的 62 亿参数中英双语对话模型基于 General Language ModelGLM架构构建。本文以 docs/zh/llm/config/chatglm/README.md 为骨架结合 PaddleNLP 仓库中 ChatGLM 的模型实现paddlenlp/transformers/chatglm/与完整的训练/量化配置文件llm/config/chatglm/深入讲解该模型在 PaddleNLP 中的架构细节、支持的权重版本、协议要求以及 SFT 全量微调、LoRA 微调、P-Tuning v2prefix tuning与 PTQ/GPTQ 量化等完整实战配置。读完本文你将能够直接基于仓库提供的 JSON 配置跑通 ChatGLM-6B 的微调与量化流程并理解每个关键参数背后的实现原理。1. 模型介绍基于 GLM 架构的 62 亿参数中英双语对话模型ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型基于 General Language Model (GLM) 架构设计拥有约 62 亿参数。该模型与 ChatGLM 使用相同的核心技术并针对中文问答和对话场景进行了专门优化。从训练数据与训练方法来看ChatGLM-6B 经过约 1T一万亿标识符的中英双语语料训练并辅以以下三种关键技术监督微调SFT使用人工标注的高质量对话数据进行指令对齐反馈自助通过模型自身生成与筛选来扩充对齐数据人类反馈强化学习RLHF使用人类偏好反馈进一步优化生成质量。得益于上述技术加持仅 62 亿参数的 ChatGLM-6B 已经能够生成相当符合人类偏好的回答。1.1 支持的模型权重PaddleNLP 官方支持以下两个 ChatGLM-6B 权重版本见 docs/zh/llm/config/chatglm/README.mdModelTHUDM/chatglm-6bTHUDM/chatglm-6b-v1.1其中THUDM/chatglm-6b-v1.1是对原始chatglm-6b的升级版本在序列长度、对话质量等维度上有所改进。两个版本的权重下载地址均配置在 paddlenlp/transformers/chatglm/configuration.py 的CHATGLM_PRETRAINED_RESOURCE_FILES_MAP中PaddleNLP 会自动从 BOS 对象存储下载对应的model_state.pdparams权重文件无需手动下载。1.2 模型协议在使用 ChatGLM-6B 模型权重前必须遵循其官方发布的 License 条款。该协议的完整文本位于仓库内 paddlenlp/transformers/chatglm/LICENSE模型权重仅允许在满足该协议约束的前提下用于学术研究与商业使用请在训练、部署前仔细阅读。2. 仓库内模型实现从配置类到建模代码ChatGLM 的完整实现位于 paddlenlp/transformers/chatglm/包含四个核心文件文件职责configuration.pyChatGLMConfig配置类定义模型结构与超参数modeling.py模型主体注意力、MLP、堆叠层、因果 LM 等tokenizer.py基于ice_text.model的分词器及特殊 token 定义LICENSE模型权重使用协议2.1 ChatGLMConfig核心超参数一览ChatGLMConfig 的默认参数与 ChatGLM-6B 原始架构保持一致关键配置项如下以__init__实际默认值为准参数默认值含义vocab_size130528词表大小即模型可表示的 token 数量hidden_size4096隐藏层维度num_hidden_layers28Transformer 编码器层数num_attention_heads32每层注意力头数inner_hidden_size16384FFN 中间层维度max_sequence_length2048最大序列长度layernorm_epsilon1e-5LayerNorm 的 epsilonposition_encoding_2dTrue是否使用 2D 位置编码ChatGLM 特有quantization_bit0量化位宽0 表示不量化pre_seq_len/prefix_projectionNone / FalseP-Tuning v2 前缀长度与前缀投影开关attention_scaleTrue注意力是否缩放activationgeluFFN 激活函数此外还有bos_token_id130004、eos_token_id130005、pad_token_id3、mask_token_id130000、gmask_token_id130001等特殊 token id。同时该类定义了attribute_map {num_layers: num_hidden_layers}方便与 HuggingFace 权重进行参数名对齐加载。2.2 模型结构2D 位置编码与 P-Tuning v2 前缀编码器modeling.py 完整实现了 GLM 架构的各个组件RotaryEmbeddings旋转位置编码模块实现 2D 位置编码position_encoding_2dTrue时同时编码 token 位置与块内位置这也是 ChatGLM 区别于常规 GPT 风格模型的关键特征ChatGLMAttention标准多头自注意力要求hidden_size必须能被num_attention_heads整除ChatGLMBlock/ChatGLMMLPTransformer 层与 GELU 激活的 FFNChatGLMStack/ChatGLMModel/ChatGLMForCausalLM堆叠层、基础模型与因果语言模型头PrefixEncoderP-Tuning v2 的前缀编码器支持两种模式——无投影时直接使用nn.Embedding生成[batch, prefix_len, 2*num_layers*hidden_size]的 past key/value开启prefix_projection时先经过两层 MLPLinear Tanh Linear编码前缀。这一实现正是 llm/config/chatglm/pt_argument.json 中 prefix tuning 配置的底层支撑。2.3 分词器与特殊 tokentokenizer.py 定义了ChatGLMTokenizer其max_model_input_sizes对THUDM/chatglm-6b与THUDM/chatglm-6b-v1.1均设置为 2048。特殊 token 包括eos_tokeneopend of promptmask_token[MASK]gmask_token[gMASK]前缀掩码标记ChatGLM 使用[gMASK]sop拼接输入pad_tokenpad3. 实战一全量监督微调SFTPaddleNLP 为 ChatGLM-6B 提供了开箱即用的 SFT 训练配置llm/config/chatglm/sft_argument.json使用llm/run_finetune.py入口即可启动。3.1 SFT 配置逐项解析{ model_name_or_path: THUDM/chatglm-6b, dataset_name_or_path: ./data, output_dir: ./checkpoints/sft_ckpts, per_device_train_batch_size: 4, gradient_accumulation_steps: 4, per_device_eval_batch_size: 8, eval_accumulation_steps: 16, num_train_epochs: 3, learning_rate: 3e-05, warmup_steps: 30, logging_steps: 1, evaluation_strategy: epoch, save_strategy: epoch, src_length: 1024, max_length: 2048, fp16: true, fp16_opt_level: O2, do_train: true, do_eval: true, disable_tqdm: true, load_best_model_at_end: true, eval_with_do_generation: false, metric_for_best_model: accuracy, recompute: true, save_total_limit: 1, tensor_parallel_degree: 4, pipeline_parallel_degree: 1, zero_padding: false, unified_checkpoint: true, use_flash_attention: false }关键参数说明model_name_or_path模型权重名或本地路径这里使用仓库支持的THUDM/chatglm-6b可替换为THUDM/chatglm-6b-v1.1dataset_name_or_path/output_dir训练数据目录与 checkpoint 输出目录per_device_train_batch_size4与gradient_accumulation_steps4单卡 batch 4、梯度累积 4 步等效全局 batch 为 16多卡时再乘以卡数src_length1024/max_length2048输入源文本最大长度与拼接后的最大序列长度需不大于模型的max_sequence_length2048fp16: truefp16_opt_level: O2启用混合精度训练并采用 O2 优化级别可在 24GB 显存级别单卡配合并行与重计算完成训练recompute: true开启激活重计算以显著降低显存占用tensor_parallel_degree4/pipeline_parallel_degree14 路张量并行、1 路流水线并行即采用 TP4 的分片策略把 6B 模型参数切分到 4 张卡上unified_checkpoint: true启用统一混合并行 checkpoint 机制对应 paddlenlp/trl/sft_config.py 中的unified_checkpoint参数便于 TP/PP/DP 混合并行下的权重保存与加载use_flash_attention: false默认关闭 FlashAttention如硬件支持可开启以加速注意力计算并进一步降低显存eval_with_do_generation: false评估时直接计算 lossaccuracy 指标不进行自回归生成以提升评估速度metric_for_best_model: accuracy配合load_best_model_at_end在每轮评估后保存最优模型。3.2 启动命令python -m paddle.distributed.launch llm/run_finetune.py llm/config/chatglm/sft_argument.json4. 实战二LoRA 参数高效微调LoRA 仅训练低秩增量矩阵参数量与显存开销远小于全量微调非常适合单卡场景。llm/config/chatglm/lora_argument.json 提供了现成配置与 SFT 配置的差异主要体现在learning_rate从3e-05提高到3e-04LoRA 常用更大的学习率tensor_parallel_degree从 4 降为 1单卡即可运行新增lora: true在 llm/run_finetune.py 中会据此调用LoRAModel包装原模型仅训练注入的 LoRA 参数LoRA 实现位于 paddlenlp/peft/lora/。其余训练超参数batch、epochs、序列长度、fp16、recompute、unified_checkpoint 等与 SFT 一致。启动命令python -m paddle.distributed.launch llm/run_finetune.py llm/config/chatglm/lora_argument.json训练完成后可通过llm/tools/merge_lora_params.py将 LoRA 权重合并回原模型得到可直接部署的完整模型。5. 实战三P-Tuning v2 前缀微调llm/config/chatglm/pt_argument.json 提供了 ChatGLM-6B 的 P-Tuning v2prefix tuning配置{ model_name_or_path: THUDM/chatglm-6b, dataset_name_or_path: ./data, output_dir: ./checkpoints/pt_ckpts, per_device_train_batch_size: 4, gradient_accumulation_steps: 4, per_device_eval_batch_size: 8, eval_accumulation_steps: 16, num_train_epochs: 3, learning_rate: 3e-02, warmup_steps: 30, logging_steps: 1, evaluation_strategy: epoch, save_strategy: epoch, src_length: 1024, max_length: 2048, fp16: true, fp16_opt_level: O2, do_train: true, do_eval: true, disable_tqdm: true, load_best_model_at_end: true, eval_with_do_generation: false, metric_for_best_model: accuracy, recompute: true, save_total_limit: 1, tensor_parallel_degree: 1, pipeline_parallel_degree: 1, prefix_tuning: true, zero_padding: false, use_flash_attention: false }与 LoRA 配置的差异点learning_rate进一步提高到3e-02前缀参数是随机初始化的新参数需要较大学习率快速收敛新增prefix_tuning: true在 llm/run_finetune.py 中会调用get_prefix_tuning_params(model)提取模型的注意力头数、隐藏层数、hidden_size 等维度构造PrefixConfig后用PrefixModelForCausalLM包装模型。其底层正是 2.2 节介绍的PrefixEncoder支持prefix_projection两层 MLP 编码方案。注意源码中已注明 prefix tuning 目前不支持流水线并行pipeline_parallel_degree需保持为 1这也是该配置中 TP/PP 均为 1 的原因。6. 实战四PTQ 与 GPTQ 量化PaddleNLP 通过 llm/run_quantization.py 提供量化能力仓库为 ChatGLM-6B 准备了两种后训练量化配置。6.1 PTQ 静态量化ptq_argument.json{ model_name_or_path: THUDM/chatglm-6b, per_device_train_batch_size: 8, per_device_eval_batch_size: 8, eval_accumulation_steps: 16, src_length: 1024, max_length: 2048, fp16: true, fp16_opt_level: O2, dataset_name_or_path: ./data, output_dir: ./checkpoints/ptq_ckpts, do_eval: true, eval_with_do_generation: false, do_ptq: true, unified_checkpoint: true, ptq_step: 16 }PTQ 通过在校准数据上统计激活值的量化范围ptq_step16表示使用 16 个校准 step来完成静态量化do_ptq: true触发该流程。6.2 GPTQ 量化gptq_argument.json{ model_name_or_path: THUDM/chatglm-6b, per_device_train_batch_size: 8, per_device_eval_batch_size: 8, eval_accumulation_steps: 16, src_length: 1024, max_length: 2048, fp16: true, fp16_opt_level: O2, dataset_name_or_path: ./data, output_dir: ./checkpoints/gptq_ckpts, do_eval: true, eval_with_do_generation: false, do_gptq: true, unified_checkpoint: true, gptq_step: 8 }GPTQ 是逐层基于 Hessian 信息进行权重量化的后训练量化方法gptq_step8表示使用 8 个校准 step。模型配置类中的quantization_bit参数默认 0则用于控制加载权重时的量化位宽。启动命令统一为python llm/run_quantization.py llm/config/chatglm/gptq_argument.json量化完成后输出的模型可配合 llm/docs/quantization.md 中的部署流程使用显著降低显存占用与推理延迟。7. 常用文件索引用途路径模型官方文档docs/zh/llm/config/chatglm/README.mdSFT 配置llm/config/chatglm/sft_argument.jsonLoRA 配置llm/config/chatglm/lora_argument.jsonP-Tuning 配置llm/config/chatglm/pt_argument.jsonPTQ 配置llm/config/chatglm/ptq_argument.jsonGPTQ 配置llm/config/chatglm/gptq_argument.json模型配置类paddlenlp/transformers/chatglm/configuration.py模型实现paddlenlp/transformers/chatglm/modeling.py分词器paddlenlp/transformers/chatglm/tokenizer.py权重协议paddlenlp/transformers/chatglm/LICENSE微调入口llm/run_finetune.py量化入口llm/run_quantization.py8. 总结ChatGLM-6B 是 PaddleNLP 中开箱即用、覆盖完整训练链路的双语对话模型一方面仓库在 paddlenlp/transformers/chatglm/ 中完整实现了 GLM 架构2D 位置编码、P-Tuning v2 前缀编码器、专用分词器等并支持THUDM/chatglm-6b与THUDM/chatglm-6b-v1.1两个权重版本另一方面llm/config/chatglm/ 下的五份 JSON 配置覆盖了 SFT 全量微调、LoRA、P-Tuning v2、PTQ 与 GPTQ 五种主流方案可直接修改model_name_or_path、dataset_name_or_path、并行度与序列长度等参数后投入实际训练。需要注意的是模型权重使用须严格遵守仓库内 LICENSE 的协议条款。赞分享人工智能大模型预训练微调LoRARLHF强化学习分布式训练【免费下载链接】PaddleNLPEasy-to-use and powerful LLM and SLM library with awesome model zoo.项目地址https://gitcode.com/gh_mirrors/pa/PaddleNLP点击查看免费下载相关推荐PaddleNLP 中 ChatGLM-6B 的微调、量化与推理全指南PaddleNLP 中 ChatGLM 6B 的微调、量化与推理全指南 导读 ChatGLM 6B 是智谱 AI 开源的中英双语对话语言模型基于 GLMGe人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLPPaddleNLP 中的 ChatGLM-6B模型解读、全场景微调与量化部署实践PaddleNLP 中的 ChatGLM 6B模型解读、全场景微调与量化部署实践 ChatGLM 6B 是 THUDM 开源的中英双语对话模型PaddleN人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLPPaddleNLP 中 BLOOM 大模型配置与微调量化实战指南PaddleNLP 中 BLOOM 大模型配置与微调量化实战指南 导读 本文以 PaddleNLP 仓库中 BLOOM 模型配置文档 docs/en/llm/人工智能大模型预训练微调LoRARLHF强化学习分布式训练模型推理服务推理引擎模型量化模型压缩本地部署NLP上一篇Rowboat 技术解读开源 AI 桌面同事的本地优先记忆、知识图谱与 MCP 扩展实战指南下一篇Pydantic AI 与 MCP从 MCP 客户端到 MCP 服务器的完整接入指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考