PEFT 实战Context-aware Prompt TuningCPT——基于对抗方法的少样本上下文学习提示微调【免费下载链接】peft PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.项目地址: https://gitcode.com/gh_mirrors/pe/peft本文以 PEFT 仓库中 examples/cpt_finetuning/README.md 为骨架结合 CPT 源码实现、官方示例 Notebook 与 测试用例系统讲解如何在少样本分类场景下用 CPTContext-aware Prompt Tuning训练因果语言模型从模板化数据拼接、cpt_tokens_type_mask类型掩码的语义到CPTConfig全部关键参数、投影梯度下降PGD与衰减损失的底层实现再到基于 Hugging FaceTrainer的完整训练与评估流程。读完本文你将能够直接在 PEFT 中复现并定制自己的 CPT 少样本训练方案。一、CPT 是什么融合 ICL、Prompt Tuning 与对抗攻击1.1 背景少样本学习的两种路径与各自的痛点大语言模型LLM的少样本学习主要有两条技术路线基于优化的方法optimization-based对模型参数进行梯度更新。缺点是数据量有限而待更新参数众多极易过拟合上下文学习In-Context Learning, ICL把若干示例拼接到输入之前无需更新参数。缺点在于通常精度低于优化方法且对示例的选择、顺序与格式高度敏感。1.2 CPT 的核心思想Context-aware Prompt TuningCPT正是为了同时缓解上述两个问题而提出的论文 arXiv:2410.17222仓库对应实现见 src/peft/tuners/cpt/。它取三条技术路线的各自长处继承 ICL 的拼接策略将示例拼接在输入之前构造统一的上下文引入 Prompt Tuning 式的学习通过迭代优化对上下文嵌入context embedding进行精炼从训练示例中提取更深层信息借鉴对抗攻击adversarial attacks依据上下文中存在的标签调整输入同时保留用户数据本身的语义价值。CPT 只优化上下文中特定 token 的嵌入模型其余部分保持完全冻结这与 Prompt Tuning 只训练虚拟 token 的思路一脉相承但优化对象是真实示例的上下文嵌入。为了防止过拟合并保证优化稳定性CPT 采用投影梯度下降Projected Gradient Descent, PGD把 token 嵌入约束在接近其原始值的范围内从而保护上下文质量。仓库官方文档 docs/source/package_reference/cpt.md 还补充了另一个关键动机为缓解近因偏差recency bias——即上下文靠后的示例往往比靠前的示例更被模型优先关注——CPT 在损失上引入了衰减系数decay loss factor本文第四章会结合源码详解。1.3 仓库中的实现位置组件文件说明配置类src/peft/tuners/cpt/config.pyCPTConfig继承PromptLearningConfig嵌入模块src/peft/tuners/cpt/model.pyCPTEmbedding投影与损失计算注册入口src/peft/tuners/cpt/init.pyregister_peft_method(namecpt, ...)模型集成src/peft/peft_model.py_cpt_forward前向与损失组装类型枚举src/peft/utils/peft_types.pyCPT CPT示例examples/cpt_finetuning/cpt_train_and_inference.ipynbSST-2 情感二分类完整流程测试tests/test_cpt.py初始化与训练正确性验证在 PEFT 中PeftType.CPT被归类为 prompt learning 方法CPTConfig.is_prompt_learning True并与 Prompt Tuning、Multitask Prompt Tuning 共享同一套 prompt encoder 装配逻辑见 src/peft/peft_model.py。二、数据准备与拼接模板化 Tokenization2.1 模板的角色模板定义了输入-输出对的结构使模型能在统一上下文中理解任务。原文档给出三类要素输入模板Input Templates如input: {sentence}{sentence}占位符替换为真实输入文本输出模板Output Templates如output: {label}格式化标签如positive/negative分隔符Separator Tokens区分输入文本与标签、以及上下文中的不同示例。Notebook 中定义的具体模板如下见 cpt_train_and_inference.ipynbtemplates { input: input: {}, # 输入模板占位符替换为句子 intra_seperator: , # 示例内部输入与输出之间的分隔符 output: output: {}, # 输出模板占位符替换为标签 inter_seperator: \n # 示例之间换行分隔符 }2.2 类型掩码CPT 感知上下文结构的钥匙原文档强调CPT 借助编码在cpt_tokens_type_mask中的上下文结构来实现高效优化根据 token 的不同角色区别对待部分 token 被更新其余 token 仅用于优化作为约束或损失锚点。掩码的数值语义由 Notebook 的preprocess_sentence与源码set_updated_tokens共同确认掩码值角色是否参与嵌入更新后向钩子投影 epsilon 类型0分隔符 / EOS否掩码取余后非 1/2/3极小值1e-101输入模板 token如input: 是format epsilon2输入句子 token是input epsilon3输出模板 token如output: 是format epsilon4标签 token如positive否保持不变极小值1e-10单个样本的掩码由 cpt_train_and_inference.ipynb 中的CPTDataset.preprocess_sentence按顺序生成input_type_mask ( [1] * len(input_template_tokenized_part1) # 输入模板前半 input: [2] * len(input_tokenized) # 输入句子 [1] * len(input_template_tokenized_part2) # 输入模板后半 [0] * len(sep_tokenized) # 输入/输出间分隔符 [3] * len(label_template_part1_tokenized) # 输出模板前半 output: [4] * len(label_tokenized) # 标签文本 [3] * len(label_template_part2_tokenized) # 输出模板后半 [0] * len(eos) # 句末 EOS ) assert len(input_type_mask) len(input_ids) len(attention_mask)这条掩码与论文3.1 / 3.2 / 3.3 节一一对应区分上下文各组成部分的结构3.1、仅更新特定 token3.2、按 token 类型施加不同投影范数3.3。2.3 上下文拼接多示例的掩码递增机制CPT 会把多个示例依次拼接为一段长上下文ICL 风格。拼接时掩码不能简单复制否则模型无法区分这是第几个示例的标签。Notebook 采用按示例递增 4的策略context_ids [] context_attention_mask [] context_input_type_mask [] first_type_mask 0 for i in range(len(context_dataset)): context_ids cpt_context_dataset[i][input_ids] context_attention_mask cpt_context_dataset[i][attention_mask] context_input_type_mask [ i first_type_mask if i 0 else 0 # 类型索引动态递增 for i in cpt_context_dataset[i][input_type_mask] ] first_type_mask 4 # 每个示例后偏移 4这样第 k 个示例的掩码整体落在[4k, 4k4]区间对 4 取余后仍能还原其角色语义这正是源码中大量使用remainder(mask, 4)判断类型的原因。其中0保持不变确保分隔符/EOS 永远不会被更新。2.4 数据规模与 quick_reviewNotebook 默认使用小规模子集保证快速运行quick_review True前 10 条样本作为上下文示例MAX_ICL_SAMPLES 10接下来 100 条作为训练集NUM_TRAINING_SAMPLES 100验证集取前 100 条用于评估。完整评估时可将quick_review设为False。三、CPTConfig 配置详解CPTConfig继承自PromptLearningConfig在 src/peft/tuners/cpt/config.py 中定义。完整参数如下参数类型默认值说明task_typeTaskType必填仅支持TaskType.CAUSAL_LM否则抛ValueErrorconfig.py L83-L84cpt_token_idsOptional[list[int]]None→[0]CPT 提示的 token ID 序列长度即虚拟 token 数cpt_maskOptional[list[int]]None→ 全 1应用于 CPT token 的掩码对应上下文 attention maskcpt_tokens_type_maskOptional[list[int]]None→ 全 1每个 CPT token 的类型掩码见 2.2 节opt_weighted_loss_typeOptional[Literal[none, decay]]none加权损失类型decay启用指数衰减opt_loss_decay_factorOptional[float]1.0损失权重指数衰减因子Notebook 用0.95opt_projection_epsilonOptional[float]0.1输入 token 的投影 epsilonNotebook 用0.2opt_projection_format_epsilonOptional[float]0.1输入/输出模板 token 的投影 epsilonNotebook 用0.1tokenizer_name_or_pathOptional[str]None用于 prompt tuning 初始化的 tokenizer 名称或路径__post_init__中还有三条重要逻辑固定 PEFT 类型self.peft_type PeftType.CPTnum_transformer_submodules 1任务类型校验非CAUSAL_LM直接报错测试 tests/test_cpt.py 也专门验证了SEQ_CLS与缺省task_type两种情况默认值与一致性校验cpt_token_ids缺省为[0]cpt_mask/cpt_tokens_type_mask缺省为全 1且三者长度必须等于num_virtual_tokens len(cpt_token_ids)否则抛ValueErrorconfig.py L86-L100。Notebook 中的完整配置示例SST-2 BLOOM-1.7Bfrom peft import CPTConfig, TaskType, get_peft_model config CPTConfig( task_typeTaskType.CAUSAL_LM, cpt_token_idscontext_ids, # 拼接后的上下文 token ID cpt_maskcontext_attention_mask, # 拼接后的注意力掩码 cpt_tokens_type_maskcontext_input_type_mask, # 拼接后的类型掩码 opt_weighted_loss_typedecay, # 启用指数衰减损失 opt_loss_decay_factor0.95, # 衰减因子 opt_projection_epsilon0.2, # 输入 token 投影半径 opt_projection_format_epsilon0.1, # 模板 token 投影半径 tokenizer_name_or_pathmodel_id, # 用于文本初始化 ) model get_peft_model(base_model, config)注意cpt_token_ids传入的是整段拼接后的上下文token ID可达数十字条样本 × 每条数十 token因此num_virtual_tokens会远大于普通 Prompt Tuning 的虚拟 token 数——这也解释了为什么 CPT 更适合少样本场景见第六章。四、源码级原理CPTEmbedding 如何只动该动的嵌入4.1 双嵌入结构冻结基底 可学习增量CPTEmbeddingsrc/peft/tuners/cpt/model.py维护两套嵌入embedding冻结用cpt_token_ids对应的基座词嵌入初始化requires_grad_(False)保证上下文语义不被破坏delta_embedding可学习零初始化前向时prompt_embeddings delta_prompt_embeddings即最终上下文嵌入训练只产生 delta。def forward(self, indices): with torch.no_grad(): prompt_embeddings self.embedding(indices) # 冻结的原始嵌入 self.delta_embedding.weight.data self.get_projection() # 每次前向先做 PGD 投影 delta_prompt_embeddings self.delta_embedding(indices) return prompt_embeddings delta_prompt_embeddings4.2 选择性梯度更新对应论文不更新标签 tokenset_updated_tokensmodel.py L87-L102在delta_embedding.weight上注册后向钩子按cpt_tokens_type_mask % 4决定哪些梯度被保留mask_input_template torch.remainder(tensor_ICL_mask, 4) 1 mask_input torch.remainder(tensor_ICL_mask, 4) 2 mask_output_template torch.remainder(tensor_ICL_mask, 4) 3 mask mask_input_template | mask_input | mask_output_template def backward_hook(grad): grad grad * mask.to(grad.device) # 只保留类型 1/2/3 的梯度 return grad即输入模板、输入句子、输出模板被更新而标签 token余数 0与分隔符0的梯度被置零。标签包含宝贵的、不可修改的信息因此始终保持原样——这正是原文档强调的Refrain from Updating Label Tokens。4.3 类型感知投影范数PGD 的落点get_epsilonmodel.py L104-L124先按token_dim对 epsilon 做归一化再按类型分发normalized_format_eps self.config.opt_projection_format_epsilon * torch.sqrt(torch.Tensor([self.config.token_dim / 2048])) normalized_input_eps self.config.opt_projection_epsilon * torch.sqrt(torch.Tensor([self.config.token_dim / 2048])) epsilon[(mask 0) (remainder(mask, 4) 1)] normalized_format_eps # 输入模板 epsilon[(mask 0) (remainder(mask, 4) 3)] normalized_format_eps # 输出模板 epsilon[(mask 0) (remainder(mask, 4) 2)] normalized_input_eps # 输入句子 # 其余标签/分隔符保持 MIN_VALUE 1e-10get_projectionmodel.py L126-L142随即对 delta 嵌入做范数投影把每个 token 的扰动限制在其类型对应的 epsilon 球内token_norm torch.norm(new_embeddings_weights, p2, dim1) projection_mask token_norm 0 new_embeddings_weights[projection_mask] * ( epsilon[projection_mask] / (token_norm[projection_mask].clamp(minepsilon[projection_mask])) ).view(-1, 1)当token_norm ≤ epsilon时该式缩放因子为 1不截断当token_norm epsilon时被缩放回 epsilon 半径。于是输入 token 允许更大的扰动opt_projection_epsilon模板 token 扰动更小opt_projection_format_epsilon标签几乎零扰动——既吸取了对抗方法的受限扰动思想又通过保留用户原始数据保证泛化从而降低少样本过拟合。4.4 衰减损失缓解近因偏差calculate_lossmodel.py L144-L202先做标准的因果语言建模 shift用CrossEntropyLoss(reductionnone, ignore_index-100)计算每个 token 的损失随后对每个样本中类型余数为 0 的标签位置按出现顺序施加指数衰减权重idx_labels (shift_cpt_type_mask[i] 0) (shift_cpt_type_mask[i] % 4 0) labels_ids shift_cpt_type_mask[i][idx_labels].unique() decay_value 1 for label_mask_idx in torch.flip(labels_ids, [0]): # 从最后一个示例开始 exponential_decay[shift_cpt_type_mask[i] label_mask_idx] decay_value decay_value * config.opt_loss_decay_factor if config.opt_weighted_loss_type decay: shift_labels_weights[i] * exponential_decay由于掩码随示例递增labels_ids按升序排列flip后最后一个示例获得权重 1越靠前的示例权重越小0.95^k从而对抗上下文末尾示例被过度优先的近因偏差。opt_weighted_loss_typenone时则退化为普通加权平均。4.5 前向装配_cpt_forwardsrc/peft/peft_model.py 中的_cpt_forward把上述机制串起来从 kwargs 取出labels与input_type_mask缺省时全部置 4用get_prompt拿到上下文嵌入并与inputs_embeds拼接生成前缀标签cpt_token_ids并把输入侧input_type_mask整体平移prefix_type_mask.max()避免与上下文掩码冲突依据cpt_type_mask % 4 0判定标签位置其余位置标签置-100前向基座模型后调用CPTEmbedding.calculate_loss覆写loss并返回。这一流程意味着训练时必须把input_type_mask作为额外输入传给模型评估labelsNone时则直接返回基座输出。五、端到端实战SST-2 上的训练与评估5.1 环境与数据集Notebook 使用的基座模型为bigscience/bloom-1b7数据集为 GLUE 的sst2load_dataset(glue, sst2)并把数值标签映射为字符串def add_string_labels(example): example[label_text] positive if example[label] 1 else negative return example context_dataset dataset[train].select(range(MAX_ICL_SAMPLES)).map(add_string_labels) # 前 10 条做上下文 train_dataset dataset[train].select(range(MAX_ICL_SAMPLES, NUM_TRAINING_SAMPLES MAX_ICL_SAMPLES)).map(add_string_labels) # 后 100 条训练模型加载与 CPT 装配base_model AutoModelForCausalLM.from_pretrained( model_id, cache_dir., dtypetorch.float16, device_mapauto ) model get_peft_model(base_model, config) # config 见第三章5.2 自定义 Data Collator由于 CPT 需要同时传递input_ids、attention_mask与input_type_mask训练时还需labelsNotebook 定义了CPTDataCollatorForLanguageModeling按 batch 内最大长度补齐三种序列、labels input_ids.clone()并在评估模式下附加sample_mask用于按样本聚合指标。5.3 训练training_args TrainingArguments( output_dir../., use_cpuFalse, auto_find_batch_sizeFalse, learning_rate1e-4, logging_steps100, per_device_train_batch_size1, # 上下文较长batch 设 1 save_total_limit1, remove_unused_columnsFalse, # 关键保留 input_type_mask 列 num_train_epochs5, fp16True, save_strategyno, report_tonone ) trainer Trainer( modelmodel, argstraining_args, train_datasetcpt_train_dataset, data_collatorCPTDataCollatorForLanguageModeling(tokenizer, trainingTrue, mlmFalse) ) trainer.train()Notebook 记录的本次运行结果为global_step500、training_loss≈0.0982、训练耗时约 90.7 秒约 5.51 样本/秒5 个 epoch损失曲线从 step 100 的 0.4008 稳步下降到 step 500 的 0.0116。注意remove_unused_columnsFalse是必须项否则input_type_mask会被Trainer默认清理导致前向失败。5.4 评估评估时逐条样本前向通过input_type_mask 4定位标签 token再在候选标签词表[negative, positive]上取argmax判定类别model.eval() device model.device for i in range(len(test_dataset)): input_ids, input_type_mask cpt_test_dataset[i][input_ids], cpt_test_dataset[i][input_type_mask] outputs model( input_idstorch.Tensor(input_ids).long().to(device).view(1, -1), labelstorch.Tensor(input_ids).long().to(device).view(1, -1), input_type_masktorch.Tensor(input_type_mask).long().to(device).view(1, -1) ) shifted_logits outputs.logits[..., :-1, :].contiguous()[0, -len(input_ids) 1:] shift_labels torch.Tensor(input_ids).long().to(device).view(1, -1)[0, 1:].contiguous() shifted_input_type_mask torch.Tensor(input_type_mask).long().to(device).view(1, -1)[..., 1:].contiguous() mask shifted_input_type_mask.view(-1) 4 # 只取标签位置 logit, label shifted_logits[mask], shift_labels[mask] all_labels torch.Tensor([tokenizer(w, add_special_tokensFalse)[input_ids] for w in [negative, positive]]).long().to(device).view(-1) prediction logit[0, all_labels].argmax() # 在标签词表内比较 prediction_text negative if prediction 0 else positiveNotebook 在 100 条 quick_review 验证子集上记录到90.0% 的准确率个别样本如holden caulfield did it better .被判错属正常误差范围。六、局限性面向少样本的设计取舍原文档明确强调 CPT 是为少样本few-shot场景设计的原因有二自注意力的二次复杂度上下文示例越多input_ids越长self-attention 的显存开销随序列长度增长额外损失项CPT 需要在上下文上计算带类型掩码与衰减权重的损失进一步增加计算负担。因此当数据集较大时建议限制上下文示例数量把剩余样本仅用于优化即作为训练数据而非拼入上下文从而在显存与效果之间取得平衡。这一约束也解释了为什么示例代码默认MAX_ICL_SAMPLES 10、per_device_train_batch_size 1。七、测试与可复现性仓库在 tests/test_cpt.py 中提供了可运行的验证用例可直接作为最小复现脚本config_textL46-L60显式给出 8 个 token 的cpt_token_ids、cpt_mask与cpt_tokens_type_mask使用decay损失与投影参数0.2 / 0.1config_randomL63-L74不指定 token ID验证默认值路径test_model_initialization_text/test_model_initialization_randomL216-L229验证get_peft_model装配成功test_model_initialization_wrong_task_type_raisesL232-L239验证非CAUSAL_LM任务类型抛出ValueError。测试使用的模型是peft-internal-testing/tiny-random-OPTForCausalLM模板与 Notebook 一致TEMPLATE {input: input: {}, intra_separator: , output: output: {}, inter_separator: \n}便于在无 GPU 的 CI 环境中快速回归。八、引用article{ blau2025cpt, title{Context-Aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods}, author{Tsachi Blau, Moshe Kimhi, Yonatan Belinkov, Alexander Bronstein, Chaim Baskin}, journal{arXiv preprint arXiv:2410.17222}, year{2025} }如需进一步查阅 CPT 的官方 API 文档CPTConfig/CPTEmbedding的 autodoc可参见 docs/source/package_reference/cpt.md与本方法关系最紧密的基线实现可对照 Prompt Tuning 文档 理解其继承关系。【免费下载链接】peft PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.项目地址: https://gitcode.com/gh_mirrors/pe/peft创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考