简介本资源为自然语言生成NLG领域的专业讲义面向自然语言处理方向的研究生、科研人员及希望深入理解数据导向文本生成方法的开发者。内容聚焦NLG从知识密集型方法向数据驱动范式的转变涵盖概率模型、语义透明语料库、实证评估以及文本到文本生成中的连贯性问题并介绍了基于高斯混合模型的内容排序算法等创新方案适合具备一定NLP基础、希望系统掌握NLG前沿方法的中高级读者。资源包共1个PDF文件大小约6.24MB内容完整便于离线阅读与检索。目前已有115人学习下载可作为课程讲义或科研参考。读者可从中获得NLG核心任务的建模思路、数据导向方法的实践路径、评估体系的设计逻辑以及天气预报、医学信息总结等典型应用场景的生成策略对开展相关研究或工程落地具有直接参考价值。1. 自然语言生成的经验方法与数据导向实践为什么你的模型总在“胡说八道”做过自然语言生成NLG的人大概都有过这种体验模型在验证集上 loss 降得漂漂亮亮BLEU、ROUGE 也刷到了看起来能写进汇报的数值结果一上线生成的东西要么车轱辘话来回说要么一本正经地编造事实要么在长文本后半段直接“失忆”。这不是玄学绝大多数情况下问题不在模型结构本身而在数据管线和训练策略的细节里。自然语言生成的经验方法与数据导向实践核心就一句话把“数据决定上限、方法决定下限”这件事拆成可执行的步骤。它解决的是从原始语料清洗、模板构造、指令对齐到解码策略调参、评测闭环这一整条链路上的工程问题。适合已经跑通过一个 baseline、但生成质量卡在瓶颈的从业者也适合刚接手 NLG 任务、不想在数据坑里反复翻车的新手。下面按“先立住理论、再动手复现”的顺序把这条链路讲透。2. 数据管线怎么搭从原始语料到可训练样本的四个关键环节自然语言生成的效果七成看数据。很多人一上来就调模型超参结果折腾一周不如把训练集里的脏数据清一遍。数据导向实践的第一步是建立一条可复现、可审计的数据管线。这条管线通常包含采集、清洗、构造、切分四个环节每个环节都有明确的验收标准。2.1 采集与去重为什么重复样本是生成退化的头号元凶采集阶段最容易被忽视的是去重。当训练语料里存在大量近似重复的样本时模型会倾向于记忆这些高频模式导致生成结果多样性骤降表现为“不管输入什么输出都长得差不多”。常见做法是先用精确去重哈希比对处理完全相同的文本再用 MinHash 或 SimHash 做近似去重。# 基于 MinHash 的近似去重示例 from datasketch import MinHash, MinHashLSH def build_minhash(text, num_perm128): m MinHash(num_permnum_perm) # 按字符 n-gram 切分中文场景下 n3 比较稳 for i in range(len(text) - 2): m.update(text[i:i3].encode(utf-8)) return m def dedup_corpus(corpus, threshold0.8): lsh MinHashLSH(thresholdthreshold, num_perm128) keep [] for idx, text in enumerate(corpus): m build_minhash(text) # 查询是否已有近似样本 if not lsh.query(m): lsh.insert(str(idx), m) keep.append(text) return keep这段代码的逻辑是对每条文本构造 MinHash 签名用 LSH 索引做近似查询只有与已有样本相似度低于阈值的才保留。num_perm控制签名长度越大越精确但越慢128 是常用折中threshold设 0.8 意味着相似度超过 80% 就判定为重复。实际项目中中文语料的阈值可以放到 0.7 到 0.85 之间太低会误删有效样本太高则去重不彻底。2.2 清洗与规范化把噪声挡在训练之前清洗的目标是去掉对生成无益的噪声同时保留语言的自然多样性。常见噪声包括 HTML 标签、乱码字符、多余空白、以及长度极端异常的样本。这里的关键是“规范化”而不是“标准化”——不要把文本改得过于规整否则模型学到的语言分布会偏离真实场景。import re import unicodedata def clean_text(text, min_len10, max_len512): # 去除 HTML 标签 text re.sub(r[^], , text) # 统一 Unicode 编码去除控制字符 text unicodedata.normalize(NFKC, text) text .join(ch for ch in text if unicodedata.category(ch)[0] ! C) # 压缩连续空白 text re.sub(r\s, , text).strip() # 长度过滤 if len(text) min_len or len(text) max_len: return None return text参数上min_len和max_len要根据任务定。短文本生成如摘要可以设 10 到 256长文本生成如故事续写可以放宽到 1024。注意unicodedata.category(ch)[0] ! C这行会去掉控制字符但也会误伤一些特殊符号如果任务需要保留表情或特殊标记要单独放行。2.3 样本构造指令微调数据的三种组织方式到了构造阶段核心问题是怎么把原始语料变成“输入-输出”对。常见有三种方式模板填充、人工标注、以及模型辅助生成。模板填充成本最低但多样性差人工标注质量高但贵模型辅助生成适合冷启动但需要严格过滤。构造方式成本多样性适用阶段模板填充低低冷启动、快速验证人工标注高高核心任务、评测集模型辅助中中数据扩充、长尾补充我一般会先用模板填充跑通全流程再用模型辅助生成扩充数据最后用人工标注修正评测集。这样既保证了迭代速度又不会让评测集被模型“污染”。2.4 切分与泄漏检查训练集和验证集到底该怎么分切分看似简单但 NLG 任务里最容易出的问题是数据泄漏。比如同一篇文章的不同段落被分到了训练集和验证集模型在验证集上表现虚高。常见做法是按“文档”或“主题”切分而不是按“样本”随机切分。from sklearn.model_selection import GroupShuffleSplit def split_by_group(samples, groups, test_size0.1): gss GroupShuffleSplit(n_splits1, test_sizetest_size, random_state42) train_idx, val_idx next(gss.split(samples, groupsgroups)) return [samples[i] for i in train_idx], [samples[i] for i in val_idx]groups可以是文档 ID 或主题标签确保同一组的数据只出现在一个集合里。random_state固定后切分结果可复现方便后续对比实验。3. 训练策略怎么定从损失函数到解码参数的调优路径数据管线搭好之后训练策略决定了模型能把这个数据用到什么程度。这一章讲三个最影响生成质量的选择损失函数、课程学习、以及解码参数。3.1 损失函数选择交叉熵之外什么时候该加辅助损失标准做法是 token 级交叉熵但它有个已知问题训练时用 teacher forcing推理时用自回归两者存在 exposure bias。缓解方式之一是加入计划采样scheduled sampling在训练后期逐步用模型自己的预测替换真实标签。# 计划采样的简化实现思路 def scheduled_sampling_prob(step, total_steps, k10): # 从 0 线性增长到 1控制用模型预测替换真实标签的概率 return min(1.0, step / (total_steps / k))k控制增长斜率k 越大替换得越慢。实际用的时候前 20% 训练步保持纯 teacher forcing中间 60% 逐步替换最后 20% 完全用模型预测。这样模型在推理时的表现会更稳定。另一个常用辅助损失是覆盖损失coverage loss用于缓解生成中的重复问题。它惩罚注意力机制对同一位置的反复关注在摘要和翻译任务里效果明显。3.2 课程学习先易后难到底有没有用课程学习在 NLG 里的效果因任务而异。我的经验是在长文本生成和复杂指令跟随任务上先易后难确实能加速收敛但在短文本生成上收益不明显有时甚至因为打乱数据分布而变差。具体做法是按样本长度或复杂度排序分阶段喂给模型。比如前 30% 训练步只用长度低于中位数的样本中间 40% 用全部样本最后 30% 侧重长样本和难样本。def curriculum_sort(samples, keylength): # 按长度排序短样本在前 return sorted(samples, keylambda x: len(x[key])) def get_batch(samples, step, total_steps): n len(samples) if step total_steps * 0.3: # 只用前 50% 短样本 pool samples[:n // 2] elif step total_steps * 0.7: pool samples else: # 侧重后 50% 长样本 pool samples[n // 2:] return sample_batch(pool)注意课程学习不是万能药如果数据本身分布很均匀强行排序反而会引入偏差。建议先跑一个不做课程学习的 baseline再决定要不要加。3.3 解码参数temperature、top-p、repetition penalty 怎么配解码策略直接决定生成文本的“性格”。temperature 控制随机性top-p 控制候选集大小repetition penalty 控制重复程度。这三个参数没有万能值但有一些经验区间。参数常用区间效果适用场景temperature0.7-1.0越低越确定越高越多样创意写作调高事实问答调低top-p0.9-0.95越小候选越少一般任务 0.9 起步repetition penalty1.0-1.2越高越不重复长文本生成建议 1.1 左右我一般会先用 temperature0.9、top-p0.9、repetition penalty1.1 跑一版然后根据具体问题微调。如果生成太死板把 temperature 提到 1.0如果开始胡说降到 0.7。如果重复严重先把 repetition penalty 提到 1.15还不行再考虑加覆盖损失。4. 评测与迭代怎么判断生成质量真的变好了NLG 的评测是个老大难。自动指标BLEU、ROUGE、BERTScore和人工评测经常不一致而且自动指标容易被“刷”。这一章讲怎么建立一套能指导迭代的评测闭环。4.1 自动指标的选择与陷阱BLEU 和 ROUGE 基于 n-gram 重叠对同义替换和语序变化不敏感。BERTScore 用预训练模型算语义相似度更贴近人类判断但计算成本高而且依赖底层模型的质量。from bert_score import score def compute_bertscore(cands, refs, langzh): P, R, F1 score(cands, refs, langlang, verboseFalse) return F1.mean().item()lang参数要设对中文用 zh。注意 BERTScore 在长文本上会稀释句子级差异建议分段计算再平均。另外任何自动指标都只能作为参考不能替代人工抽查。4.2 人工评测表怎么设计才不流于形式人工评测最大的问题是标注者之间不一致。解决办法是把评测维度拆细每个维度给明确的操作定义。常见维度包括流畅性、相关性、事实一致性、多样性。维度评分范围操作定义流畅性1-51语法错误多5母语者水平相关性1-51完全跑题5完全切题事实一致性1-51多处事实错误5无事实错误多样性1-51重复严重5表达丰富每个维度至少两人独立打分计算一致性系数如 Cohens kappa。如果一致性低于 0.6说明定义不够清晰要重新培训标注者。4.3 错误分析与迭代优先级拿到评测结果后不要急着调模型。先把错误分类统计每类的占比再决定先修哪个。常见错误类型包括重复、跑题、事实错误、截断、格式错误。def error_analysis(samples, predictions): stats {repeat: 0, off_topic: 0, factual: 0, truncated: 0} for s, p in zip(samples, predictions): if has_repeat(p): stats[repeat] 1 if is_off_topic(s, p): stats[off_topic] 1 # 其他错误类型类似 return stats按占比排序先修占比最高的那类。如果重复占 40%优先加 repetition penalty 或覆盖损失如果跑题占 30%优先检查数据里的输入输出对齐质量。5. 避坑与排查NLG 实践中最容易翻车的五个地方这一章记录几个我踩过的坑每个都按“现象→原因→解决”写清楚。现象一验证集 loss 持续下降但生成质量越来越差。原因通常是数据泄漏或评测集被模型见过。解决方法是按文档切分数据并检查评测集是否混入了训练语料的近似样本。用 MinHash 对训练集和评测集做交叉去重能挡住大部分这类问题。现象二生成结果里频繁出现训练语料中的原句。这是过拟合的典型表现尤其在数据量小、模型参数量大的时候。解决方法是增加数据量、加 dropout、或者降低模型规模。如果数据实在不够可以用回译或模型辅助生成做数据扩充。现象三长文本生成到后半段开始重复或跑题。原因是模型对长距离依赖建模不足或者解码时缺乏全局规划。解决方法是引入层次化生成先规划再生成、或者用覆盖损失惩罚重复注意力。另外把 max_length 设得比实际需要略大给模型留出收尾空间。现象四换了 tokenizer 之后同样的解码参数效果差很多。不同 tokenizer 的切分粒度不同导致同样的 temperature 和 top-p 对应的实际候选集大小不一样。解决方法是换 tokenizer 后重新调解码参数不要直接沿用旧配置。现象五人工评测一致性很低标注者各打各的。原因是评测维度定义模糊或者标注者培训不到位。解决方法是先做一轮试标计算一致性低于 0.6 就重新讨论定义直到一致性达标再正式标注。6. 进阶技巧用数据飞轮把生成质量滚起来前面讲的都是单轮迭代的做法。真正让 NLG 系统持续变好的是建立一个“数据飞轮”用模型生成候选、用规则或人工筛选、把筛选结果回流到训练集、再训练模型。这个循环跑起来之后模型会逐步适应真实场景的分布。具体操作上我会先定义一个筛选函数把模型输出分成“可直接用”“需修改”“丢弃”三档。可直接用的回流到训练集需修改的走人工修正后回流丢弃的做错误分析。def filter_outputs(outputs, threshold0.8): keep, revise, drop [], [], [] for o in outputs: score quality_score(o) # 自定义质量打分 if score threshold: keep.append(o) elif score threshold * 0.6: revise.append(o) else: drop.append(o) return keep, revise, dropquality_score可以综合流畅性、相关性、事实一致性等维度用一个小模型或规则引擎实现。阈值 0.8 和 0.6 是经验值要根据实际数据分布调整。回流时注意控制新旧数据比例一般新数据不超过总训练集的 30%避免模型被近期数据带偏。另一个技巧是维护一个“困难样本池”。每次错误分析后把模型反复出错的样本单独存起来在后续训练中提高这些样本的采样权重。这样模型会逐步攻克薄弱环节而不是在已经学会的样本上反复刷分。我自己的习惯是每轮迭代都保留完整的实验记录数据版本、训练配置、评测结果、错误分析结论。这样当效果波动时能快速定位是哪一步改动引入的。NLG 这行后悔药没有但实验记录就是最好的排查工具。希望帮到你。本文还有配套的精品资源点击获取