简介一套基于Python的中文三元组识别实战工程面向有一定深度学习基础、正在学习知识图谱构建的开发者解决从非结构化文本中自动抽取主体谓词客体结构信息的问题例如识别“马云是阿里巴巴的创始人”这类句子。压缩包共11个文件、约37KB由6个Python脚本、3个Markdown文档、1个依赖清单和1张示意图组成脚本覆盖数据划分、模型配置、模型训练、预测调用等完整流程说明文档与依赖清单可帮助快速了解环境和运行方式。已有122人浏览学习。通过该项目可完整走通BertCRF的序列标注工作流包括文本清洗与编码、标签策略设计、模型构建、损失计算、评估指标和预测后处理同时可学习Hugging Face Transformers的调用方式理解双向语义编码与CRF上下文约束的协同作用便于将三元组识别能力迁移到其他中文信息抽取任务。1. BertCRF 三元组识别到底在解决什么问题做知识图谱、事理图谱或者给搜索做结构化底座时最让人头大的不是怎么存而是怎么从一篇篇非结构化的文本里抽出“张三在A公司任职”这种三元组。BertCRF 三元组识别就是拿一套端到端可训练的序列标注方案把句子里的头实体、尾实体以及它们之间的关系一次性“框”出来。它基于 bert 模型实操经验不指望人工规则覆盖长尾表达而是靠预训练语义先拿到边界再用 CRF 把标签之间的非法跳转卡死。适合谁用手里已经有几百条到几万条带标注文本想快速做出一个可靠抽取基线的算法工程师以及试过正则和词典但被同义改写、嵌套实体折磨到放弃的从业者。它不能解决所有关系抽取问题但作为第一版可上线的模型性价比非常高。2. 选型为什么是 BertCRF而不是纯 Bert 或纯 CRF2.1 三元组识别的任务定义与常见做法三元组识别在形式上一般定义为给定句子 S抽取出 (头实体 h关系 r尾实体 t) 的集合。比如句子“华为技术有限公司成立于1987年总部位于深圳”期望得到 (华为技术有限公司总部位于深圳)。业界做法大致分三条路管道法先跑一个命名实体识别再用关系分类去判断两个实体之间的关系联合抽取法在模型内部共享编码、同时解码实体和关系另一种很常见的做法就是直接把三元组建模成序列标注——把“头实体”“尾实体”当作两种实体类型然后用一个关系分类器或规则去绑定它们之间的关系。BertCRF 三元组识别这个标题里的“三元组识别”通常是落在管道法或联合抽取法中的“实体边界识别 实体分类”这一步因为这一步是后续关系分类的上游。如果你把关系类别直接塞进标签里比如标签“B-任职于-头实体”会导致标签爆炸而且训练数据稀疏实际效果很差。我一般默认的做法是先用 BertCRF 把头实体和尾实体识别出来至于它们之间的具体关系再过一个轻量的关系分类器或者匹配模板。这样每个模型的职责单一数据也好构造。真正需要在一个序列标注模型里同时输出关系和实体的情况也有但那是后话。2.2 Bert负责语义CRF负责约束两者如何分工Bert 在这里是一个特征编码器。它把每个 token 映射成一个上下文相关的向量解决了传统词向量“一词多义”的模糊问题。比如“苹果”在“苹果发布了新手机”和“苹果很甜”里Bert 最后一层向量会明显区分。基于这些向量模型可以学习每个 token 属于某个实体头还是实体尾的概率。但这里有一个容易被忽略的问题Bert 逐 token 输出的 softmax 是独立的它会孤立地看每一个位置产生“B 后面跟着另一个 B”“I 前面没有 B”这类非法输出。CRF 层干的事就是用一组转移概率把标签之间的顺序约束显式建模出来。Bert 输出每个位置的发射分数emission scoreCRF 加上转移矩阵transition score然后在全局求一条最优标签路径。例如在 BIO 标注里合法的转移是 B 后面可以跟 I 或 OI 后面可以跟 I 或 O而 O 后面不能跳成 I。这些转移参数不是人写的是训练中自己学出来的。实际效果上CRF 让输出序列前后自洽尤其在实体边界切分上比逐 token 贪心解码稳定得多。Bert 和 CRF 的组合本质是“强大的特征表达 显式的结构约束”两者互补不是简单的锦上添花。2.3 对比BiLSTMCRF、BertSoftmax、BertCRF 的边界先看一张我用得比较顺手的选型对比表方案语义表达序列约束训练速度适用场景BiLSTMCRF一般依赖词向量质量有快小型任务、无 GPU 环境BertSoftmax强无中快速原型标签边界不敏感BertCRF强有中偏慢生产级抽取标签顺序严格如果只做名词短语识别这种边界清晰的抽取BertSoftmax 往往也能逼近 BertCRF 的分数省掉 CRF 反而少一个需要维护的参数矩阵。但三元组识别里的头尾实体往往边界灵活比如“A公司”到底是“A公司”还是“A公司集团”需要结合上下文。BertSoftmax 在边界位置会来回跳BERT 输出两个相邻 token 的实体类型不一致但逻辑上又可能构成一个实体时没有任何机制把它们拉回来。CRF 的转移矩阵能在训练时学到“成句的实体片段应该连续”。代价是 CRF 解码速度比逐 token softmax 慢一点但生产上用 GPU 推理时几乎可以忽略。如果你完全不管序列回归只看单 token 准确率BertSoftmax 的准确率不一定低但实体级 F1 会比 BertCRF 低 2-5 个百分点这个差异在线上一看就很明显。我见过有些同学为了实现方便把 CRF 层去掉只用 Bert 线性分类然后用后处理规则修正非法标签。这种做法在小规模数据上说得通但后处理规则多到失控改模型不如直接加一层 CRF。至于纯 CRF 无 Bert本质上退化成用模板特征做线性模型别说一词多义连词性泛化都费劲基本没人拿来做中文三元组抽取。3. 复现一套 BertCRF 三元组识别数据准备与预处理3.1 数据格式从关系标注到序列标注要跑通这个方案第一步是拿自己的标注数据转换成序列标注格式。假设你手里的原始数据是类似这样的 JSON 列表[ { text: 张三在2021年加入北京某某科技有限公司担任CTO。, spo_list: [ {subject: 张三, predicate: 任职于, object: 北京某某科技有限公司}, {subject: 张三, predicate: 担任, object: CTO} ] } ]我要把它转成每个 token 一个标签的格式。这里我先选定一种标注体系BIO。设计标签集时把“主体”和“客体”作为两种实体类型至于关系暂时不编码进标签。这样标签集合就是O, B-SUBJ, I-SUBJ, B-OBJ, I-OBJ。如果同一个句子中有多个主语和宾语也不需要区分类别后续关系分类再关联。转换脚本的核心逻辑是先把文本切成字符列表中文按字切分词不是必须Bert 的中文字典足够然后对每个 spo找到 subject 在文本中的起止位置、object 的起止位置再把对应位置打上 B 或 I 标签。如果两个实体有重叠需要自己定义优先级比如短的优先、先出现的优先。下面是完整转换函数def build_bio_labels(text, spo_list, label2id): # 先初始化全 O labels [O] * len(text) for spo in spo_list: sub spo[subject] obj spo[object] # 简单用 str.find 找位置生产环境建议用 Aho-Corasick 或 diff 对齐 sub_start text.find(sub) obj_start text.find(obj) if sub_start 0: labels[sub_start] B-SUBJ for i in range(sub_start 1, sub_start len(sub)): labels[i] I-SUBJ if obj_start 0: labels[obj_start] B-OBJ for i in range(obj_start 1, obj_start len(obj)): labels[i] I-OBJ return [label2id[label] for label in labels]这段代码的问题是find只找到第一个出现位置如果一个实体在文本出现多次而标注指向的是第二次出现就会错位。我一般建议改成基于字符位置匹配标注数据里最好直接给出实体在原文中的 start 和 end而不是给字符串再去找。如果确实只有字符串那就循环搜索所有出现位置再结合语义或用最短匹配法。后续我会在避坑章节具体说这个坑。3.2 构建 id 映射与标签编码有了 BIO 标签列表下一步是把标签文本转成数字 id。这里有个容易被忽略的细节CRF 层需要用一个特殊 id 表示“这个位置不参与计算”通常用 -100 或忽略索引。在 PyTorch 的交叉熵里ignore_index-100是约定俗成PyTorch 的 CrossEntropyLoss 会直接跳过。但在 CRF 层里loss 计算一般是对每个位置求和再减去所有合法路径的 log-sum-exp如果某个位置的标签是 -100直接传给 CRF 会算错。所以我处理时会把特殊 token 位置的标签临时替换成一个“非实体”或“忽略”标记然后在 loss 计算时手动 mask。构建映射关系很简单labels [O, B-SUBJ, I-SUBJ, B-OBJ, I-OBJ] label2id {label: idx for idx, label in enumerate(labels)} id2label {idx: label for label, idx in label2id.items()}不要把[PAD]或[CLS]放进标签集它们应该参与 CRF 计算吗我的做法是[CLS]和[SEP]位置强制标 O[PAD]位置的标签直接被 mask 掉不进入 loss 和解码。这样避免模型把特殊 token 学成实体也避免 padded 位置干扰 CRF 全局路径。3.3 用 BertTokenizer 切词并还原标签对齐这是最容易翻车的一步。Bert 的 tokenizer 会把一个词切成多个 subword比如“科技”可能切成一个“科技”但“科技有限公司”可能切成“科技”、“有限公司”两个 token甚至英文“unhappiness”切成“un”、“happi”、“ness”。原始标签是按字符或词给的需要把它们映射到 token 级。通用的准则是一个原始词对应到的所有 subword token应该打同一个标签。比如“科技有限公司”作为一个实体切出的每个 token 都打 B-OBJ 或者从第一个 token 打 B-OBJ后续 token 打 I-OBJ。具体实现我依赖 HuggingFace 的BertTokenizerFast的offset_mapping。每个 token 的 offset_mapping 记录它在原始字符串中的起始和结束偏移。利用它反推每个 token 对应原字符的位置再取该位置的标签。因为一个中文 token 可能对应一个汉字英文 token 对应多个字符所以标签要归一。我的代码是这样from transformers import BertTokenizerFast tokenizer BertTokenizerFast.from_pretrained(bert-base-chinese) def encode_with_labels(text, bio_ids): encoded tokenizer( text, truncationTrue, max_length128, return_offsets_mappingTrue, paddingTrue, # 这里先不 padding后面按 batch 统一 ) labels_ids [] for offset in encoded[offset_mapping]: start, end offset if start 0 and end 0: # 这是 [CLS]/[SEP] 或 padding打 0后续 mask labels_ids.append(0) else: # 取当前位置所在的字符标签通常取 start 位置 labels_ids.append(bio_ids[start]) # 注意如果原始 bio_ids 没有覆盖到 end 位置说明切词跨了多个字符 # 我们应该用最后一个字符的标签所以修正一下 labels_ids[-1] bio_ids[end - 1] return encoded[input_ids], labels_ids这里有一个边界情况bio_ids的长度必须等于原始文本字符数否则bio_ids[start]会越界。最好在转换前断言len(text) len(bio_ids)。另外 offset_mapping 里 padding 位置的 start 和 end 都是 0和真正的[CLS]一样所以要用input_ids是否为[PAD]来判断更稳妥的做法是拿着 tokenizer.pad_token_id 去判断。对齐完成后我会写一个 debug 函数打印 token、原始标签、对齐后标签肉眼扫一遍再进模型。这一步能筛掉 70% 的低级错误。4. 训练主流程与 3 个关键参数4.1 训练脚本骨架模型、损失、优化器最稳妥的训练方式是拿 HuggingFace 的BertForTokenClassification输出 logits再接一个自实现的 CRF 层。我不建议直接用别人封装好的“BertCRF”库因为那些库往往和特定版本的 transformers 绑定升级容易炸。这里给出一个干净的 PyTorch 实现import torch from torch import nn from transformers import BertModel, BertConfig, BertTokenizerFast from torchcrf import CRF # 用 torchcrf 或自己实现都行 class BertCRFForNER(nn.Module): def __init__(self, bert_pretrained, num_labels, ignore_index-100): super().__init__() self.bert BertModel.from_pretrained(bert_pretrained) self.dropout nn.Dropout(0.1) self.classifier nn.Linear(self.bert.config.hidden_size, num_labels) self.crf CRF(num_labels, batch_firstTrue) self.ignore_index ignore_index def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) sequence_output outputs.last_hidden_state logits self.classifier(self.dropout(sequence_output)) if labels is not None: # 将 ignore_index 位置的标签转为 0并生成 mask mask attention_mask.bool() labels labels.clone() labels[labels self.ignore_index] 0 loss -self.crf(logits, labels, maskmask) return loss, logits else: # 推理时返回解码后的标签序列 predictions self.crf.decode(logits, maskattention_mask.bool()) return logits, predictions这个结构的要点在于 CRF 的mask直接用了attention_mask它表示哪些位置是真实 token。labels中原本是-100的位置被临时改成 0但 mask 覆盖了它们所以 CRF 不会计算这些位置的 loss。torchcrf的 decode 返回的是每个 batch 内长度不同的列表这要求推理后再做 padding 对齐。训练循环和普通分类模型差不多但有几个注意点loss 已经是负对数似然直接loss.backward()需要把模型切到 GPU如果用torchcrf它内部已经处理了维度和 mask不要画蛇添足再 mask logits。4.2 关键参数batch_size、学习率、max_len这三组参数要配合硬件和数据分布来调。我自己实践下来的典型配置如下参数推荐范围说明batch_size16 ~ 32取决于 GPU 显存过大导致 OOM过小训练不稳learning_rate2e-5 ~ 5e-5Bert 本身用 3e-5 最多CRF 层可以用稍大的 1e-4max_len128 / 256超过 90% 的样本长度即可不要盲目拉长warmup_ratio0.1前 10% 步数线性预热防止大学习率冲毁预训练权重我一般先固定 max_len128统计语料里面 95% 的句子长度如果超过 128 的样本占比不到 5%就保持 128。max_len 拉长到 256 会让显存占用翻倍而且长句子里尾部往往没有实体纯属浪费。batch_size 的选择标准是在不 OOM 的前提下尽量大但要留意 BatchNorm 在 NLP 里不存在CRF 对 batch 大小不敏感所以 16 和 32 的效果差异不大。学习率是最容易出问题的地方。Bert 部分必须用低学习率因为预训练权重已经收敛学习率过大第一轮就会把词向量冲烂CRF 层的转移矩阵是从零开始学的可以用更高的学习率。所以我通常给模型的不同参数分配不同的学习率组Bert 的 embedding 和 encoder 用 3e-5分类层和 CRF 用 1e-4。实现上就是把参数分组放进 optimizeroptimizer torch.optim.AdamW([ {params: model.bert.parameters(), lr: 3e-5}, {params: model.classifier.parameters(), lr: 1e-4}, {params: model.crf.parameters(), lr: 1e-4}, ])4.3 CRF 层如何接在 Bert 输出上很多人第一次写 CRF 层会搞不懂输入输出。Bert 的输出last_hidden_state形状是(batch, seq_len, hidden_size)经过nn.Linear后得到(batch, seq_len, num_labels)这个 logits 就是每个位置对每个标签的发射分数。CRF 需要在这个分数矩阵上学习一个(num_labels, num_labels)的转移矩阵。注意 CRF 的 decode 目标不是逐位置取 argmax而是找一条分数最高的完整路径。这里的直觉是发射分数告诉模型每个 token 有多大可能属于哪个标签转移矩阵告诉模型从一个标签跳到另一个标签怎么“扣分”。比如从 O 跳 I-SUBJ 会被转移矩阵给一个很负的分数抑制这种非法路径。训练时CRF 计算所有合法标签路径的总分然后减去真实标签路径的分数得到 log-likelihood取负得到 loss。所以 CRF 天然是个序列级目标它不会因为你把[CLS]位置标错而只影响这一个点而是影响整条路径的分数分布。在实现时有一个重要参数batch_firstTrue。如果你没有设这个CRF 默认输入是(seq_len, batch, ...)而 Bert 输出是 batch first不转置就会报错。另一个坑是输入到 CRF 的 logits 要转成 float32不能是 float16如果开了 FP16 训练记得在传入 CRF 前先logits.float()。我曾经在混合精度下漏了这一步CRF 直接 NaN。还有一点CRF 的 mask 必须是 ByteTensor 或 BoolTensor而且它跟 attention_mask 同源但有 padding 的序列里分散在句子中间的 padding 可能会导致掩码有空洞不过我们按前面数据预处理的方式padding 只在尾部所以 mask 是连续的没问题。5. 避坑BertCRF 三元组识别里最常见的 5 个坑5.1 标签对齐错位导致的“全对但全错”现象训练时 loss 下降很快但实体级 F1 非常低几乎从不超过 0.3。打印预测结果一看预测出的实体边界和真实实体完全是错位的连长度都不一样。原因Tokenizer 切词后标签没有正确对齐。最常见的错误是用text.split()按空格切词然后按词位置对齐标签但中文没有空格或者直接用tokenizer的word_ids()但忘记处理[CLS]和[SEP]的特殊 token导致后面所有标签全部偏移一位。解决严格使用offset_mapping并且写一个可视化函数把 token、offset、原始标签、对齐后标签逐行打印出来。看一眼就知道错在哪。我之前写过一个小工具对每个样本输出[CLS] None O O 华 0:1 B-SUBJ B-SUBJ 为公司 1:4 I-SUBJ I-SUBJ发现错位后就修对齐逻辑而不是继续堆模型调参。5.2 CRF 转移矩阵没学好长句子衰减现象短句10 个字以内识别准确句子一旦超过 40 个字实体漏抽概率明显上升尤其是放在句尾的实体。原因CRF 在解码时对所有合法路径按整条序列的长度累计分数。长句子的合法路径数量指数上涨模型如果训练数据里长句子少转移矩阵对长距离上下文就不敏感。另外 transformer 的 self-attention 在长序列上也会稀释局部特征两种原因叠加。解决一是保证训练数据里长句子的比例合理如果语料天然短就别硬上 256 长度二是可以把 Viterbi 解码改成 top-k 解码但这样复杂度提高并不实用。更常见的做法是调整长度阈值对超过一定长度的句子在推理前先做分句拆成语义完整的短句再识别。我一般用正则按句号、分号、感叹号切句效果立竿见影。5.3 类别不平衡与 BILOU 标注选择现象O 标签占比超过 90%模型倾向把什么都识别成 O。尤其当实体很短、只有一两个字时召回率极低。原因类别严重不平衡而且标准 BIO 标注中 B 和 I 共享同一实体类型的信息没有显式区分实体的结束位置。模型对“到底哪里是实体结束”的学习不太敏感。解决为每个标签在 loss 中设置权重例如按照标签频次的倒数归一化。但要注意 CRF 的 loss 不支持直接传 class_weight需要在 logits 上先乘一个权重向量再把加权后的 logits 给 CRF。另一种更推荐的做法是改用 BILOU 标注B-begin, I-inside, L-last, O-outside, U-unit这样可以标记单字实体和结束位置。我实测发现 BILOU 带来的提升比调 class_weight 更稳。不过要注意标签数量和转移矩阵规模变大数据太少时可能学不充分所以小数据上先保持 BIO 然后加 class_weight 更稳妥。5.4 实体跨片段Tokenizer 的特别符号干扰现象预测出来的实体经常包含[UNK]或者把[SEP]后面的部分识别成实体或者英文单词被切分后标签只打了前半部分。原因某些生僻字、特殊符号被 Bert 变成[UNK]它的 embedding 是所有未知词共用的模型很容易把[UNK]误判成实体边界。另一个问题是实体可能跨过 tokenizer 插入的特殊 token比如[CLS]、[SEP]导致标签序列断裂。解决在数据预处理阶段把所有[UNK]替换成一种统一的占位符或者在训练时把[UNK]位置的标签强制设为 O并让 CRF mask 跳过该位置。推理时后处理规则里也把[UNK]排除在实体之外。如果你需要保留生僻字的信息考虑使用额外词表或改用WoBERT这种带中文分词的模型但日常情况下忽略它损失不大。5.5 训不动看 loss 是否真的在下降现象训练 loss 居高不下前几个 epoch 一点不动甚至上升验证集 loss 震荡到 NaN。原因常见的有三种预训练权重没加载成功模型随机初始化了学习率过大优化器里把全部参数都用了同一个学习率而 CRF 的转移矩阵随机初始化的量级和 Bert 最后一层输出不匹配导致反向传播时梯度爆炸。尤其是当你用model.bert加载时写错路径以为加载了实际没加载最后训练完全从零开始。解决第一打印model.bert.embeddings.word_embeddings.weight的值如果存在一个bert_model的前缀导致权重没被识别赶紧修正 key。第二训练第一个 batch 后打印 loss 数值如果是几百几千停下来查梯度范数。第三先取 100 条数据跑过拟合看 loss 能不能降到接近 0如果 100 条都过拟合不了说明模型结构或预处理肯定有问题。我每次新搭一个训练流程都先跑“100 条过拟合测试”通过了再上全量这比什么排查技巧都省时间。6. 三元组识别的验证与线上部署技巧6.1 用严格匹配指标验证是否真的抽对评估这个模型不能只看 token 级别的准确率。比如一个实体“北京某某科技有限公司”识别成了“北京某某”虽然大部分 token 对但实体不完整下游关系分类会把“北京某某”当公司名直接偏。所以上线前必须按实体级别匹配计算精确率、召回率、F1。我在验证脚本里会把预测序列和真实序列先转换成实体集合然后比较整个边界。一个实体的判定标准是文本内容和实体类型完全一致才算对。用伪代码写就是def extract_entities(labels): entities set() current None for idx, label in enumerate(labels): if label.startswith(B-): current [idx, label[2:]] elif label.startswith(I-) and current is not None: current.append(idx) else: if current: entities.add((current[0], current[-1], current[1])) current None if current: entities.add((current[0], current[-1], current[1])) return entities严格匹配是必须的如果只想看模型是否学到大致模式可以加一个宽松匹配作为参考指标但上线标准要用严格匹配。我的习惯是同时输出 head/entity 的边界误差分布比如偏差 1 个字的占比用来判断是否需要调整标注粒度。6.2 推理阶段用 Viterbi 解码并检查约束训练完成后推理时的模型 forward 和训练时略有不同。训练时要传入 labels 计算 loss推理时不需要 labelsCRF 会自动调用 Viterbi 解码。但有一点要注意torchcrf的decode返回的是一个列表每个元素是待解码序列的长度不是固定的 batch 长度。如果你在服务端需要批量输出就要把这些变长结果用[PAD]的标签 id比如 0补齐。同时解码出来的标签序列里被 padding 的位置也被 pad 成 0所以取实体时要同时结合 attention_mask 把 padding 位置过滤掉。有一个容易被忽略的“约束”推理时的 logits 是在整个序列上做全局路径这意味着模型不会输出连续的 I 标签无头实体但这个“无头”约束只对类型内部有效跨实体类型的转移仍可能很奇怪。比如从 B-SUBJ 直接跳到 B-OBJ 是允许的这没问题。如果你希望模型强制在实体边界不能被跳过那要加自定义转移矩阵。我现在的做法是先用默认 CRF效果足够后不折腾这个。6.3 服务化部署时的 Padding 与动态长度处理线上部署时最大问题往往是推理延迟和显存浪费。如果使用静态 padding一个 batch 里最长的句子是 128短句也按 128 算浪费一半算力。我用 HuggingFace 的DataCollatorForTokenClassification做动态 padding它会在同一个 batch 内取最大长度补齐。实际部署时我会写一个简单的推理函数把请求文本 batch 化然后动态 padding。伪代码如下def predict(texts, model, tokenizer, device): encoded tokenizer( texts, paddingTrue, truncationTrue, max_length128, return_tensorspt, ).to(device) with torch.no_grad(): logits, predictions model( input_idsencoded[input_ids], attention_maskencoded[attention_mask], ) # predictions 是 list of list长度不一转为 Bio 列表 results [] for pred, mask in zip(predictions, encoded[attention_mask]): tokens tokenizer.convert_ids_to_tokens(encoded[input_ids][0]) filtered [label for label, m in zip(pred, mask) if m] results.append(convert_to_spans(filtered)) return results动态 padding 配合 FP16 推理在 T4 上能达到毫秒级。我一般会加上torch.cuda.amp.autocast()包裹推理同时把model.half()处理但注意 CRF 内部需要 float32所以我在 forward 里已经对传入 CRF 的 logits 做了.float()不会炸。6.4 一个小技巧用 CRF 的置信度做低置信拒识上线初期的典型烦恼是模型在没把握时硬抽产出一堆乱码三元组。用 softmax 的同学会拿最大 softmax 概率做阈值但 CRF 并没有一个可以直接解释的概率。我的办法是用 Viterbi 解码的分数除以序列长度作为这个预测路径的置信度。CRF 的 decode 返回的是分数不是 -1 到 1 的概率。分数绝对值偏大且依赖长度所以按长度归一化后画一个阈值。在验证集上挑一个你自己能接受的误报率把低于阈值的样本直接拒掉宁可不抽也不要抽错。这招在冷启动时特别有用等标注数据多了再逐步放宽阈值。比如我习惯设置归一化分数大于 -0.3 才进入关系分类否则返回空集合。这样线上误报从 5% 降到 1%损失 2% 的召回属性和成本上完全划算。最后说一句我的教训第一次做 BertCRF 三元组识别时我在标签对齐上栽了三天后来发现只是offset_mapping的 start 和 end 取反了。这种事光靠看代码看不出来必须打印可视化。从那以后我给自己定了个规矩任何新的文本抽取项目前半天只做数据可视化不碰模型。这个习惯救了我很多次希望帮到你。本文还有配套的精品资源点击获取