简介这是一份面向深度学习入门者与进阶学习者的网络欺凌检测实战资源可作为毕业设计、课程设计、大作业或工程实训的参考方案。资源围绕网络暴力文本识别任务提供从数据到模型推理的完整链路帮助读者理解文本分类在社交内容治理中的落地方式。压缩包共8个文件约2.68MB包含2个ipynb交互式笔记、2个json数据与词表文件、1个py脚本、1个h5模型文件及md说明与license覆盖训练、推理与词表构建等环节。其中训练笔记可用于复现模型训练过程纯Python脚本与已训练模型、词表文件配合可直接加载运行并观察预测效果便于快速验证与二次开发。目前已有101人学习浏览适合希望以较小成本掌握文本预处理、词向量映射与深度学习分类流程的读者参考借鉴。1. 网络欺凌检测从一条恶意评论说起一条评论写着“你这种人就该消失”另一条写着“今天天气不错但你的智商不太行”。前者一眼可判后者要看语境、看历史、看对象。网络欺凌检测要做的就是把这种判断从人工审核手里接过来用深度学习模型批量、实时地跑。它解决的不是“有没有脏话”这种表层问题而是隐含攻击、反讽、群体围攻这些连人都要读两遍才能确认的文本。适合谁做手里有社交平台评论数据、想做内容安全或舆情分析的工程师以及想拿一个真实 NLP 项目练手深度学习的人。这个方向数据获取门槛不算高标签定义才是真正的分水岭。2. 数据与标签网络欺凌检测的第一道分水岭2.1 为什么公开数据集不能直接拿来用网络欺凌检测和普通情感分析最大的区别在于标签。情感分析是正面/负面网络欺凌要区分的是“攻击性”“欺凌”“骚扰”“仇恨言论”这几个词在学术和工业界的边界并不一致。常见做法是先用公开数据集跑通流程比如 Kaggle 上的 Jigsaw 毒性评论数据集它有 toxic、severe_toxic、obscene、threat、insult、identity_hate 六个维度。但直接拿它训练出来的模型放到中文社交平台会翻车——中文的谐音、缩写、表情包替代英文模型完全接不住。我一般会先做一件事把业务方给的原始数据抽 200 条人工标一遍看标注者之间的一致率。如果两个人对同一条评论的判断一致率低于 80%说明标签定义本身有问题这时候急着上模型就是白费功夫。标签定义要落到可操作的规则上比如“包含针对个人的侮辱性称呼且指向明确”算欺凌“泛泛抱怨”不算。2.2 中文网络欺凌数据标注的四个维度中文场景下我习惯从四个维度打标每个维度独立判断最后组合成最终标签维度取值说明攻击指向个人/群体/无是否针对特定对象攻击形式直接辱骂/反讽/威胁/贬低语言表现方式严重程度轻/中/重是否涉及人身威胁语境依赖是/否单独看能否判断这样标的好处是模型可以多任务学习也可以只取“严重程度≥中且攻击指向个人”作为二分类标签。标注工具用 Label Studio 或自己写个简单的 Flask 页面都行关键是导出格式统一成 JSONL每行一条{text: 你这种人就该消失, target: 个人, form: 威胁, severity: 重, context_dep: 否, label: 1}逻辑说明label字段是最终二分类标签由前四个维度按规则生成规则可以写成函数方便后续调整阈值。参数说明severity取“重”且target为“个人”时label1其余为 0。这个规则不是固定的业务方觉得“反讽”也要算就把form为“反讽”且severity为“中”以上也纳入。2.3 数据清洗别让表情包和 URL 干扰模型原始评论里全是 、#、URL、表情符号。直接丢给模型注意力会被这些噪声吃掉。常见做法是保留表情符号的文本描述比如[微笑]转成“微笑”因为很多欺凌是配着笑脸表情说的。URL 统一替换成url 替换成user连续重复字符压缩成两个比如“蠢蠢蠢蠢”变成“蠢蠢”。import re def clean_text(text): text re.sub(rhttp\S, url, text) text re.sub(r\S, user, text) text re.sub(r#(\S)#, r\1, text) # 去掉话题符号保留内容 text re.sub(r(.)\1{2,}, r\1\1, text) # 压缩重复字符 text re.sub(r\s, , text).strip() return text逻辑说明正则替换顺序有讲究先处理 URL 和 再处理话题和重复字符最后统一空白。参数说明\1{2,}表示同一个字符连续出现 3 次及以上时压缩成 2 次保留一点强调语气但不过度。清洗完记得抽样检查别把“哈哈哈”压成“哈哈”导致语气丢失。3. 模型选型从 TextCNN 到 BERT 的落地路径3.1 基线模型为什么先跑 TextCNN新手容易一上来就上 BERT结果发现训练慢、显存不够、调参玄学。我一般先跑 TextCNN 做基线原因有三训练快十分钟能出结果参数量小4G 显存足够效果不差在二分类任务上通常能到 0.85 左右的 F1。TextCNN 的核心是用不同尺寸的卷积核捕捉 n-gram 特征3、4、5 窗口各 128 个拼接后过全连接。import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim128, num_filters128, kernel_sizes[3,4,5], num_classes2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, k) for k in kernel_sizes ]) self.dropout nn.Dropout(0.5) self.fc nn.Linear(num_filters * len(kernel_sizes), num_classes) def forward(self, x): x self.embedding(x) # [B, L, E] x x.permute(0, 2, 1) # [B, E, L] x [torch.relu(conv(x)) for conv in self.convs] x [torch.max_pool1d(f, f.size(2)).squeeze(2) for f in x] x torch.cat(x, dim1) x self.dropout(x) return self.fc(x)逻辑说明permute把维度从[batch, seq_len, embed]转成[batch, embed, seq_len]因为Conv1d要求通道在前。max_pool1d的核大小等于卷积后序列长度做全局最大池化。参数说明kernel_sizes取 3、4、5 覆盖中文常见词组长度num_filters每个尺寸 128 是经验值显存紧张可以降到 64。dropout0.5防止过拟合数据量小于 1 万条时建议调到 0.6。3.2 BERT 微调什么时候值得上当 TextCNN 的 F1 卡在 0.87 上不去且业务对误报率要求严格时再上 BERT。中文用bert-base-chinese或hfl/chinese-roberta-wwm-ext后者在中文任务上通常更好。微调时不要全量微调先冻结底层 6 层只训练顶层 6 层和分类头学习率设 2e-5batch size 16训练 3 个 epoch 就够。全量微调容易在小数据集上过拟合血泪经验。from transformers import BertTokenizer, BertForSequenceClassification, Trainer, TrainingArguments tokenizer BertTokenizer.from_pretrained(hfl/chinese-roberta-wwm-ext) model BertForSequenceClassification.from_pretrained(hfl/chinese-roberta-wwm-ext, num_labels2) def tokenize(batch): return tokenizer(batch[text], paddingmax_length, truncationTrue, max_length128) train_enc train_data.map(tokenize, batchedTrue) training_args TrainingArguments( output_dir./ckpt, learning_rate2e-5, per_device_train_batch_size16, num_train_epochs3, evaluation_strategyepoch, save_strategyepoch, load_best_model_at_endTrue, metric_for_best_modelf1 )逻辑说明max_length128覆盖绝大多数评论长度超过的截断不足的补零。load_best_model_at_endTrue配合metric_for_best_modelf1自动保存验证集 F1 最高的 checkpoint。参数说明学习率 2e-5 是 BERT 微调的经典值太大容易灾难性遗忘太小收敛慢。如果显存不够把per_device_train_batch_size降到 8同时把gradient_accumulation_steps设为 2等效 batch size 不变。3.3 类别不平衡欺凌样本往往只占 5%真实场景里欺凌评论占比通常不到 10%模型全预测“非欺凌”也能有 90% 准确率但召回率惨不忍睹。常见做法是损失函数用带权重的交叉熵权重设为1 / 类别频率或者用 Focal Loss 让模型关注难样本。import torch.nn.functional as F def focal_loss(logits, labels, alpha0.25, gamma2.0): ce F.cross_entropy(logits, labels, reductionnone) pt torch.exp(-ce) loss alpha * (1 - pt) ** gamma * ce return loss.mean()逻辑说明pt是模型对真实类别的预测概率(1-pt)^gamma让容易样本的损失权重降低。参数说明alpha0.25给少数类更高权重gamma2.0控制难易样本的聚焦程度通常 1.0 到 2.0 之间调。如果少数类召回率还是低把alpha提到 0.5 试试。4. 避坑与排查模型上线前必须过的五道坎4.1 现象验证集 F1 很高上线后误报一堆原因验证集和线上数据分布不一致。标注数据往往来自特定时间段或特定话题线上评论的用词、话题、用户群体都变了。解决上线前用最近一周的真实评论做一次盲测人工评估 500 条算误报率和漏报率。如果误报率超过 10%先别全量上线用规则兜底。4.2 现象模型把“你真棒”判成欺凌原因训练数据里“你真棒”大量出现在反讽语境中模型学到了“棒”和欺凌的虚假关联。解决检查训练数据中反讽样本的比例如果超过 30%需要补充非反讽的正面样本。另外可以在输入里加入上下文比如前一条评论帮助模型区分。4.3 现象训练 loss 震荡不收敛原因学习率太大或者 batch size 太小导致梯度噪声大。解决先用 1e-5 到 5e-5 之间做学习率扫描找 loss 下降最平滑的那个。batch size 至少 16如果显存不够就用梯度累积。另外检查数据里有没有空文本或全标点这些样本会让 loss 异常。4.4 现象BERT 微调后显存溢出原因max_length设太大或者 batch size 太大。解决中文评论 128 长度足够别设 512。如果还是溢出用fp16True混合精度训练显存能省 40% 左右。再不够就上梯度检查点model.gradient_checkpointing_enable()代价是训练慢 20%。4.5 现象模型对谐音和缩写完全失效原因分词器把“伞兵”拆成“伞”和“兵”模型没见过这个组合。解决在 tokenizer 里加入自定义词表把常见谐音词作为一个 token。或者用字符级模型中文用字符级反而比词级更稳因为谐音就是换字。我一般会准备一个谐音词典预处理时统一替换成标准词比如“伞兵”替换成“傻X”再送给模型。5. 进阶技巧用对抗训练和可解释性把模型逼到 0.925.1 对抗训练给 embedding 加扰动对抗训练FGM的思路是在 embedding 层加一个微小的扰动让模型在扰动前后输出一致从而提升鲁棒性。实现很简单在训练循环里加几行class FGM: def __init__(self, model, epsilon1.0): self.model model self.epsilon epsilon self.backup {} def attack(self): for name, param in self.model.named_parameters(): if embedding in name and param.requires_grad: self.backup[name] param.data.clone() norm torch.norm(param.grad) if norm ! 0: r_at self.epsilon * param.grad / norm param.data.add_(r_at) def restore(self): for name, param in self.model.named_parameters(): if name in self.backup: param.data self.backup[name] self.backup {}逻辑说明attack在 embedding 梯度方向上加上归一化后的扰动restore恢复原始参数。训练时先正常前向反向调用attack再前向反向一次最后restore。参数说明epsilon控制扰动大小1.0 是常用值太大反而掉点。这个技巧在 BERT 微调上通常能涨 1 到 2 个点 F1。5.2 用 SHAP 看模型到底在关注哪些词模型判一条评论为欺凌你得知道它看的是哪个词。SHAP 的Explainer对文本模型支持很好跑 100 条样本大概几分钟。import shap explainer shap.Explainer(model.predict, tokenizer) shap_values explainer([你这种人就该消失, 今天天气不错但你的智商不太行]) shap.plots.text(shap_values[0])逻辑说明shap_values给出每个 token 对预测的贡献值红色推高欺凌概率蓝色拉低。参数说明model.predict要包装成接收文本列表返回概率的函数。如果发现模型关注的是“你”“就”这类高频词而不是“消失”说明模型没学到关键特征需要补充对抗样本。5.3 一个具体技巧用伪标签扩充少数类欺凌样本少但未标注数据多。先用模型对未标注数据预测取置信度高于 0.95 的正样本加入训练集重新训练。迭代两轮少数类样本能翻倍。注意每轮都要人工抽检 100 条伪标签准确率低于 90% 就停。这个技巧我一般在 F1 卡住时用通常能再涨 1 个点但别贪多伪标签噪声会累积。最后说个习惯每次实验必须固定随机种子torch.manual_seed(42)、np.random.seed(42)、random.seed(42)三件套。不然你调了半天参数结果发现是随机初始化的锅那种后悔药没地方买。模型上线后每周跑一次盲测看误报率有没有漂移漂了就重新采样微调。这个方向没有一劳永逸的模型只有持续迭代的流程。希望帮到你。本文还有配套的精品资源点击获取