ParlAI 对话安全实战：基于 Build it Break it Fix it 对抗式训练的冒犯语言检测

ParlAI 对话安全实战基于 Build it Break it Fix it 对抗式训练的冒犯语言检测【免费下载链接】ParlAIA framework for training and evaluating AI models on a variety of openly available dialogue datasets.项目地址: https://gitcode.com/gh_mirrors/pa/ParlAI导读本文围绕 ParlAI 项目中的dialogue_safety任务族展开系统讲解论文Build it Break it Fix it for Dialogue Safety: Robustness from Adversarial Human AttackEMNLP 2019所提出的构建—攻破—修复Build it Break it Fix it对抗式训练方法论以及它在 ParlAI 中的落地形态单轮/多轮对抗数据、标准数据、预训练 Transformer/BERT 分类器以及完整的查看、评估、交互与训练命令。读完本文你将掌握如何在 ParlAI 中查看该数据集、加载官方预训练安全分类器进行实时判别以及复现论文中的多任务对抗训练流程并了解底层 Teacher 与安全检测工具的实现原理。背景为什么对话安全不能只看单句随着聊天机器人在公开领域的部署检测对话语境中的冒犯性语言offensive language已成为 NLP 的重要应用。论文指出两个关键观察现有的冒犯语言检测大多把问题建模为单句分类忽略了对话上下文公开领域中的恶意用户会针对性地构造对抗性输入静态训练的模型很容易被攻破。为此论文提出了一种人类与模型共同参与的迭代训练方案Build it构建→ Break it攻破→ Fix it修复通过多轮对抗收集数据使模型对人类的对抗性攻击显著更鲁棒。该工作对应的数据与模型在 ParlAI 中以dialogue_safety任务族开源核心 Teacher 定义在 parlai/tasks/dialogue_safety/agents.py数据下载逻辑见 parlai/tasks/dialogue_safety/build.py。方法论Build itBreak itFix it 三轮迭代论文的核心流程如下图所示先用已有数据训练出初始模型 A₀ 并部署随后由人类攻击者breaker尝试用攻击性消息攻破它若模型误判则标记为 Broken 并进入对抗性数据集再用这批对抗数据训练出修复后的模型 A₁与 A₀ 合并部署进入下一轮攻击如此循环迭代逐步提升系统的鲁棒性。这一流程直接反映在数据集的组织方式上adversarial与standard两个单轮任务都按Round 1、2、3三轮回合组织--round参数正是用来选择使用到哪一轮的数据。数据集与 Teacher单轮与多轮两类设置dialogue_safety任务族在 parlai/tasks/dialogue_safety/agents.py 中定义了多个 TeacherTeacher 类任务标识数据内容StandardTeacherdialogue_safety:standard标准收集的 1–3 轮单轮数据AdversarialTeacherdialogue_safety:adversarial对抗收集的 1–3 轮单轮数据MultiturnTeacherdialogue_safety:multiturn多轮对抗对话数据含上下文WikiToxicCommentsTeacherdialogue_safety:WikiToxicCommentsWikipedia Toxic Comments二分类转换其中单轮 Teacher 继承自 parlai/tasks/dialogue_safety/base_agent.py 中的_BaseSafetyTeacher它定义了两个关键参数--roundint默认 1可选 1/2/3使用哪一轮的数据--round-onlybool默认 False为 False 时包含到指定轮次为止的所有数据为 True 时只包含指定轮次的数据。从 base_agent.py 的_setup_data可以看到数据按good/bad两类组织加载后以固定随机种子42打乱。标签候选统一为两个特殊 token__ok__与__notok__源码常量OK_CLASS/NOT_OK_CLASS定义于 agents.py。多轮数据存放在multi_turn_safety.json中对应MULTI_TURN_DATA常量MultiturnTeacher额外提供了--single-turnbool默认 False参数为 True 时只保留每条数据text的最后一行即去掉上下文、退化为单句判别。实战一查看数据display_data原文档提供了四组数据查看命令均可直接运行首次运行会自动从http://parl.ai/downloads/dialogue_safety/下载single_turn_safety.json与multi_turn_safety.json下载源与校验和见 build.py查看第 1 轮的单轮adversarial数据parlai display_data -t dialogue_safety:adversarial --round 1查看 1–3 轮的单轮standard数据--round 3配合默认的--round-only False会包含到第 3 轮为止的所有数据parlai display_data -t dialogue_safety:standard --round 3只查看第 2 轮的单轮adversarial数据用--round-only True精确限定parlai display_data -t dialogue_safety:adversarial --round 2 --round-only True查看multi-turn adversarial数据保留对话上下文parlai display_data -t dialogue_safety:multiturn查看同样的多轮数据但去掉上下文文本、只保留最后一句等价于单句判别视角parlai display_data -t dialogue_safety:multiturn --single-turn True实战二评估与交互预训练模型论文开源了两类官方预训练模型定义在 parlai/zoo/dialogue_safety/single_turn.py 与 parlai/zoo/dialogue_safety/multi_turn.py实际权重打包为safety_models_v1.tgz由zoo:dialogue_safety/...自动下载。单轮模型Transformer 分类器在adversarial任务 1–3 轮测试集上评估预训练 Transformer 分类器parlai eval_model -t dialogue_safety:adversarial --round 3 -dt test -m transformer/classifier -mf zoo:dialogue_safety/single_turn/model -bs 40在standard任务 1–3 轮测试集上做同样评估parlai eval_model -t dialogue_safety:standard --round 3 -dt test -m transformer/classifier -mf zoo:dialogue_safety/single_turn/model -bs 40实时交互观察模型对任意输入的实时分类与置信度parlai interactive -mf zoo:dialogue_safety/single_turn/model -m transformer/classifier --print-scores True --single-turn True原文档给出的运行示例输出Enter Your Message: hi how are you? [TransformerClassifier]: Predicted class: __ok__ with probability: 0.9996 Enter Your Message: i hate you [TransformerClassifier]: Predicted class: __notok__ with probability: 0.9995可以看到模型输出形如Predicted class: __ok__with probability: 0.xxxx两行文本这与 parlai/utils/safety.py 中OffensiveLanguageClassifier.contains_offensive_language的解析逻辑按\n拆分后取: 后的字段完全对应。多轮模型BERT 分类器论文的多轮模型采用segments分段方式区分上下文与待分类语句即把完整对话上下文与目标语句作为不同 segment 输入 BERT。在multi-turn adversarial任务测试集上评估parlai eval_model -t dialogue_safety:multiturn -dt test -mf zoo:dialogue_safety/multi_turn/model --split-lines True -bs 40这里--split-lines True与论文的分段输入方式相配合Batch size 40 可加速推理。实战三复现论文的多任务对抗训练原文档给出了完整的训练命令在预训练 Transformer 之上微调多任务联合训练 Wikipedia Toxic Comments adversarial1–3 轮 standard1–3 轮parlai train_model -t dialogue_safety:WikiToxicComments,dialogue_safety:adversarial,dialogue_safety:standard --load-from-pretrained-ranker True --init-model zoo:pretrained_transformers/bi_model_huge_reddit/model --dict-file zoo:pretrained_transformers/bi_model_huge_reddit/model.dict --history-size 20 --label-truncate 72 --text-truncate 360 --dict-tokenizer bpe --dict-lower True --optimizer adamax --output-scaling 0.06 --variant xlm --reduction-type mean --share-encoders False --learn-positional-embeddings True --n-layers 12 --n-heads 12 --ffn-size 3072 --attention-dropout 0.1 --relu-dropout 0.0 --dropout 0.1 --n-positions 1024 --embedding-size 768 --activation gelu --embeddings-scale False --n-segments 2 --learn-embeddings True --share-word-embeddings False --dict-endtoken __start__ --classes __notok__ __ok__ --round 3 --use-test-set True --model transformer/classifier --multitask-weights 0.6,0.2,0.2 -lr 5e-05 -bs 20 --data-parallel True -vtim 60 -vp 30 -stim 60 -vme 10000 --lr-scheduler fixed --lr-scheduler-patience 3 --lr-scheduler-decay 0.9 --warmup_updates 1000 --validation-metric class___notok___f1 --validation-metric-mode max --save-after-valid True --model-file /tmp/safety_model_example关键参数解读多任务组合-t dialogue_safety:WikiToxicComments,dialogue_safety:adversarial,dialogue_safety:standard将三个数据源拼成一个多任务训练集--multitask-weights 0.6,0.2,0.2分别赋予三个任务 0.6/0.2/0.2 的采样权重其中 WikiToxicComments 占大头为模型注入大规模通用冒犯语料对抗与标准数据则注入对话语境与对抗样本。预训练初始化--init-model zoo:pretrained_transformers/bi_model_huge_reddit/model加载 Reddit 语料预训练的双编码器模型--load-from-pretrained-ranker True将参数迁移到分类器--dict-file指定配套 BPE 词典。分类任务设置--classes __notok__ __ok__声明二分类标签顺序为负类在前、正类在后--n-segments 2与--split-lines True语义一致支持上下文/语句分段输入。输入裁剪--history-size 20、--text-truncate 360、--label-truncate 72控制对话历史与文本长度。模型结构12 层、12 头、768 维 embedding、1024 位置、GELU 激活、mean 归约、XLXM 变体与论文报告的模型配置一致。训练与验证Adamax 优化器、学习率5e-05、--validation-metric class___notok___f1NOT OK 类的 F1作为早停指标且模式为 max--save-after-valid True在每次验证通过后保存模型。值得注意的是 WikiToxicComments 数据无法自动下载它来自 Kaggle 的 Jigsaw Toxic Comment Classification Challenge需要先在竞赛页面同意规则并下载train.csv、test.csv、test_labels.csv放入{datapath}/dialogue_safety/wiki-toxic-comments/目录。源码 agents.py 会检查文件存在性并给出明确的存放路径提示加载时默认采用 80/10/10 的 train/test/valid 划分--use-test-set False并可通过--balance-data True对训练集做 OK/NOT OK 类别均衡实现见 agents.py。源码级安全检测工具除了任务本身仓库还提供了两个可复用的安全检测组件定义在 parlai/utils/safety.pyOffensiveLanguageClassifier封装zoo:dialogue_safety/single_turn/model单轮分类器默认使用transformer/classifier提供contains_offensive_language(text)方法返回(是否冒犯, 概率)并实现__contains__可直接用if text in classifier判断。OffensiveStringMatcher基于OffensiveLanguage.txt词表构建 token 前缀树trie进行快速匹配支持前后缀扩展如de-、-ing并内置 allow list 排除误报词如butter、spicy。这两个工具被parlai detect_offensive_language脚本使用实现见 parlai/scripts/detect_offensive_language.py可对整个任务数据流做冒犯语言扫描例如parlai detect_offensive_language --task convai_chitchat --display-examples True通过--safety参数可选择string_matcher、classifier或all三种检测模式输出包括 string/classifier/total 三类命中百分比可作为任何对话数据集的离线安全检查手段。小结dialogue_safety任务族是论文方法论的完整开源实现数据侧以 Round 1–3 的 standard/adversarial 单轮数据与 multiturn 多轮对抗数据承载Build-Break-Fix迭代流程模型侧提供单轮 Transformer 与多轮 BERT 两类官方预训练权重训练侧给出可复现的多任务对抗微调配方。结合 parlai/tasks/dialogue_safety/agents.py、parlai/tasks/dialogue_safety/base_agent.py、parlai/utils/safety.py 等源码开发者可以在此基础上快速搭建、评估并部署具备对抗鲁棒性的对话安全分类系统。【免费下载链接】ParlAIA framework for training and evaluating AI models on a variety of openly available dialogue datasets.项目地址: https://gitcode.com/gh_mirrors/pa/ParlAI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考