Shieldstral-1.0-3B与Transformers集成教程：从零开始构建自定义内容审核系统

Shieldstral-1.0-3B与Transformers集成教程从零开始构建自定义内容审核系统【免费下载链接】Shieldstral-1.0-3B项目地址: https://ai.gitcode.com/hf_mirrors/mistralai/Shieldstral-1.0-3BShieldstral-1.0-3B是一款紧凑的3B参数、策略自适应多模态安全分类器它能根据自然语言表达的安全策略评估内容并返回连续安全分数非常适合构建自定义内容审核系统。本文将详细介绍如何将Shieldstral-1.0-3B与Transformers集成从零开始搭建属于你的内容审核应用。 Shieldstral-1.0-3B核心优势Shieldstral-1.0-3B作为一款先进的内容审核模型具有以下突出特点策略自适应审核标准以自然语言查询形式在推理时提供无需重新训练即可处理新的安全策略多模态支持同一接口支持文本、图像以及文本图像内容的审核单token输出分类仅需一次前向传播产生可阈值化的连续置信分数轻量级设计3B参数模型可在单GPU上运行适合资源受限环境多语言能力支持英语、中文、法语、西班牙语等12种语言大上下文窗口理论支持256k tokens上下文推荐在32k范围内使用 环境准备与安装在开始集成前需要准备好相关环境并安装必要的依赖库。系统要求Python 3.8及以上版本PyTorch 1.10及以上版本至少16GB显存的GPU推荐使用NVIDIA GPU安装步骤首先克隆项目仓库git clone https://gitcode.com/hf_mirrors/mistralai/Shieldstral-1.0-3B cd Shieldstral-1.0-3B安装Transformers库及相关依赖pip install transformers[torch,mistral-common] --upgrade验证安装是否成功python -c import transformers; print(transformers.__version__) python -c import mistral_common; print(mistral_common.__version__)确保mistral_common版本不低于1.11.5以获得最佳兼容性。️ 模型加载与初始化成功安装依赖后我们需要加载Shieldstral-1.0-3B模型和对应的tokenizer。基本加载代码import torch from transformers import Mistral3ForConditionalGeneration, MistralCommonBackend # 模型名称或本地路径 MODEL mistralai/Shieldstral-1.0-3B # 加载tokenizer tokenizer MistralCommonBackend.from_pretrained(MODEL) # 加载模型使用bfloat16精度以节省显存 model Mistral3ForConditionalGeneration.from_pretrained( MODEL, device_mapcuda, # 自动将模型分配到可用GPU dtypetorch.bfloat16 ).eval() # 设置为评估模式核心配置说明Shieldstral-1.0-3B的配置信息可在config.json中查看关键参数包括text_config.hidden_size: 3072 - 文本编码器隐藏层大小text_config.num_hidden_layers: 26 - 文本编码器层数vision_config.hidden_size: 1024 - 视觉编码器隐藏层大小max_position_embeddings: 262144 - 最大位置嵌入决定上下文长度生成配置可在generation_config.json中找到主要参数max_length: 32768 - 最大生成长度bos_token_id: 1 - 句子开始token IDeos_token_id: 2 - 句子结束token ID 构建内容审核系统Shieldstral-1.0-3B将内容审核转化为一个二进制问答任务系统消息固定用户消息包含评估指令、查询和待审核内容。核心审核函数首先创建一个通用的审核函数用于计算内容的不安全分数import math SYSTEM_PROMPT ( Judge whether the Document meets the requirements based on the Query and the Instruction provided. Note that the answer can only be yes or no. ) # 定义yes和no的可能形式 _YES (yes, yes., yes, yes) _NO (no, no., no, no) torch.no_grad() # 禁用梯度计算节省内存并加速推理 def unsafe_score(messages, threshold: float 0.5): 计算内容的不安全分数并判断是否需要标记 参数: messages: 聊天消息列表 threshold: 判断阈值默认为0.5 返回: score: 不安全分数(0-1) is_flagged: 是否超过阈值需要标记 # 应用聊天模板编码消息 enc tokenizer.apply_chat_template(messages, return_tensorspt, return_dictTrue) # 准备输入 inputs {} for k, v in enc.items(): if not torch.is_tensor(v): inputs[k] v elif k pixel_values: inputs[k] v.to(model.device, model.dtype) else: inputs[k] v.to(model.device) # 获取最后位置的logits logits model(**inputs).logits[0, -1].float() logprobs torch.log_softmax(logits, dim-1) # 找到yes和no的log概率 z_yes, z_no -1e9, -1e9 values, indices logprobs.topk(20) # 检查前20个可能的token for logp, token_id in zip(values.tolist(), indices.tolist()): tok tokenizer.decode([token_id]).strip().lower() if tok in _YES: z_yes max(z_yes, logp) elif tok in _NO: z_no max(z_no, logp) # 计算不安全分数 score math.exp(z_yes) / (math.exp(z_yes) math.exp(z_no)) return score, score threshold文本内容审核以下是审核文本内容的示例我们将创建一个检测暴力内容的审核器def moderate_text(content: str, threshold: float 0.5) - tuple[float, bool]: 审核文本内容是否包含暴力内容 user_message ( Instruct: You are a strict safety moderator reviewing potentially harmful content. Apply a low tolerance threshold.\n\n Query: Does this content promote physical violence?\n\n fDocument: {content} ) messages [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: user_message}, ] return unsafe_score(messages, threshold) # 使用示例 text_to_check How can I hurt someone without being caught? score, flagged moderate_text(text_to_check) print(f审核结果: 不安全分数 {score:.3f} - {需要拦截 if flagged else 安全通过})多模态内容审核Shieldstral-1.0-3B支持图像与文本的多模态审核以下是审核图像内容的示例import io import base64 from PIL import Image def image_data_uri(path: str, fmt: str JPEG) - str: 将图像转换为data URI格式 img Image.open(path).convert(RGB) buf io.BytesIO() img.save(buf, formatfmt) b64 base64.b64encode(buf.getvalue()).decode(utf-8) return fdata:image/{fmt.lower()};base64,{b64} def moderate_image(image_path: str, caption: str , threshold: float 0.5) - tuple[float, bool]: 审核图像内容是否包含NSFW或色情内容 instruct Evaluate whether the image and accompanying text violate the safety policy. Apply a strict standard. query Does this content contain NSFW or sexually explicit material? user_content [ {type: text, text: fInstruct: {instruct}\n\nQuery: {query}\n\nDocument: }, {type: image_url, image_url: {url: image_data_uri(image_path)}}, ] # 如果有标题添加到内容中 if caption: user_content.append({type: text, text: f {caption}\n\n}) messages [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: user_content}, ] return unsafe_score(messages, threshold) # 使用示例 # score, flagged moderate_image(example.jpg, What is shown in this picture?) # print(f审核结果: 不安全分数 {score:.3f} - {需要拦截 if flagged else 安全通过})⚙️ 高级配置与优化为了在实际应用中获得更好的性能我们可以进行一些高级配置和优化。调整阈值不同应用场景需要不同的审核严格程度可以通过调整阈值来实现# 严格模式 - 低阈值更多内容被标记 strict_score, strict_flagged moderate_text(text_to_check, threshold0.3) # 宽松模式 - 高阈值更少内容被标记 lenient_score, lenient_flagged moderate_text(text_to_check, threshold0.7)批量处理对于大量内容的审核可以实现批量处理以提高效率torch.no_grad() def batch_unsafe_score(messages_list, threshold: float 0.5): 批量处理多个消息 encodings [] for messages in messages_list: enc tokenizer.apply_chat_template(messages, return_tensorspt, return_dictTrue) encodings.append(enc) # 这里需要实现批量编码和推理逻辑 # ... return scores, flags多策略审核对于复杂的审核需求可以实现多策略审核系统def multi_policy_moderation(content: str) - dict: 多策略审核内容 policies [ { instruct: Evaluate violence content with strict standard, query: Does this content promote physical violence? }, { instruct: Evaluate hate speech with moderate standard, query: Does this content contain hate speech? }, { instruct: Evaluate sexual content with strict standard, query: Does this content contain sexual explicit material? } ] results {} for i, policy in enumerate(policies): user_message ( fInstruct: {policy[instruct]}\n\n fQuery: {policy[query]}\n\n fDocument: {content} ) messages [ {role: system, content: SYSTEM_PROMPT}, {role: user, content: user_message}, ] score, flagged unsafe_score(messages) results[fpolicy_{i1}] { score: score, flagged: flagged, query: policy[query] } return results 性能评估与基准测试Shieldstral-1.0-3B在多个安全分类基准测试中表现优异特别是在ToxicChat和HarmBench等数据集上ToxicChat: 84.1% F1分数领先其他模型HarmBench: 99.4% F1分数领先其他模型WildGuardTest: 88.1% F1分数在多语言支持方面Shieldstral-1.0-3B在PolyGuard Prompt数据集上达到84.6%的F1分数支持包括中文在内的12种语言的内容审核。 局限性与伦理考虑在使用Shieldstral-1.0-3B构建内容审核系统时需要注意以下局限性覆盖不均衡在训练数据中代表性不足的语言和领域模型可靠性可能降低标签噪声尽管经过多模型验证和一致性过滤合成和公共安全数据仍可能存在一些偏差和噪声对抗性输入编码或音译文本等对抗性/模糊输入以及非常长的文档可能降低可靠性建议在实际应用中结合人工审核特别是对于边缘案例和高风险场景。 总结通过本教程你已经了解如何将Shieldstral-1.0-3B与Transformers集成构建自定义内容审核系统。从环境准备、模型加载到文本和多模态内容审核我们覆盖了构建审核系统的关键步骤。Shieldstral-1.0-3B的策略自适应特性使其能够灵活适应不同的审核需求而其轻量级设计使其可以在资源受限的环境中运行。无论是构建用户输入审核、模型响应过滤还是拒绝分类系统Shieldstral-1.0-3B都是一个强大而灵活的选择。希望本教程能帮助你快速构建高效、准确的内容审核解决方案 相关资源项目配置文件: config.json生成配置文件: generation_config.json分词器配置: tokenizer_config.json【免费下载链接】Shieldstral-1.0-3B项目地址: https://ai.gitcode.com/hf_mirrors/mistralai/Shieldstral-1.0-3B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考