【免费下载链接】Qwen3.5-9B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-9B-singprobe点击查看免费下载Qwen3.5-9B-singprobe 是一个基于 Qwen3.5-9B 大模型的内生式流式安全护栏探针它在模型逐 token 解码的同时顺手算出意图、不安全与幻觉风险评分额外解码开销不到 0.5%。本文用通俗的语言带你拆解它的设计原理、性能表现与接入方法。为什么内生护栏这么吸引人大模型要安全上线传统做法是再挂一个独立的安全审查模型主模型先生成安全模型再审一遍。这意味着——双重推理成本多跑一个完整模型延迟和算力直接翻倍无法流式拦截审查往往发生在整段回答之后问题内容可能已经输出给用户链路复杂多一个模型多一分部署与维护负担Qwen3.5-9B-singprobe 走的是另一条路不给模型配外挂而是给它加一个极轻量的探针。探针复用主模型生成过程中本来就存在的隐藏状态hidden states在每个 token 解码的瞬间就完成三类评分评分维度说明查询意图识别用户提问的意图类别8 类回答不安全性判断正在生成的回复是否不安全幻觉风险检测生成内容出现事实错误的可能性这就是内生的含义护栏能力内嵌在推理链路里随生成实时生效而不是事后补救。解码开销小于0.5%的三大关键设计设计一只搭便车绝不重复推理打开探针的配置文件 config.json能看到一行关键参数base_model_layer_ids: [9, 19, 30]探针只从基座模型的第 9、19、30 层偷听隐藏状态把这三层的特征拼接起来作为输入。这些状态在主模型前向传播时本来就存在探针不需要重新跑一遍 9B 参数的大模型省下的正是绝大部分开销。设计二8.13M 参数只有基座的千分之一整个探针只有8.13M约 800 万参数而基座模型 Qwen3.5-9B 有 90 亿参数——探针的体量不足基座的1/1000。模型结构定义见 modeling_sing_probe.py它并非简单的两层 MLP而是带有一个小型注意力层的SingProbeAttnModel输入投影input_size hidden_size × 34096 × 3 层拼接8 个注意力头、每头 64 维2048 的滑窗注意力sliding_window长上下文下不盲目看全文解码路径上支持 GQA多查询头共享单 KV 头进一步压缩 KV 计算量最后通过一个分类头输出10 个分数label_0到label_9覆盖 8 个意图类别、1 个不安全分数和 1 个幻觉分数。设计三推理引擎级集成每 token 一份分数探针不是独立服务而是通过推理引擎的集成分支SGLang / vLLM加载到同一条解码管线中。主模型每解出一个 token探针就同步产出一份分数字典天然支持流式安全——在回答尚未说完时就能发现风险这正是流式护栏的价值所在。实测效果小探针大能力README 中给出的基准测试结果数值越高越好任务指标Qwen3.5-9B-singprobe参考基线查询意图分类6 个基准F10.8719YuFeng-XGuard-Reason-8B: 0.8714回答安全分类8 个基准F10.8695Qwen3Guard-Gen-8B-strict: 0.8604流式安全3 个基准R-AUC / T-AUC0.9874 / 0.9344Qwen3Guard-Stream-8B-strict: 0.9640 / 0.8893幻觉检测6 个基准AUC0.7954DRIFT: 0.8000值得注意的两个部署指标正常回答误报率平均仅 0.04%5 个数据集——不会动不动误伤正常对话解码开销 0.5%——几乎感知不到的额外成本也就是说一个 8M 参数的小探针在流式安全指标上超过了 8B 级别的独立安全模型。如何快速接入一条启动命令搞定在支持探针的 SGLang 或 vLLM 分支上启动服务时用--probe-ckpt指定探针即可python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-9B \ --probe-ckpt inclusionAI/Qwen3.5-9B-singprobe \ --port 30000两点使用提醒⚠️基座与探针必须成对使用本探针只适配Qwen/Qwen3.5-9B基座请勿混搭其他版本每个生成 token 会返回label_0–label_9共 10 个分数按你的业务设定阈值即可触发拦截、改写或人工审核项目文件导览文件作用README.md模型说明、评测结果与快速上手config.json探针结构配置拼接层 [9, 19, 30]、10 个标签、滑窗 2048configuration_sing_probe.py探针配置类定义Attn / Mlp 两种形态modeling_sing_probe.py探针模型主体滑窗注意力 分类头的前向逻辑model.safetensors8.13M 参数的探针权重文件常见问题 FAQQ1它和独立的 Guard 安全模型有什么区别独立安全模型需要完整跑一遍另一个大模型延迟和显存都是实打实的翻倍Qwen3.5-9B-singprobe 复用基座已有的中间表示开销不足 0.5%且能逐 token 流式出分。Q2探针会影响模型原本的回答质量吗探针只做旁听评分不参与主模型的生成过程因此不改变回答内容本身它提供的是随附的风险分数供上层策略使用。Q3可以检测哪些风险三个维度查询意图分类8 类、回答不安全判定、幻觉风险判定输出统一为 10 个 token 级分数。Q4适合什么场景对延迟敏感的流式对话场景客服、Agent、实时聊天以及希望在内容输出途中而非之后就拦截风险的部署环境。总结Qwen3.5-9B-singprobe 用复用隐藏状态 千分之一参数体量 引擎级流式集成三板斧把安全护栏从事后审查变成生成即检测并以不到 0.5% 的解码开销证明了内生式护栏的可行性。赞分享【免费下载链接】Qwen3.5-9B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.5-9B-singprobe点击查看免费下载相关推荐什么是流式安全检测Qwen3.5-9B-singprobe 入门教程R-AUC/T-AUC 指标深度科普解码开销不到 0.5%什么是流式安全检测Qwen3.5 9B singprobe 入门教程R AUC/T AUC 指标深度科普解码开销不到 0.5% Qwen3.5 9B s为什么护栏开销能低于0.5%gemma-4-26B-A4B-it-singprobe背后的工程秘密深度解析为什么护栏开销能低于0.5%gemma 4 26B A4B it singprobe背后的工程秘密深度解析 部署大模型最怕什么安全护栏拖慢推理速度。而安全探针如何做到解码开销不到0.5%Qwen3.8-27B-singprobe性能优化原理解析安全探针如何做到解码开销不到0.5%Qwen3.8 27B singprobe性能优化原理解析 Qwen3.8 27B singprobe SingProb创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考