【免费下载链接】Qwen3.8-27B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.8-27B-singprobe点击查看免费下载Qwen3.8-27B-singprobe 是 inclusionAI 推出的轻量级大模型安全探针Probe基于 Qwen3.8-27B 底模在生成过程中逐 token 输出 10 类安全分数8 种意图 不安全 幻觉风险解码开销不到 0.5%。它的源码里其实定义了两种探针结构轻量的 MLP 探针SingProbeMlpModel和带注意力的 Attention 探针SingProbeAttnModel。本文带你用大白话搞懂它们各自长什么样、差在哪里、该选哪个。一、先搞清楚SingProbe 安全探针是什么 传统做法是再跑一个独立的安全模型来判断内容是否合规而 Qwen3.8-27B-singprobe 走的是内生流式护栏路线——不额外部署安全模型而是复用底模在生成时产生的隐藏状态hidden states只挂载一个极小的探针来打分。项目说明底模Qwen/Qwen3.8-27B探针参数量仅 10.1M约为底模的 0.04%采样的隐藏层第 20、41、62 层见 config.json 中base_model_layer_ids输出标签10 个label_0–label_98 种查询意图 不安全 幻觉解码开销 0.5%简单理解模型每吐出一个 token探针就顺带瞟一眼中间层的隐藏状态同时告诉你——用户意图是什么、这句话有没有危险、有没有可能在一本正经地胡说八道幻觉检测。这正是流式安全护栏和幻觉检测能同时做到、且几乎不拖慢速度的原因。二、MLP 探针SingProbeMlpModel最简单的两层打分器MLP 结构的实现见 modeling_sing_probe.py计算流程是一条直线拼接输入把 20、41、62 三层的隐藏状态直接拼起来input_size hidden_size × 3第一层线性fc1压缩到intermediate_size默认 1024再过 GELU 激活第二层线性fc2映射到 10 个标签输出 logits对应的配置类在 configuration_sing_probe.py。特点⚡逐 token 独立打分每个位置的输出只依赖它自己的三层特征token 之间互不通信 结构极简推理时基本就两次矩阵乘法延迟几乎可以忽略 适合对延迟极度敏感、且单 token 特征已足够明确的场景可以把它想象成只看当前这一帧画面做判断——快但看不到上下文。三、Attention 探针SingProbeAttnModel能回看的打分器当前发布的检查点用的就是这种结构config.json 中architectures为SingProbeAttnModel实现见 modeling_sing_probe.py配置类见 configuration_sing_probe.py。它的流程更有模型味Q/K/V 投影把三层拼接特征分别投影为 Query、Key、Value。注意这里采用类似 GQA分组查询注意力的设计——8 个 Query 头共享 1 个 KV 头省计算滑动窗口注意力默认sliding_window 2048每个 token 最多回看前 2048 个 token 的特征窗口外的历史直接忽略算力可控残差连接注意力输出经o_proj后加回 Query 特征RMSNorm 分类头归一化后映射到 10 个标签特点带时序上下文能感知前文说了什么对多轮对话、长回答中逐渐累积的风险更敏感窗口化设计2048 的滑窗让复杂度近似线性不会随对话长度爆炸 流式安全指标R-AUC 0.9881 / T-AUC 0.9305显著优于 8B 级专用流式护栏基线如果说 MLP 是看当前帧Attention 探针就是回放最近 2048 帧再下判断。四、两种探针结构对比一览表维度SingProbeMlpModelSingProbeAttnModel结构线性层 → GELU → 线性层QKV 投影8Q/1KV 头→ 滑窗注意力 → 残差 → RMSNorm → 分类头上下文感知无逐 token 独立有回看 2048 token 窗口参数量级数百万级默认配置约 7.9M发布版 10.1M推理开销极低极低仍 0.5% 解码开销擅长场景单 token 意图/风险识别依赖上下文的流式安全、幻觉累积是否发布为检查点否源码中提供✅ 是本仓库模型文件一句话总结MLP 胜在简单快Attention 胜在看得远两者都是寄生在底模上的极轻探针不改变生成质量只增加安全维度。五、快速体验一分钟跑起带探针的服务 探针通过 SGLang 或 vLLM 的集成分支加载启动时把探针检查点路径传给--probe-ckpt即可每个生成 token 会返回label_0–label_9一个分数字典。命令如下详见 README.mdpython -m sglang.launch_server \ --model-path Qwen/Qwen3.8-27B \ --probe-ckpt inclusionAI/Qwen3.8-27B-singprobe \ --port 30000⚠️ 注意必须使用精确的底模 探针配对——Qwen/Qwen3.8-27B搭配本探针否则分数无意义。本地仓库文件一览方便对照阅读模型说明与评测数据README.md探针超参数层 ID、滑窗、标签数config.json两种探针的配置类定义configuration_sing_probe.py两种探针的完整实现modeling_sing_probe.py权重文件model.safetensors六、总结该怎么选想直接部署用本仓库发布的 SingProbeAttnModel 检查点即可它在流式安全、响应安全分类F1 0.8676、意图分类F1 0.8683、幻觉检测AUC 0.8035上均对标或超过 8B 级专用安全模型而良性回复的误报率平均只有 0.03%想自研/训练更轻的探针参考 MLP 结构作为基线再按需升级到 Attention 结构核心启示大模型的安全护栏不一定要再跑一个大模型一个 10.1M 参数、挂在中间层上的小探针就能在流式生成时同时管住意图、安全与幻觉这就是 Qwen3.8-27B-singprobe 用两个极简结构讲透的内生护栏思路 赞分享【免费下载链接】Qwen3.8-27B-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Qwen3.8-27B-singprobe点击查看免费下载相关推荐DataHub CorpGroup 实体深度解析企业组织架构、成员关系与身份源集成指南DataHub CorpGroup 实体深度解析企业组织架构、成员关系与身份源集成指南 导读 本文以 DataHub 开源仓库中 metadata modelQwen3.8-27B-singprobe vLLM部署指南一行--probe-ckpt加载token级安全探针Qwen3.8 27B singprobe vLLM部署指南一行 probe ckpt加载token级安全探针 Qwen3.8 27B singprobe 是Swift-Qwen3.8-27B vs Qwen3.8-27B9大基准测试完整对比解析GPQA、AIME、LiveCodeBench全覆盖Swift Qwen3.8 27B vs Qwen3.8 27B9大基准测试完整对比解析GPQA、AIME、LiveCodeBench全覆盖 Swift大模型基础模型推理模型微调模型优化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考