【免费下载链接】Ling-3.0-tiny-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-singprobe点击查看免费下载SingProbeLing-3.0-tiny-singprobe是基于 Ling-3.0-tiny 基座模型构建的内生式流式安全护栏它不额外运行独立的安全模型而是复用基座模型生成时已经计算好的隐藏状态对每个 token 实时打出用户意图、响应不安全风险、幻觉风险三类分数Decode 阶段额外开销不到 0.5%。 这篇文章将带你拆解它仓库中两种核心探针——MLP 探针与注意力探针的组件结构并说清楚它们背后的设计取舍。什么是 SingProbe流式安全护栏的极简实现传统做法是在推理服务旁边再挂一个大模型做安全审查延迟高、成本高。SingProbe 的思路完全不同把安全检测内嵌进生成过程。复用隐藏状态探针只消费基座模型第6、14、22层吐出的隐藏状态不做任何额外的前向推理逐 token 打分每生成一个 token 就返回一份分数字典label_0–label_9覆盖 8 类意图 不安全 幻觉极低开销探测头参数量仅3.22MDecode 开销 0.5%基座模型探测头参数量采样层输出inclusionAI/Ling-3.0-tiny3.22M[6, 14, 22]8 类意图 不安全 幻觉效果上它的意图分类 F1 达 0.8561、流式安全 R-AUC 达 0.9888良性响应平均误报率仅 0.07%——用 3M 级的小探测头做到了与 8B 参考模型相当甚至更优的水平。组件全景一套共享接口 两种探测头两种探针都继承自同一个基类 SingProbePreTrainedModel约定了统一的输入规范输入统一为hidden_states即多个采样层隐藏状态的拼接输入特征维度 hidden_size × 采样层数 1536 × 3 4608不匹配会直接报错见 _validate_input这意味着两种探针完全可互换上层推理框架SGLang / vLLM 集成无需感知探针内部差异只需按config.json中声明的架构加载即可。MLP 探针最轻量的逐 token 分类器MLP 探针 SingProbeMlpModel 是一个两层全连接网络结构一眼见底fc14608 → 1024 的线性层GELU 激活fc21024 → 10 个标签的线性分类头它的配置类 SingProbeMlpConfig 提供了intermediate_size、hidden_act等可调项。特点每个 token 独立打分单次新 token 的计算量是 O(1)无序列依赖、无额外缓存延迟和显存占用都是理论下限。适合单 token 信号已经很清晰的任务比如意图分类。注意力探针带上下文感知能力的轻量打分器注意力探针 SingProbeAttnModel 在同样小的体量下多了一层看上下文的能力Query 多头化proj_q投影到 8 头 × 64 维 512 维从多个角度查询历史信息K/V 单头化GQAproj_k、proj_v只投影到 64 维单头把 KV 缓存压缩到最低滑动窗口注意力窗口大小 2048见 SingProbeAttnConfig实现见 _sliding_window_attention每个 token 只关注最近 2048 个位置残差 RMSNorm 分类头注意力输出与 Query 特征做残差融合再经 RMSNorm 和线性分类器输出 logitsforward特点当前 token 可以回头看序列中前文的状态天然适配幻觉判定、流式安全这类依赖累积语境的任务。设计取舍对比为什么两者都要留维度MLP 探针注意力探针上下文感知❌ 只看当前 token✅ 因果窗口内 2048 个 token每 token 计算量O(1)O(窗口 × 头维)窗口有界参数量本项目≈ 4.7M≈ 3.2MKV 缓存无极小GQA 单头 K/V更擅长的任务意图分类等单点信号幻觉检测、流式安全等序列信号取舍逻辑可以概括为三点表达力换延迟但延迟有上界注意力探针引入序列依赖靠2048 滑动窗口把单 token 计算量封顶靠 GQA 把 KV 缓存压到 128 维/token最终整体 Decode 开销仍 0.5%注意力版反而更小MLP 版fc1一个矩阵就吃掉约 4.7M 参数注意力版把大头放在 Q 投影上约 2.36MK/V 极小总参数 3.22M——单位参数的表达力更高接口统一按需切换两种配置都实现input_size属性加载逻辑一致工程上零切换成本官方检查点为什么选注意力探针打开 config.json 可以看到本仓库发布的是SingProbeAttnModelmodel_type: sing_probe_attnsliding_window设为 2048、bfloat16精度。参数核算也能对上 3.22M 的说法proj_q4608 × 512 ≈ 2.36Mproj_k/proj_v各 4608 × 64 ≈ 0.29Mo_proj512 × 512 ≈ 0.26Mclassifier512 × 10 ≈ 0.005M选择注意力探针的直接证据在评测里流式安全 R-AUC / T-AUC 为0.9888 / 0.9479明显优于参考基线的 0.9640 / 0.8893——流式场景下安全信号随序列逐步演化能看到前文的探针优势被放大了。可以说上下文能力是收益GQA 滑动窗口是成本控制的钥匙。快速上手一条命令部署安全护栏通过 SGLang 集成分支启动服务用 Hugging Face ID 加载探针即可python -m sglang.launch_server \ --model-path inclusionAI/Ling-3.0-tiny \ --probe-ckpt inclusionAI/Ling-3.0-tiny-singprobe \ --port 30000集成会随每个生成 token 返回一份label_0–label_9分数字典当前仅支持 Ling-3.0 的BailingMoeV3ForCausalLM。⚠️ 注意严格匹配基座与探针本检查点只用于inclusionAI/Ling-3.0-tiny。小结SingProbe 证明了安全护栏不必是大模型3.22M 参数的探测头 复用隐藏状态就能实现逐 token 的意图、安全、幻觉三维检测MLP 探针胜在极致轻量的 O(1) 打分注意力探针胜在有界的上下文感知两者共享统一接口、可自由切换GQA 单头 K/V 2048 滑动窗口是表达力 vs 延迟之间的关键平衡点也是官方检查点最终选择注意力架构的根本原因核心文件modeling_sing_probe.py模型实现、configuration_sing_probe.py配置定义、config.json检查点架构声明赞分享【免费下载链接】Ling-3.0-tiny-singprobe项目地址https://ai.gitcode.com/hf_mirrors/inclusionAI/Ling-3.0-tiny-singprobe点击查看免费下载相关推荐MLP探针vs注意力探针gemma-4-E4B-it-singprobe两种架构的设计取舍全解析MLP探针vs注意力探针gemma 4 E4B it singprobe两种架构的设计取舍全解析 gemma 4 E4B it singprobe 是构建在MLP探针还是注意力探针Qwen3-4B-Instruct-2507-singprobe双架构对比分析MLP探针还是注意力探针Qwen3 4B Instruct 2507 singprobe双架构对比分析 Qwen3 4B Instruct 2507 sing轻量替代方案DeepSeek-V4-Flash-0731-singprobe的MLP探针版与注意力版设计权衡分析轻量替代方案DeepSeek V4 Flash 0731 singprobe的MLP探针版与注意力版设计权衡分析 如果你正在为大模型部署寻找 轻量替代方案 创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考