F1超94%背后的秘密SingGuard-NSFA-9B三大基准数据集全解读【免费下载链接】SingGuard-NSFA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9BSingGuard-NSFA-9B是蚂蚁集团 SingGuard 团队开源的智能体 AI 安全护栏模型用于实时拦截提示词注入、恶意代码请求、敏感信息窃取等智能体运行风险。它在三大多语言基准数据集上全部取得超过 94% 的 F1 分数并领先最强竞品 6~12 个绝对 F1 点。本文带你逐层拆解这三份考卷的构成、设计方法与实战意义。智能体越能干越需要一道安全护栏⛑️当大模型从聊天机器人升级为能调用工具、读写文件、执行代码的智能体Agent攻击面也随之急剧扩大提示词注入诱导智能体忽略原有指令越权执行恶意代码请求让智能体编写并执行攻击性代码敏感信息窃取套取系统提示词、隐藏指令等机密危险工具滥用诱导执行rm -rf /等破坏性命令资源滥用让智能体无限循环、耗尽算力SingGuard-NSFA-9B 正是为应对这类操作性风险而生的智能体安全护栏。它基于 NSFANot Secure For Agents风险分类体系——以 CIA 三元组机密性、完整性、可用性为根基、与三份 OWASP 指南交叉验证共覆盖185 种风险变体并同时从**输入侧query与输出侧response**两个方向设卡拦截。仓库自带的 7 个分类头文件位于nsfa_heads/目录构成了两套防线防线风险域对应文件输入侧5 个域提示词注入与越狱、恶意代码与网络攻击、敏感信息窃取、危险操作与工具滥用、资源滥用如NSFA-Prompt_Injection_and_Jailbreak_head.pth、NSFA-Resource_Abuse_head.pth等输出侧2 个域危险行动生成、敏感信息泄露NSFA-Hazardous_Action_Generation_head.pth、NSFA-Sensitive_Information_Leakage_head.pthF1 超 94% 是什么水平先看懂这个指标F1 分数是精确率Precision与召回率Recall的调和平均。对安全护栏来说两个方向都不能偏抓得太宽 → 误报率高正常业务被误拦抓得太松 → 漏报风险危险指令被放行F1 超过 94%意味着模型在该拦的拦得住、不该拦的不误伤之间取得了极佳平衡。更难得的是SingGuard-NSFA 全系四个尺寸0.8B / 2B / 4B / 9B全部超过 94% F1且相比最强的竞品护栏高出6~12 个绝对 F1 点——这不是单点突破而是成体系的稳定领先。三大基准数据集全景速览这份F1 超 94%的成绩单来自三大专为多语言场景打造的 NSFA 基准数据集基准数据集样本量正:负风险域变体数语言数NSFA_Query_Multilingual63,43129,474 : 33,9575160133NSFA_Response_Multilingual29,97214,314 : 15,658225133NSFA_CrossSource_Query_Multilingual3,4352,315 : 1,1205--133三份基准合计近10 万条样本、覆盖133 种语言——这就是 SingGuard-NSFA-9B 的多语言安全考卷全貌。输入侧主考卷NSFA_Query_Multilingual6.3 万 样本、5 大风险域、160 个三级风险变体是三大基准中体量最大的输入护栏测试集。它考验模型能否在用户提问进入智能体执行流程之前精准识别注入、越狱、恶意代码、信息窃取、工具滥用等攻击意图。输出侧主考卷NSFA_Response_Multilingual近 3 万样本、2 大风险域、25 个变体专门考核输出护栏模型生成的回答中是否包含危险行动建议Hazardous Action Generation或敏感信息泄露Sensitive Information Leakage。跨源独立考卷NSFA_CrossSource_Query_Multilingual3,435 条样本由AgentDojo、InjecAgent、AgentHarm、AgentDyn、ATBench五个公开智能体安全数据集改造而来从构造上与训练数据完全独立——专门用来检验模型是否背题、是否具备真正的泛化能力。高 F1 背后的三大数据方法论分数不是凭空来的SingGuard-NSFA 团队在基准构建上下了硬功夫七模型多数投票标注每条样本由 7 个模型独立判断、多数一致才定标大幅压低标注噪声MinHashLSH 去重在训练集与评测集的边界上做近似去重杜绝背题式高分独立提示模板 跨源构建评测模板刻意区别于训练模板再叠加完全独立于训练数据的跨源基准双重保险验证真实能力。这套严进严出的评测设计正是 F1 超 94% 经得起推敲的根本原因。从考卷到实战双模式护航你的智能体基准之外SingGuard-NSFA-9B 更强调开箱即用实时分类模式在线拦截冻结主干 轻量 MLP 分类头单次前向约 50msA100适合高吞吐线上流量每个风险域可独立设置置信度阈值生成式推理模式离线审计输出链式推理Chain-of-Thought加结构化风险判定完整可解释适合合规审计与人工复核。仓库内的nsfa_heads/目录已随模型附带 7 个训练好的分类头配合model.safetensors权重与config.json配置即可直接加载完整的双模式推理示例与使用说明见项目根目录的README.md。此外这套分类头架构还天然可扩展新增风险域只需在冻结主干上额外训练一个头甚至可以为其他护栏如 Llama Guard 3补强检测能力实验显示可为后者提升17.6 个 F1 点0.8B 小尺寸版本在边缘设备上同样能保持 94% 的 F1。想直接上手体验克隆仓库即可开始git clone https://gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9B总结一份成绩单三份方法论SingGuard-NSFA-9B 的 F1 超 94%本质上是严谨的数据体系 扎实的模型架构共同作用的结果三大基准数据集从输入、输出、跨源三个维度围堵评估盲区七模型投票、去重、独立模板等设计让分数不含水双模式推理让高性能与可解释性兼得。如果你正在为智能体应用寻找一道可靠的安全护栏SingGuard-NSFA-9B 这份考卷与其成绩单值得仔细品读。【免费下载链接】SingGuard-NSFA-9B项目地址: https://ai.gitcode.com/hf_mirrors/inclusionAI/SingGuard-NSFA-9B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考