智能体 AI 上线前怎么审:把 Anthropic 的四个问题落成风险字段
核心判断智能体审批的对象应是一条具体任务链而不是模型名称或一张笼统的工具清单。四问可以落成输入信任、动作身份、影响范围、观测证据四组字段并进入发布门禁。模型升级、连接器变化和权限扩大都会使旧审批失效需要用同一套高风险样本重新回归。四个问题不是安全口号而是审批输入企业开始把大模型接入工单、代码仓库、告警平台和内部知识库后传统的“能不能用这个模型”已经不够用了。真正需要审批的是一条具体任务链它会读到什么内容以谁的身份调用什么工具最坏情况下能影响多少对象以及出事后能不能还原全过程。Anthropic 在 2026 年 7 月 17 日发布的 CISO 指南中把智能体风险压缩为四个问题它会摄入哪些不可信内容它能执行哪些动作、代表谁执行行为偏离目标时的影响半径有多大组织具备什么可观测性。这四问适合直接变成上线评审表而不是停在会议里的原则讨论。第一个问题要记录输入来源和信任级别。网页、外部邮件、用户上传附件、Slack 消息都可能夹带诱导指令内部文档也不能天然视为可信。字段至少包括source_type、trust_level、content_owner和是否经过隔离解析。第二个问题要拆开“可调用工具”和“实际动作”同样是接入工单系统读取状态、创建草稿、修改优先级、关闭工单对应的风险完全不同。身份也不能只写“已授权”。官方文章把常见方式放在一条光谱上一端是系统服务账号动作明确归属于智能体另一端是使用个人凭据智能体像用户本人一样行动。最危险的往往是中间地带系统既说不清谁承担责任也无法从日志判断权限来自人、群组还是代理委托。用最小智能体权限定义可执行边界Anthropic 提出的“最小智能体权限”可以理解为最小权限原则的任务化版本只授予完成目标所需的最窄能力。它不是简单地减少工具数量而是同时约束数据范围、动作类型、持续时间和可影响对象。官方给出的事件响应智能体示例很具体。它可以读取不含个人信息的生产日志可以在 Slack 创建和管理事件频道也可以起草 Google Docs 复盘文档但它不能编辑或删除生产数据不能修改权限也不能访问外部端点所有动作都进入 SIEM。这样的边界比“允许访问日志和协作工具”更容易审计因为每项能力都能对应允许动作与禁止动作。工程团队可以把动作拆成read、draft、create、update、delete、grant和external_send再为每项记录资源范围、身份、有效期、是否需要人工确认。高风险动作不一定全部禁用但应进入单独的审批门例如提交变更只能生成 PR不能直接合并。Anthropic 也提到一次模型升级后出现了智能体之间新的协同行为不过代码改动仍然进入 PR由人审查后才可能落地。这说明能力提升不应自动扩大执行权限。若团队还要比较不同 API 模型在同类任务上的稳定性可先按 147AI 的 API 接口文档完成认证、模型标识和返回字段映射再按任务编号保留实际模型、失败原因、成本和复核结论。这个外部调用评测台账不控制 Cowork 的连接器、身份、沙箱或权限策略。可观测性要能回答一次事故发生了什么日志数量多不等于可观测。一次任务至少要串起请求人、输入来源、智能体身份、模型版本、工具调用、参数摘要、动作结果、人工批准和最终影响对象。若这些事件散落在聊天记录、云日志和业务系统中又没有统一任务 ID事故复盘仍然只能靠人工拼接。Anthropic 在 Cowork 控制说明中提到 OTel/OTLP 遥测、连接器令牌经反向代理注入、远程临时沙箱和出站网络白名单等机制。这里有两个容易忽略的边界Cowork 的提示内容默认会进入 OTel 输出组织需要先确认采集与留存政策同时Cowork 目前不在 Compliance API 或正式审计日志中不能把遥测能力误写成已经覆盖所有合规取证需求。上线流程可以采用管理员控制节奏的小范围扩展先选低影响团队观察工具调用、拒绝率、人工介入和异常出口再逐步增加频道、数据源和动作。每次模型升级、连接器变更或权限扩大都应重新回答四个问题而不是沿用旧审批单。因为真正变化的未必是代码也可能是模型突然更会组合已有工具。一张合格的智能体评审表最终应能给出明确结论哪些输入被视为不可信哪些动作被禁止谁为每次行动负责最坏情况下如何止损事故证据在哪里。四问的价值正在于把“AI 有风险”改写成可以配置、测试和复盘的工程对象。把审批单接进发布流水线真正落地时可以把四组字段做成一份版本化配置而不是留在 Word 或会议纪要中。每个智能体版本至少绑定下面这些对象风险面建议字段发布门禁输入来源、信任等级、解析方式、数据负责人新增外部来源必须重测提示注入样本动作工具、动作、资源范围、执行身份、有效期delete、grant、external_send默认阻断影响单次对象数、环境、地域、回滚点超过阈值转人工批准观测任务 ID、模型版本、参数摘要、审批记录关键事件缺失时不得扩大范围配置进入代码仓库后变更可以像普通发布一样被审查。比如连接器从“读取工单”增加到“更新优先级”即使模型版本不变也应触发安全回归。反过来模型升级但权限没有变化也要用旧版本的拒绝样本、越权样本和模糊目标样本重新跑一遍因为新模型可能组合出过去没有使用过的动作路径。上线后还要保留三个运行指标异常动作被工具层拒绝的次数、需要人工接管的任务比例、从发现异常到组织级暂停所需的时间。它们不直接代表系统安全却能帮助团队判断边界是否清楚、工具是否过度授权、停止路线是否真的可用。几个容易混淆的工程问题提示词写了“不要越权”还需要工具层限制吗需要。自然语言约束可以帮助模型理解目标但不能替代身份、动作和网络层的强制控制。不可逆动作要由系统阻断或要求独立批准。有完整聊天记录算具备可观测性吗不算。聊天只显示意图和回答事故复盘还需要工具调用、目标资源、执行身份、结果、审批人与关联业务对象。什么时候必须重新审批输入来源、模型、连接器、动作范围、身份方式、数据范围或日志结构任一发生实质变化时都应重新计算影响半径并运行回归样本。证据边界四问、最小智能体权限、管理员控制节奏及 Cowork 控制来自 Anthropic 官方文章字段设计、发布门禁和指标属于基于官方框架提出的工程实施建议。官方来源AnthropicThe CISO’s guide to agentic AI发布于 2026-07-17。

相关新闻

《深入理解计算机系统》 全书总结

《深入理解计算机系统》 全书总结

*从程序员的角度**出发,揭示了软件如何在硬件上运行、如何被系统软件管理以及如何与硬件交互。 以下是全书 12 章的核心逻辑串联与终极总结:核心主线:信息的流动与抽象 全书贯穿了一条主线:信息(位)如何在不…

2026/10/15 6:13:16 阅读更多 →
React Native Photo Browser 测试策略:单元测试与集成测试实践指南

React Native Photo Browser 测试策略:单元测试与集成测试实践指南

React Native Photo Browser 测试策略:单元测试与集成测试实践指南 【免费下载链接】react-native-photo-browser Local and remote media gallery with captions, selections and grid view support for react native. 项目地址: https://gitcode.com/gh_mirrors…

2026/10/8 2:35:20 阅读更多 →
画一张图,看穿数据背后的因果关系——DAG因果图入门指南

画一张图,看穿数据背后的因果关系——DAG因果图入门指南

"我们需要的不是更多数据,而是更好的因果推理工具。" —— Nick Huntington-Klein,《The Effect》 一、DAG 是什么?为什么科研人必须懂它? 1.1 一个简洁的定义 因果图(DAG)是用"节点"…

2026/10/14 7:10:16 阅读更多 →

最新新闻

桌面端AI工具实战:本地会话管理与API密钥安全存储指南

桌面端AI工具实战:本地会话管理与API密钥安全存储指南

1. 桌面端AI工具的核心价值与设计思路1.1 为什么桌面端是更务实的选择聊到AI工具的使用形态,很多人第一反应是打开浏览器、登录网页、输入问题、等待回答。这套流程在偶尔用用的时候没什么问题,但一旦你把它当成日常生产力工具,每天要调用几十…

2026/10/15 6:12:42 阅读更多 →
高德地图JS API自定义Marker图标与InfoWindow窗口完全指南

高德地图JS API自定义Marker图标与InfoWindow窗口完全指南

做地图类前端时间久了会发现,高德地图 JS API 自带的那根红色大头针和白色气泡,几乎是我见过“被替换率”最高的默认组件。刚接触时觉得挺省事,new 一个 Marker 就完事;等真正做门店地图、运营点位、活动大屏时,默认图…

2026/10/15 6:12:42 阅读更多 →
前端工程师如何转型Agent开发:从状态管理到工具调用

前端工程师如何转型Agent开发:从状态管理到工具调用

1. 从一个前端视角重新理解 Agent 开发1.1 为什么前端工程师会对 Agent 开发产生误解我做了六年多前端,从 jQuery 时代一路写到现在的组件化框架,去年开始接触 Agent 相关的项目。最开始那两个月,我踩了一个非常大的坑:我以为做 A…

2026/10/15 6:12:42 阅读更多 →
磁性角度编码器芯片选型:噪声、分辨率与INL的实测与避坑指南

磁性角度编码器芯片选型:噪声、分辨率与INL的实测与避坑指南

简介:这是一份面向电机控制、机器人及手持云台等领域的磁性角度编码器芯片入门讲解文档,聚焦传感器类芯片选型与闭环系统调试中的常见困惑。资料以MT6825为例,系统梳理噪声来源、有效分辨率与积分非线性(INL)三个核心指…

2026/10/15 6:12:42 阅读更多 →
51汇编实战:4x4矩阵键盘扫描与数码管移位显示避坑指南

51汇编实战:4x4矩阵键盘扫描与数码管移位显示避坑指南

简介:这份资源面向单片机初学者与嵌入式入门者,围绕51单片机平台,用汇编语言完整实现矩阵键盘扫描与数码管显示联动,帮助理解行线列线交叉检测按键、键值计算与移位显示等底层硬件操作。压缩包内共1个doc文件,约283KB&…

2026/10/15 6:12:42 阅读更多 →
FastAPI进阶实战:异步并发、依赖注入与生产部署全解析

FastAPI进阶实战:异步并发、依赖注入与生产部署全解析

先说一个可能有点得罪人的观点:FastAPI 之所以在圈子里被“吹”得这么厉害,大部分教程都在讲它有多少新特性、能省多少代码,但真正决定这门技术在生产环境里能不能站得住脚的,往往是另一套东西。不是路由怎么写,也不是…

2026/10/15 6:11:42 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时,网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上,依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

1. 共享推理服务里,扩缩容到底难在哪做过大模型推理服务部署的人,大概都经历过这样的场景:一个团队共用一套推理集群,A 业务跑的是 7B 的小模型,B 业务跑的是 72B 的大模型,C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

1. 引子:一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减,为了把启动时间压进两秒以内,我手贱地把一串自认为“没用”的 systemd 服务给 disable 了,其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 0:14:36 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 7:53:34 阅读更多 →