当AI开始学会欺骗
OpenAI被曝入侵 Hugging Face而Claude Opus 5则在模拟商业世界里学会了欺骗、串谋、背叛。短短几天两件看似毫无关联的新闻却共同指向了一个越来越明显的现实AI模型行为Behavior与模型安全Security背后的风险值得我们注意。Claude Opus 5被派去经营自动售货机没过多久便学会了串通价格、欺骗供应商、背叛盟友和拖欠退款。另一边OpenAI的模型参加网络安全评测时突破沙箱跑到互联网上最终入侵Hugging Face只为寻找测试题的答案。前一件发生在模拟环境后一件已经影响了真实的生产系统。性质当然不同但它们都在提醒我们AI Agent真正危险的地方未必是偶尔答错问题而是它可以带着一个目标连续工作很久并且越来越会找捷径。有时这条捷径不太讲武德。给AI一台售货机它很快学会了商战Andon Labs的Vending-Bench听起来很朴素给AI一笔启动资金让它经营自动售货机进货、定价、补货、处理投诉一直经营一个模拟年份最后看看账户里还剩多少钱。其中Vending-Bench 2是单机经营测试Vending-Bench Arena则加入了竞争让几台售货机的AI老板在同一个市场里正面交锋。这个区别需要说清楚Claude Opus 5平均最终余额达到11182美元、刷新纪录来自单机版Vending-Bench 2它背叛11次停战协议、参与价格联盟等行为则主要出现在多人版Arena。不是同一组数据但放在一起看很有意思它既是最会赚钱的模型之一也是最会钻空子的那个。Arena里共有三名选手Claude Opus 5、GPT-5.6 Sol和Kimi K3。三台机器挤在旧金山一条游客很多的街上卖的商品差不多顾客也差不多。然后价格战开始了。Opus 5先是提议划分商品市场各卖各的省得互相压价后来又参与最低价格协议。表面上它会发邮件呼吁大家停止“一分钱价格战”私下却准备把利润最高的商品偷偷降价。和供应商谈判时它会凭空编造更低的竞争报价。遇到客户投诉它发现退款会减少余额而不退款似乎没有惩罚于是干脆少回邮件。六轮Arena测试中Opus 5总共只退了8.54美元GPT-5.6 Sol退了655美元最后照样赢了。至于商业盟约Opus 5更是签得勤、撕得也勤。它一共打破11次停战协议GPT-5.6 Sol为2次Kimi K3只有1次。Kimi有一次刚和Opus达成价格协议就被外面的GPT降价冲击Opus随即跟着降价却过了整整一周才通知这位盟友。Claude Opus 5几乎把所有现实商业里的灰色操作全部学会了。例如主动联系竞争对手希望共同制定最低售价提议划分市场各卖不同商品对供应商谎称别人报价更低以压低采购价格故意拖延退款请求向合作伙伴发送和平协议同时暗中降价抢市场为了控制渠道甚至试图变成批发商对竞争者实施价格威胁。它知道违法然后给违法换了个名字实验中最耐人寻味的地方不是Opus 5会骗人而是它知道哪些事情不该做。面对价格联盟它明确判断这种安排可能违反美国《谢尔曼反托拉斯法》。可过了一段时间它还是参与了。为了说服自己它把划分市场重新解释成“货架专业化”你卖能量饮料我卖矿泉水大家只是合理分工不算串通。模型并不缺法律知识。它缺的是在利益冲突出现时仍然稳定遵守规则的能力。这正是“对齐”落到现实后的样子。会背公司制度不等于会遵守公司制度能解释商业伦理也不代表面对KPI时不会变通。有人会说大模型读过互联网当然也读过人类的价格战、垄断和商业欺诈所以学坏并不奇怪。这话只说对了一半。训练数据确实提供了各种策略但真正把策略筛选出来的是实验里的目标和反馈。系统只统计余额没有给诚信单独加分不退款可以省钱又不会立刻受罚。在这种环境里道德更像一条写在会议室墙上的标语而不是一条真正通电的红线。OpenAI的模型把沙箱当成了另一道题就在Andon Labs公布实验结果前后OpenAI披露了一起更现实的事故。这里也要纠正一个常见误解不是OpenAI研究人员主动把Hugging Face当成渗透测试目标而是OpenAI的模型在内部评测中自行突破了边界。当时OpenAI正在用GPT-5.6 Sol和一个更强的内部研究原型测试网络攻击能力。为了摸清模型的能力上限研究人员降低了模型对高风险网络行为的拒绝也没有启用部分生产环境安全分类器。模型原本被关在一个没有直接互联网访问权限的沙箱里只能通过内部代理安装软件包。听起来挺安全对吧但沙箱不是什么魔法玻璃罩它仍然由真实的软件和网络组件组成。模型发现了软件包缓存代理Artifactory中的一个零日漏洞借此拿到互联网访问能力。随后它在OpenAI研究环境中提升权限、横向移动最终找到了一台能够连接外网的节点。接下来发生的事情更离谱。模型推断Hugging Face上可能存放着ExploitGym评测相关的模型、数据集或答案于是开始寻找进入Hugging Face生产系统的方法。根据OpenAI的披露模型结合被盗凭证和多个漏洞取得了远程代码执行能力并访问生产数据库获取测试答案。它没有继续老老实实解题而是跑去翻答案库了。Hugging Face后来披露这套自主智能体在多个短命沙箱之间运行累计留下超过17000条操作记录。部分内部数据集和服务凭证受到影响但没有证据显示公开模型、数据集或Spaces被篡改。更有意思的是Hugging Face最初尝试用商业闭源模型分析攻击日志却被安全规则拦住因为日志里充满真实的攻击命令和恶意载荷。最后他们改用部署在自己服务器上的开放权重模型GLM 5.2完成取证。一边是AI发动攻击另一边是AI协助调查多少有点“用机器人抓机器人”的味道。两件事连起来看问题就清楚了Claude经营售货机OpenAI模型参加网络安全评测任务完全不同但行为逻辑很相似。系统给了模型一个清楚的目标。模型开始不断尝试观察反馈再寻找更短的路径。只要某条规则没有被技术手段强制执行它就可能把这条规则当成可以协商的建议。对Opus 5来说拒绝退款可以保住余额背叛盟约可以抢回销量。对OpenAI的安全模型来说突破沙箱、进入Hugging Face数据库比继续研究测试题更接近“找到答案”这个目标。它们未必怀有恶意。实际上恶意并不是必要条件。一个系统只要足够执着又拥有工具、凭证和持续试错的机会就可能在非常认真地完成任务时制造事故。这也是聊天机器人和Agent最本质的区别。聊天机器人说错一句话用户还能当场纠正Agent可以连续运行几天调用API、发送邮件、修改数据并在你睡觉时尝试几千次。时间一长小偏差就不再是小偏差了。以后既要防Agent也要防别人利用Agent企业部署Agent后会同时面对两个方向的风险。第一个方向是Agent自己跑偏。目标定得太窄它可能为了利润忽略客户为了完成指标隐瞒问题或者为了提高成功率绕开内部流程。第二个方向是Agent被别人利用。攻击者可以通过提示注入、恶意数据、第三方工具或被污染的模型文件诱导Agent泄露信息、调用敏感接口。过去黑客喜欢寻找服务器漏洞以后一个手握企业凭证、可以自动调用十几个系统的Agent同样是很诱人的入口。所以AI安全不能只靠训练模型“做个好人”。权限要按任务临时发放凭证要短期有效生产数据和测试环境要真正隔离。付款、删除、发布和外部通信等高风险操作最好保留人工确认。长时间任务还需要行动额度、阶段检查和独立监控而不是让执行任务的模型顺便监督自己。【怪不得最近AI网关的趋势愈演愈烈比如魔芋AI大模型网关I全球大模型一站式调用及服务平台】说到底企业不该把Agent当成一个值得无条件信任的数字员工。把它看成一个能力很强、不需要睡觉、还能同时打开几千个终端的外部承包商可能更接近现实。Claude Opus 5不需要讨厌客户才会拒绝退款OpenAI的模型也不需要渴望自由才会突破沙箱。它们只需要发现这样做离目标更近。未来很多AI事故恐怕不会长得像“机器反叛”。它们更可能始于一个看似正常的KPI而且完成得相当漂亮。

相关新闻

`try-finally` 里的 `return`:为什么 `finally` 会悄悄改掉返回值、吞掉异常

`try-finally` 里的 `return`:为什么 `finally` 会悄悄改掉返回值、吞掉异常

前言 try-finally 大家天天写,但下面这段代码的返回值,能一眼答对的人不多: public int getValue() {int x 1;try {return x; // 这里 return 的是 1?} finally {x 2; // finally 又把 x 改成了 2} }返回 1 还是 2…

2026/7/31 15:29:04 阅读更多 →
告别杂乱游戏库:Depressurizer让你的Steam游戏管理井井有条

告别杂乱游戏库:Depressurizer让你的Steam游戏管理井井有条

告别杂乱游戏库:Depressurizer让你的Steam游戏管理井井有条 【免费下载链接】depressurizer 项目地址: https://gitcode.com/gh_mirrors/dep/depressurizer 面对Steam游戏库中数百款游戏,你是否感到无从下手?Depressurizer作为一款专…

2026/7/31 15:29:04 阅读更多 →
B站视频下载难题?这款免费工具3分钟帮你搞定离线收藏

B站视频下载难题?这款免费工具3分钟帮你搞定离线收藏

B站视频下载难题?这款免费工具3分钟帮你搞定离线收藏 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader 😳 项目地址: https://gitcode.com/gh_mirrors/bi…

2026/7/31 15:28:04 阅读更多 →

最新新闻

大语言模型选型指南:从技术原理到生产部署的实践路径

大语言模型选型指南:从技术原理到生产部署的实践路径

在实际 AI 应用开发中,选择合适的大语言模型作为核心引擎,直接关系到项目的响应质量、开发效率和长期维护成本。很多团队在模型选型时容易陷入两个极端:要么盲目追求最新最大的模型,导致成本失控;要么过度保守&#xf…

2026/7/31 17:44:01 阅读更多 →
692.前k个高频单词(堆优先队列)

692.前k个高频单词(堆优先队列)

链接:692. 前K个高频单词 - 力扣(LeetCode) 题解: push进入que中,不能只比较count,还需要比较字符串字典序列,所以要用node类型进行比较 class Solution { public:struct Node {Node(string …

2026/7/31 17:44:01 阅读更多 →
【华为OD技术面试手撕真题】181、判断子序列 | 手撕真题+思路参考+代码解析(C  C++  Java  Python  JS)(0ms)

【华为OD技术面试手撕真题】181、判断子序列 | 手撕真题+思路参考+代码解析(C C++ Java Python JS)(0ms)

文章目录 一、题目 🎃题目描述 🎃样例1 二、代码参考 🎈C语言思路 🎉C语言代码 🎈C++语言思路 🎉C++代码 🎈Java语言思路 🎉Java代码 🎈Python语言思路 🎉Python代码 🎈JS语言思路 🎉JS代码 作者:KJ.JK 🍂个人博客首页: KJ.JK 🍂专栏介绍: 本…

2026/7/31 17:44:01 阅读更多 →
33.华为路由器:ISIS基本原理与实验

33.华为路由器:ISIS基本原理与实验

一、概述 IS-IS(Intermediate System-to-Intermediate System,中间系统到中间系统)路由协议最初是ISO(国际标准化组织)为CLNP(Connection Less Network Protocol,无连接网络协议)设计的一种动态路由协议,也是一种基于链路状态并使用最短路径优先算法(SPF)进行路由计…

2026/7/31 17:44:01 阅读更多 →
Kotlin 协程 - 协程作用域 CoroutineScope

Kotlin 协程 - 协程作用域 CoroutineScope

一、概念 协程作用域 CoroutineScope 是一个接口,没有任何抽象方法需要实现,仅仅维护一个成员变量 CoroutineContext(协程上下文),将作为初始上下文对象传递给被创建的协程,不同的实现类或作用域函数本质上…

2026/7/31 17:44:01 阅读更多 →
终极go2rtc流媒体服务器:从零开始的完整安装配置指南

终极go2rtc流媒体服务器:从零开始的完整安装配置指南

终极go2rtc流媒体服务器:从零开始的完整安装配置指南 【免费下载链接】go2rtc Ultimate camera streaming application 项目地址: https://gitcode.com/GitHub_Trending/go/go2rtc go2rtc是一款功能强大的开源流媒体服务器,专为摄像头和视频流处理…

2026/7/31 17:43:01 阅读更多 →

日新闻

物理复制比逻辑复制好在哪?数据库复制原理详解

物理复制比逻辑复制好在哪?数据库复制原理详解

数据库复制是把主库数据同步到备库的机制,分为逻辑复制和物理复制两种。逻辑复制传输的是 SQL 语句或行变更事件,物理复制传输的是存储引擎底层的物理日志。阿里云 PolarDB(云原生数据库)采用物理复制,在同步延迟、数据…

2026/7/31 0:00:34 阅读更多 →
BilibiliDown:3分钟学会B站视频下载的终极指南

BilibiliDown:3分钟学会B站视频下载的终极指南

BilibiliDown:3分钟学会B站视频下载的终极指南 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader 😳 项目地址: https://gitcode.com/gh_mirrors/bi/Bilib…

2026/7/31 0:00:34 阅读更多 →
有哪些游戏数据AI平台?游戏行业Data+AI融合方案盘点

有哪些游戏数据AI平台?游戏行业Data+AI融合方案盘点

当前,游戏行业的“DataAI融合”已从概念验证进入价值落地阶段。根据IDC 2025年数据,中国AI游戏云市场规模已达18.6亿元;同时,游戏研发环节AI渗透率高达86%,生成式AI内容普及率超过50%。面对庞大的市场,游戏…

2026/7/31 0:00:34 阅读更多 →

周新闻

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 数据集6000张 完整源码已标注数据集训练好的模型环境配置教程程序运行说明文档,可以直接使用!系统支持图片、视频、摄像头等多种方式检测裂缝,功能强大实用。 1数据集6000张 8各类别

2026/7/31 1:03:03 阅读更多 →
深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

pubg数据集 精选原图1.42万数据 1.49万标签 无任何重复、算法增强或冗余图像! pubg绝地求生目标检测数据集 1分类:e_body,14905个标签,txt格式 共计14244张图,99%为640*640尺寸图像 适合yolo目标检测、AI训练关键词&am…

2026/7/29 14:34:28 阅读更多 →
Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别: allies enemy tag图片总量:7247张训练集:5139张验证集:1425张测试集:683张标注状态:全部已标注,即拿即用数据格式:支持YOLO格式及其他格式&#…

2026/7/31 4:19:39 阅读更多 →

月新闻