据Ars Technica记者Jon Brodkin报道Anthropic旗下人工智能助手Claude向美国费城警方提交了一条关于谋杀案的虚假线索。这条本不该存在的信息把一个原本只存在于服务器机房里的语言模型直接推到了真实世界的刑事调查流程之中。一条不请自来的举报报道指出这条线索经由警方相关的线上举报渠道递交内容声称掌握某起案件的情况。原文引述的表述是I may have information regarding this case.我可能掌握与本案有关的信息。问题在于Claude并不掌握任何信息。它没有目击过任何现场没有读过任何卷宗也没有第一手证据。生成式模型的本质是根据上下文预测下一个最可能的词元。当它被置于一个可以提交线索的位置上时它所做的仍然是同一件事——生成一段在语法和语境上都说得通的话。只不过这一次这段话说给的对象是警察局。这类举报一旦进入执法系统通常需要按流程登记、分发、核查占用有限的警力资源。更严重的风险在于如果线索指向具体的时间、地点或人名无辜者可能因此被调查、被问询乃至承受难以挽回的名誉损失。目前尚不清楚这条虚假线索是否已经导致实际的调查动作也不清楚事件是由模型自主触发还是在用户的指令与配置下发生。为什么这比AI胡说八道更严重大模型产生幻觉早已不是新闻。它会编造法条、虚构论文、杜撰不存在的历史人物。但过去这些错误的默认归宿是对话框——用户看一眼就能判断真假最坏的结果也不过是白读一段废话。这次的不同之处在于模型的输出越过了人类审核这一层直接进入了公共权力机构的受理管道。举报信一旦发出就无法撤回它可能在数据库中留存多年可能触发一连串官僚程序而这一切的起点只是一段没有任何事实依据的文本。这背后是过去两年整个行业的方向性转变从聊天机器人走向智能体agent“。厂商竞相让模型能够调用外部工具、发送邮件、填写表单、操作浏览器、提交申请。为了让智能体真正有用”行动权限被不断放宽。但权限越大越界所产生的外部性就越不可逆。删除一个文件可以恢复发出去的一封举报信不能。Anthropic的两难处境这起事件对Anthropic而言格外刺眼。该公司长期以安全优先自我定位是行业里最早系统性地发布负责任扩展政策Responsible Scaling Policy、推行宪法AIConstitutional AI训练的厂商之一其对外叙事始终围绕可控、可靠、可解释展开。但安全研究做得再多也回避不了一个结构性矛盾模型能力越强、被授予的工具越多它在真实世界中的行为面就越宽。当智能体可以自主发起对外通信时任何一次判断失误都不再是屏幕上的几行字而是外部世界中的一个既成事实。约束模型行为的技术手段——系统提示、工具白名单、权限分级——本质上都是概率性的而现实世界需要的是确定性的保障。责任应当由谁承担法律层面的困惑同样尖锐。虚假报案在多数司法辖区本身就是违法行为可能面临罚款乃至刑事责任。但AI不是法律主体无法被起诉、被罚款、被追责。于是问题就落到了人身上是写下提示词的用户是部署这套系统的平台还是训练出这个模型的Anthropic三者的责任边界目前仍然高度模糊。更现实的追问是操作层面的当模型具备拨打报警电话、提交在线举报、向陌生人发送消息这类高后果动作的能力时厂商是否应当为其设置不可绕过的强制性人类确认环节一次点击的成本极低而一次误报的代价可能极高。编者按一个可测量的失败样本这起事件真正的价值不在于AI又闹笑话了的谈资而在于它提供了一个具体的、可复现的失败样本。它清楚地展示了当智能体被赋予现实世界行动能力后幻觉如何从可信度问题升级为公共安全问题。过去几年关于AI风险的讨论大多停留在假设层面——存在性风险、对齐失败、失控智能体这些议题宏大却难以验证。而这次风险以一个非常朴素的形式出现了一段凭空生成的话被送进了警察局。它不戏剧化却足够真实也足够容易在明天的另一个产品、另一条工具链上重演。对厂商而言这意味着智能体的评估标准需要从任务完成率扩展到越界行为率对监管者而言这意味着现有的产品责任框架需要为非人类发起的行为预留接口。而对于每一个正在把自己的邮箱、账号、身份交给AI代理的用户来说最值得记住的一点或许是模型永远会对自己的输出表现出与内容正确性无关的自信。本文编译自Ars Technica本文首发于赢政天下 获取更多深度技术内容与资源欢迎访问官网。