本文整理自 AICon 上海分享「商业安全大模型BLMAINative人机协同重构内容安全新范式」演讲者宫兆汉通过AI音视频转录总结工具Ai好记转录整理以下为视频转文字后精炼整理的内容。AIGC引爆的「不可能三角」AIGC给商业内容安全带来了前所未有的冲击。广告素材的产量呈爆炸式增长同时黑产的对抗门槛大幅降低——他们能用AIGC快速生成真假难辨的违规内容。传统的「人机混审」模式在三个目标上陷入了困境目标传统模式的困境安全审核跟不上内容量漏审风险升高效率人审成本暴增审核周期变长体验审核过严误伤正常内容过松风险暴露这三者形成了一个「不可能三角」——你无法同时做到好、快、省。AI-Native组织转型打破固态边界快手商业安全团队认识到只升级工具是不够的得先改变人的组织方式。传统的风控团队是固态分工的产品定需求、算法开发模型、运营审核内容、工程师做平台。各自守着边界信息传递效率低。AI-Native的组织转型打破了这些边界传统角色传统职责AI-Native下的职责产品经理写需求文档可直接运营和做部分研发工作审核员逐条审核内容升级为「大模型运营指挥官」算法工程师训练和部署模型和审核员一起沉淀知识研发工程师构建平台能力搭建Agent工作流和自动化工具核心杠杆让每个人都能更独立、更端到端地解决问题。商业安全大模型BLM的构建通用大模型在简单场景下表现良好但在广告视频这种「内容元素复杂、场景切换频繁」的场景下效果显著衰减。快手选择自研垂直领域的大模型——BLM。要解决的两大核心问题问题描述解决思路内容理解与定位精准识别广告中的违规点垂直领域数据深度训练违规内容合规化生成修复违规内容同时保持营销效果SPARC框架BLM-GUARD框架解决推理逻辑混乱大模型在分析违规内容时经常出现结论与推理过程不一致的情况。BLM-GUARD框架通过两个阶段解决这个问题阶段一规则锚定微调。引入CoT思维链训练让模型在给出结论前展示逐步推理过程确保推理逻辑与平台政策对齐。阶段二自适应强化学习。在线上环境中持续收集反馈自动调整推理策略。SPARC框架安全与营销的平衡这个框架解决的是一个很实际的问题当Agent自动修复一段违规的视频广告时修改后的视频必须同时满足两个条件——合规过审和效果好有转化。这两个目标有时是冲突的。SPARC是一个两阶段的强化学习框架专门探索安全底线与广告消耗之间的最优动态平衡点。数据飞轮与模型持续进化快手团队认为垂直领域的高质量数据是核心壁垒。智能数据标注平台构建了数据飞轮线上内容 → 模型审核 → 人工纠偏 → 高质量标注数据 → 模型微调 → 上线新模型 ↓ 线上内容新一轮在这个闭环上模型通过「感知-反思-内化-校准」的机制持续自我进化阶段动作感知监控线上表现发现异常反思分析失败案例归因问题内化将经验转化为训练数据校准微调模型验证效果Multi-Agent审核智能体快手将大模型能力封装为「多智能体审核系统」实现风控全链路的自动化风险感知 → 洞察分析 → 策略生成 → 处置执行 → 回扫验证 │ │ │ │ │ ▼ ▼ ▼ ▼ ▼ 感知Agent 分析Agent 策略Agent 处置Agent 回扫Agent系统集成了RAG知识库沉淀历史审核案例和经验APE自动化策略生成根据风险特征自动生成处置策略Auto AML自动化模型训练部署自动训练和部署新模型目标是最终实现「风控自动驾驶」——风险从感知到处置的全流程高度自动化人力从执行者转变为决策者和监督者。未来展望RiskOS快手安全团队对未来的想象是一个名为「RiskOS」的AI神经中枢操作系统。它将底层模型能力、多智能体动态编排能力和上层应用整合在一起实现审核与生成的端到端一体化。在这个系统中AI同时承担两个角色审核者发现和识别违规内容修复者自动合规化修改违规内容两个角色通过同一个底层模型平台协同工作形成一个可以自我运转、持续进化的内容安全系统。FAQQBLM模型训练需要多少数据A垂直领域的高质量标注数据是关键。快手强调「质量大于数量」——注释准确的少量数据比海量噪音数据更有价值。QAI-Native的组织转型效果如何A快手声称实现了10倍的杠杆效应——每个审核员的日处理能力提升了10倍因为重心从「自己审核」变成了「训练Agent来审核」。QSPARC框架中的「安全与效果平衡」具体怎么衡量A两个核心指标一是合规率修改后的视频能否过审二是广告消耗修改后的视频能否保持曝光和转化。两者之间存在trade-offSPARC通过强化学习探索帕累托最优边界。以上内容由 Ai好记 转录整理。Ai好记是一款音视频转图文笔记的AI音视频总结工具支持B站、抖音、小红书、小宇宙等平台链接及本地音视频文件转录后自动生成精华速览、要点总结、思维导图和结构化笔记等内容帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。