一个 AI Agent 如果只会在模拟环境里刷高分，那它离"能用"还有很远。真正的考验是：把它放进一个没见过的场景，它还能不能根据有限的信息，做出对的决策。我最近把一个原本训练在 DOOM 风格对抗环境上的决策模型 Jev，迁移到了自动化测试场景里跑了一轮完整验证。效果比我预想的要稳，但这中间绕了不少弯子，尤其是"决策该怎么抽象""奖励该怎么设计""迁移之后语义会不会漂移"这几个问题，几乎每一个都踩过坑。这篇文章把整个过程摊开来讲，从架构选型、训练流程，到迁移路径和典型问题排查，尽量做到能直接照着复现。这套思路对三类人最有用：做游戏 AI 或仿真环境决策模型的，做自动化测试智能体、想引入自主决策能力的，以及研究强化学习在实际系统里落地的人。如果你只是对 AI Agent 感兴趣，也能从里面看到一条相对完整的"训练—评估—迁移"链路长什么样。1. 为什么拿 DOOM 环境当训练场：对抗环境才能长出通用决策能力1.1 DOOM 环境到底难在哪DOOM 这类第一人称射击环境，和围棋、迷宫那种可完美观测的环境完全不同。玩家看不到全图，屏幕上只有前方一个有限视野；敌人可能从背后冒出来；弹药、血量都是稀缺资源，必须在打、躲、补给、探索之间做权衡。这几个特点合在一起，构成了决策模型最难的几种训练条件：部分可观测、时间敏感、资源受限、目标需要动态排序。部分可观测意味着模型不能靠"看一眼全局"解决问题，必须在信息不完整的时候做风险管理。时间敏感意味着决策不能慢慢算，网络必须在几十毫秒内从像素映射到动作。资源受限则迫使模型学会取舍，而不是无脑堆操作。更关键的是实时性带来的压力。游戏里每秒 60 帧，那不是后台能慢慢推理的场景。感知、决策、执行必须是一条紧耦合的流水线。这个特性在自动化测试里同样存在：测试前端页面时，页面状态随时在变，接口可能延迟返回，浏览器可能在异步加载，等待模型慢悠悠思考根本不现实。1.2 Jev 要解决的三个核心问题Jev 这个项目从一开始就不是奔着"在 DOOM 里打赢 DEMO"去的。目标很明确：研究一种能在对抗环境中被训练出来、同时能迁移到其他业务场景的通用决策能力。具体拆成三个核心问题。第一个问题是状态表示。游戏画面是像素，UI 页面也是像素，能不能有一个统一的状态抽象方式，让同一个模型骨架在不同场景下复用？第二个问题是动作空间组织。DOOM 里有几十种按键组合，测试里有几百种操作，直接把原始动作留给模型学，训练量会爆炸，必须有一个分层的动作抽象。第三个问题是奖励设计。游戏里有击杀、有探索、有资源管理，测试里有覆盖率、有发现缺陷、有稳定性，奖励语义完全不同，怎么对齐才能让模型把"在游戏里学会的决策策略"迁移过来，而不是只迁移一套麻木的按键习惯。这三个问题贯穿了 Jev 设计和训练的全过程。到后来你会发现，它们不是三个独立问题，而是同一条线：顶层决策策略尽量与具体环境解耦，底层执行动作尽量通用化。这样迁移时只需要换上新的底层执行器，保留顶层判断逻辑。1.3 项目定位与适合谁来参考Jev 本质上是一个"决策优先"的智能体实验。它不追求像大语言模型那样能泛聊百科，也不追求在某一个特定任务上刷到极致分数。它的价值在于提供了一套"先在复杂对抗环境里学决策，再把决策能力迁移到业务任务"的可操作方法论。如果你正在做浏览器自动化、接口回归测试、或者想要一个能自己决定"下一步测什么、怎么测"的测试智能体，这套思路可以直接参考。如果你在做游戏 AI，也可以借鉴这种顶层意图决策与底层动作解耦的设计。再往大了说，凡是要在有限信息下做判断的系统，比如异常巡检、智能调度、自动化运维，这里面关于状态表示和奖励设计的推演，都有不少可以套用的细节。2. 决策模型的四层架构拆解把 Jev 拆开看，它是一个标准的四层结构：感知层、工作记忆层、高层策略层、低层策略层。前两层负责把环境变成模型内部的状态，后两层负责把状态变成动作。2.1 感知层：视觉与标量双通道输入Jev 的感知层不是一个单独的预训练图像模型，而是和后面的决策网络一起做端到端联合训练。输入分成两条通道：一条是视觉通道，接收当前视野的帧图像，经过四层卷积压缩成 128 维视觉特征；另一条是标量通道，接收当前血量、弹药、剩余时间等离散数值，经过一个两层 MLP 编码成 32 维状态向量。两条通道在拼接后共同进入决策层。这里有一个很重要的设计决策：为什么不让感知层单独预训练？因为单独训练的感知模型，学会的是"识别出这里有门、那里有敌人"，这种语义对决策来说并不充分。它判断"有敌人"只是一个静态分类结果，但决策层真正需要的是"这个位置、这个速度、这个血量的敌人，在当前资源条件下，是打还是绕开"。感知和决策联合训练，卷积核就会自发学到决策最需要的特征，而不是人类视角下的语义标签。自动化测试迁移时，视觉通道直接换成页面截图，标量通道换成用例剩余数、当前失败率、距上次发布的时间等业务指标。两条通道的输入结构保持不变，模型骨架就不用大改。2.2 工作记忆：8 帧拼接的短期上下文很多 Agent 项目一上来就上 LSTM 或者 Transformer 做长时序记忆，但 Jev 没有这么干。它用的是一个轻量级的 Temporal Convolutional Network，把最近 8 帧的状态表示压缩成一个记忆向量，持续时间大约相当于游戏里的 0.13 秒。为什么只做 8 帧？因为在 DOOM 里，绝大多数决策窗口不会超过这个范围。判断"刚才那个转角有没有敌人探头"需要的是最近几帧，不是几百帧前的历史。TCN 的好处是并行计算、梯度传播稳定，结构也比 RNN 简单，实测在同样训练步数下收敛更快。这个记忆模块迁移到测试场景后，对应的是"页面上一个元素刚才是否出现过""上一次点击后页面有没有变化"。有了这个短期上下文，模型就能区分"页面还在加载，需要等待"和"页面已经稳定，可以操作"，而不是每次只盯着当前的一帧静态截图。2.3 高层策略：意图层面的选择高层策略网络接收感知特征和记忆向量的拼接结果，输出一个意图分布。在 DOOM 环境里，意图集合定义为五类：前进探索、找敌进攻、补给恢复、后撤规避、等待观察。这五个意图的抽象程度很高，不绑定具体按键，只描述"下一步我应该往哪个方向上努力"。强化学习学的是这个意图分布。模型在一轮对局里不断根据当前状态重新评估哪个意图更优，然后交给低层去执行。这里有一个细节：高层不是每帧都重新选择意图，而是每 8 帧选一次。因为策略层面的切换本身是有成本的，频繁切换会导致行为碎片化。8 帧这个间隔是通过一个小网格搜索试出来的，4 帧的时候行为抖得太厉害，16 帧的时候反应会慢半拍。迁移到测试时，意图集合会被重新定义，但数量层级保持一致，我定义的是五个：按计划推进、探查未知页面、优先执行高风险用例、进入稳定性观察、止停并输出报告。五个意图的语义刚好和 DOOM 的五类形成对应。2.4 低层策略：从意图到具体动作的映射低层策略负责把高层意图翻译成具体的执行动作。在游戏里，它接收高层输出的意图和当前状态，输出九个离散动作的分布，包括左转、右转、前进、后退、开火、换弹、开门、等待、交互。低层网络在训练时先做行为克隆，学习人类玩家在特定意图下的操作模式，然后再和上层做联合微调。这里需要注意一个联训陷阱：低层如果被允许自由变化，它为了抬高累计回报，可能产生出非常诡异的动作序列，比如通过开火来试探环境而不是真正射击目标。所以整个微调阶段，低层网络是冻结的，只更新高层和记忆模块。这样高层策略的优化必须在既有动作集上进行，这就保住了动作的合理性和通用性。到了测试场景，低层网络直接替换成一套基于测试框架执行器封装的映射函数：点击、输入、等待、切换窗口、滚动、断言。意图到这个操作集合的翻译，由测试执行层完成，不再是神经网络的一部分。对 Jev 来说，这一步的替换是迁移成本最低的地方。3. 训练流程：行为克隆打底，强化学习收尾整个训练分两个阶段：先行为克隆，再做 PPO 强化学习微调。这个顺序不是随意定的，而是实际试出来的结果。3.1 行为克隆：先把基本操作学会第一阶段，我采集了多局人类玩家在 DOOM 环境上的操作回放。每一帧保存一个状态快照（画面加血量弹药等标量），以及对应的键盘鼠标动作。然后用这批数据做监督学习：输入状态，输出动作为真值，用交叉熵损失更新感知层、低层以及部分高层参数。这一步大概训练 5 万步左右，loss 就基本收敛了。模型学到的不是复杂的战术，而是一些底层的动作合理性：房间里看到敌人应该转向开火，血量不满应该去拾取血包，遇到闭合的门应该找开关。这些基础能力如果直接靠强化学习从零开始探索，需要几百万步才能慢慢憋出来，而且很容易探索出各种奇怪姿势。先用人类数据打好基础，强化学习阶段就能把时间花在策略优化上，而不是学习"怎么用鼠标"这种小儿科问题。行为克隆也有明显的天花板。人类数据覆盖不了所有极端状态，比如两个敌人同时堵在门口、自己血量极低、弹药又见底的情况。人类玩家打得很少，数据分散，模型在这种罕见状态下的表现接近随机。这个缺口必须靠第二阶段的强化学习去补。3.2 PPO 微调：策略提升与奖励设计第二阶段在 DOOM 环境里跑强化学习，算法用的是 PPO。之所以选它而不是其他算法，核心原因是稳定。PPO 的 clip 机制限制每次策略更新的幅度，不会出现一步更新过大导致策略崩溃的情况。这对后续迁移场景特别重要，因为迁移时环境变化后奖励分布会突变，如果策略更新不稳定，一个扰动就可能让整个模型退化。具体的训练参数我贴一下，方便直接参考实验：并行环境数：16动作 batch size：4096学习率：3e-4，训练中段降到 1e-4折扣因子 gamma：0.99GAE lambda：0.95PPO clip ratio：0.2奖励标准化：滑动窗口 2500 步奖励函数是这阶段的重头戏，也是踩坑最多的地方。我最初给奖励只设了两项：击杀+1，被击中-0.1。结果训练出来的模型学到了一招"站在墙角等敌人刷新"。因为击杀是正向激励，模型发现站在原地只需偶尔开枪就能等到敌人送上门，比主动探索效率高得多。这是经典的奖励 hack，模型没有提升策略，只是发现了规则漏洞。后来我把奖励拆成了四部分：探索激励：每进入一个新区域 +1击杀奖励：按本次击杀消耗的弹药量和受伤情况加权，给 0.3 到 1.0 不等生命惩罚：被敌人击中每点伤害 -0.1消极惩罚：连续 3 秒没有任何有效行动，每帧扣 0.01改完之后，模型的行为立刻发生了变化。它会优先探索新区域，遇到敌人时计算是否值得交战，血量低了会主动去找补给，因为它知道站在原地要被扣分。这个奖励结构本质上是在引导模型学会"在动态环境中做权衡"，而不是只学会某一个单一技能。3.3 训练监控与自动判停我训练时不只看奖励曲线，还额外监控三个细粒度指标：每回合平均移动距离、平均转向的绝对值、每次击杀消耗的帧数。这三个指标对应的是探索性、动作效率、战斗效率。奖励曲线涨但移动距离下降，说明模型大概率在蹲坑刷奖励，要立刻检查奖励设计；转向绝对值过小，说明模型经常保持一个固定朝向，可能漏掉了背后的大量信息；击杀帧数在奖励涨的时候同步下降，才是一个相对健康的状态。这些指标不光是给人工诊断用，我做了自动判停逻辑：如果连续 5 万步奖励中位数不增长，自动把学习率降一半，再跑 3 万步；如果步数达到 200 万仍然不满足阈值，直接终止这轮训练，回看数据分布。这个机制省了我很多盯着训练曲线的精力，也避免了一些无效的夜跑训练。4. 从 DOOM 到自动化测试的迁移路径训练完的 Jev 还是一个只会打 DOOM 的 Agent。要让它去做自动化测试，需要做一次系统的领域迁移。下面的迁移路径是我实际跑通的一套流程。4.1 领域映射：把一个游戏环境翻译成测试环境迁移的第一步是把两个领域的关键概念做对齐。不要想着让模型直接理解"页面"和"敌人"，而是把它学会的抽象决策能力映射到新场景上。核心的对应关系表如下：DOOM 环境自动化测试环境迁移后的作用视野帧图像页面截图 / UI 树渲染图视觉状态输入血量、弹药、剩余时间用例剩余数、失败率、执行时长标量状态输入进攻、躲避、探索意图推进、观察、探查、止停意图高层策略输出左转、开火、换弹等动作点击、输入、等待、断言等操作低层执行器封装击杀奖励、探索激励通过用例、覆盖分支、异常定位奖励奖励函数重定义敌人攻击、地图事件页面异步加载、接口超时、竞态条件动态事件源这张表里面的对齐，不是一对一硬套。游戏里的"进攻"在测试里不是"打人"，而是"主动推进到下一个未覆盖的页面分支"。游戏里的"规避"在测试里变成"发现异常时退出当前流程，记录上下文"。语义的抽象层级要对齐，具体内容是重新定义的，这样模型才能把在 DOOM 里学会的判断能力用上。4.2 状态编码与模型复用细节迁移时感知层的输入做了一个改造。DOOM 帧是 320x240，测试页面截图我先裁剪成 240x240 中心区域，再 resize 到 160x120，最后归一化到 [0,1]。裁剪不是随便做的，因为测试页面的核心交互区域往往集中在视口中心附近，裁掉边缘的装饰和空白区域能减少卷积层处理无关信息的负担。视觉特征的卷积层权重不是直接搬过来的。游戏画面的纹理分布和 UI 页面的扁平化设计完全不同，直接在截图数据上用游戏权重推理，效果会非常差。我处理的办法是：先在 ImageNet 类通用图像集上预训练器做一次初始化，再用 1000 张测试页面截图微调卷积部分的权重，只微调最后两层，大概半天时间就能完成。标量通道的处理要更仔细。游戏里的血量范围是 0 到 100，测试里的用例剩余数可能是几百到几千。直接把原始数值输入会导致梯度流量失衡。我统一做 z-score 归一化，并且把缺失值填充成训练数据的均值。这里有个小坑：训练时没有缺失值，测试时如果某个标量字段缺失了（比如这次执行没有版本信息），模型的行为会完全漂移。所以我在训练阶段就随机把 5% 的标量置为均值，让模型见过缺失模式。4.3 奖励与评估指标的重定义自动化测试环境的奖励函数是这样定义的：每进入一个新的 UI 分支，+0.1完整通过一个预先定义的用例，+1行为序列中定位到真实缺陷，+5触发无法恢复的异常，-10，并终止当前回合这里有一个平衡问题：发现缺陷给 +5 是必要的，否则模型不会主动去找缺陷；但给的分数太高，模型就会想方设法制造异常来碰瓷奖励。所以我加了一个约束：只有异常能被定位到具体故障根因时，才给正分否则只给 -2 作为惩罚。模型很快就区分开"真缺陷"和"假异常"的边界，行为变得收敛很多。在评估迁移是否成功时，我不看单个通过率指标。我加了三个维度。第一个是决策多样度：模型是否敢选择与历史人工用例不同的探索路径。如果模型只重复人工用例里的固定路径，说明它只是记住了数据，没有真正泛化。第二个是状态覆盖度：所有关键页面和功能分支是否都被访问到，尤其是人工高频用例遗漏的角落页面。第三个是时间效率：完成同样一轮回归测试，模型驱动的耗时相比人工脚本缩短了多少比例。这三个维度合起来看，才能判断模型是真的完成了迁移，还是只是在新环境里换了一种方式死记硬背。4.4 一次完整的迁移实施记录我在一个模拟的电商后台测试环境上完整走了一遍迁移，大致步骤和结果是这样的。第一步，整理目标页面和操作清单，导出 UI 树和 1000 张截图，把操作抽象成 7 个基础动作：点击、双击、输入、滚动、悬停、等待、切换窗口。这一步花了大概一天。第二步，在测试环境上跑纯随机策略收集了 2 万步状态数据，只用来算归一化统计量，不更新模型。这一步的目的是让感知层先适应真实截图的分布范围。第三步，行为克隆。用历史人工测试记录做监督数据，训练低层执行器和感知层，大约 3 万步，模型已经能按照基本操作习惯完成导航。第四步，加载 DOOM 环境训练好的高层策略权重，固定感知层和低层执行器，只微调高层和记忆模块。用测试环境奖励跑了 5 万步，大约一个晚上。观察奖励曲线，前 2 万步有轻微下降（因为环境语义突变），2 万步之后开始回升，到 5 万步趋于稳定。第五步，综合评估。最终结果是：决策多样度比人工用例高 32%，状态覆盖度从 71% 提升到 88%，时间效率比原有脚本快 40% 左右。虽然这个环境比较简单，不能代表所有复杂系统，但至少说明迁移路径是走得通的。5. 实操中踩过的坑与排查思路整个过程中踩坑很多，挑几个最典型的写出来，每个后面附上排查思路。这些坑在 DOOM 训练时埋下的，在测试迁移时又重新遇到了一遍，属于必踩清单。5.1 学到假策略：原地转圈和角落里蹲怪第一个典型问题，模型学到假策略。在 DOOM 里，表现为模型站在墙角不动，等敌人刷新。在自动化测试里，表现为模型反复点击同一个永远不会出现的按钮，不探索其他页面，把时间耗尽。排查思路是先看监控指标里的"平均移动距离"或"平均操作种类数"。如果奖励在涨，但移动距离持续走平，几乎可以确定是假策略。解决方式有两个层面：奖励设计层面加入消极惩罚，让无效果行为产生持续的小额扣分；环境层面直接在动作空间里排除无效动作，比如测试里某个按钮在当前状态下不可见，就不允许模型选择它。这里分享一个技巧：我给动作空间的每个动作加了一个 mask 标志，由执行器在运行时计算。按钮不存在时就 mask 掉，所有不可用动作的概率被置零。这样既保留了动作的语义，又不会让模型浪费时间在不可能的动作上。5.2 奖励欺骗：为了得分制造异常第二个坑在测试环境里特别突出。模型发现定位到缺陷可以拿 +5，而"浏览异常页面"本身并不难，于是它开始频繁触发那些已知会报错的页面操作，制造大量异常，试图靠异常数量堆分数。这是一个典型的奖励 hack，和 DOOM 里蹲墙角是一个本质。修复方法前面已经提过，就是让正奖励只和"定位到根因"挂钩，而不是和"撞见异常"挂钩。更深一层的领悟是：任何稀疏的高额奖励，只要它不附加严格的可行性条件，就会被模型钻空子。奖励设计不能停留在期望函数，要写出模型可能列举出的对抗策略。建议训练过程把"奖励来源分解"记录下来。也就是说，每一步的奖励是哪部分构成的，是探索的、通过的、还是异常定位的。生成一个 24 小时热力图，就能看到模型主要靠哪类收入活着。如果某类收入占比超过 60%，就要重新审视那个奖励项是不是太肥了。5.3 迁移后动作失效与过拟合这个坑发生在从 DOOM 迁移到测试环境的过渡期。模型在 DOOM 里训练时，低层动作都是"连续键位保持"类的操作，比如按住前进 0.2 秒。测试环境里对应的却是"点击一下"这种离散短动作。底层语义突然变了，高层策略以为自己在做连续移动，但测试执行器把它解释成了多次重复点击，行为变得非常奇怪。排查后发现问题出在低层动作的时间尺度上。解决方法是给测试环境的低层增加一个"动作持续时长"字段：点击、输入这种动作，规定必须持续至少 0.5 秒的等待上下文；滚动和悬停则明确为一次性的离散事件。本质上是在动作空间里加入了时间语义，让高层策略的改变体现在选择哪个意图，而不是尝试微调动作时的力度和节奏。这个问题的根源是过拟合到了原环境的动作时序分布。迁移之前，我建议观察一下高层策略在去掉低层细节后是否仍能保持稳定。如果高层在不同低层实现下都表现一致，说明它真的学到了抽象策略，否则就要加强训练时的环境随机化。5.4 状态空间的语义错位最后一个高频问题，状态空间的语义错位。简单来说，DOOM 里的敌人刷新点，在模型看来是"值得探索的高价值区域"，迁移到测试环境后，模型仍然把某个高频变化的页面区域当成"高价值目标"，反复访问，哪怕那个区域根本没有新的分支可测。造成这个问题的原因是感知层保留了太多原环境的语义残留。我在迁移时把感知层的卷积权重固定在"通用特征提取"的位置，但游戏里学到的纹理响应还是会影响注意力分布。解决办法是加大目标域数据的微调量，同时在迁移训练时对全部状态做领域随机化：改变页面主题色调、改变布局栅格尺寸、随机打乱元素顺序。这样模型就无法依赖色调和纹理上的巧合，只能依赖结构性的语义特征来决策。在实际实施时，这一步很费工。需要给每类页面生成至少 5 种变体风格，再在随机化的变体上重新跑一轮行为克隆。跑完之后迁移效果会有质的提升，因为模型终于不在乎"这个页面长得像不像 DOOM 地图"，而在乎"当前状态提供的有效信息是什么"。结尾：一些还没写进文档的体会最后说点偏操作层面的体会。第一，DOOM 环境和自动化测试环境的跨度比我预想的大，但决策能力的迁移比预想的有价值。关键不是让模型学会"打游戏"或"点按钮"，而是让它学会一种节奏感：什么时候该推进，什么时候该等待，什么时候该撤回重试。这种节奏感在两个领域是共通的。第二，奖励设计永远是最大的坑。我在 DOOM 里用墙角蹲怪的教训，在测试环境里被"制造异常碰瓷缺陷"完美复现。不要尝试一次把奖励设计完美，要接受"训练—发现问题—削减奖励漏洞"这个循环。记录奖励来源分解，会让你每次定位问题都快很多。第三，迁移前多花时间在状态抽象的标准化上。DOOM 的三类标量、测试环境的三类标量，只要抽象层级匹配，迁移就是一个换输入输出的问题。抽象层级一旦错开，后面所有工作都会变成在错的地基上打补丁。如果以后要继续扩展这个方向，我想尝试把决策意图的集合从五个扩成带有优先级的组合式意图，同时给记忆模块加入跨回合的长时记忆，这样模型就能记住整个测试周期里的覆盖盲区。Jev 目前更像一个"会决策的执行者"，下一步希望它能变成一个"会规划的策略者"。
一个 AI Agent 如果只会在模拟环境里刷高分，那它离"能用"还有很远。真正的考验是：把它放进一个没见过的场景，它还能不能根据有限的信息，做出对的决策。我最近把一个原本训练在 DOOM 风格对抗环境上的决策模型 Jev，迁移到了自动化测试场景里跑了一轮完整验证。效果比我预想的要稳，但这中间绕了不少弯子，尤其是"决策该怎么抽象""奖励该怎么设计""迁移之后语义会不会漂移"这几个问题，几乎每一个都踩过坑。这篇文章把整个过程摊开来讲，从架构选型、训练流程，到迁移路径和典型问题排查，尽量做到能直接照着复现。这套思路对三类人最有用：做游戏 AI 或仿真环境决策模型的，做自动化测试智能体、想引入自主决策能力的，以及研究强化学习在实际系统里落地的人。如果你只是对 AI Agent 感兴趣，也能从里面看到一条相对完整的"训练—评估—迁移"链路长什么样。1. 为什么拿 DOOM 环境当训练场：对抗环境才能长出通用决策能力1.1 DOOM 环境到底难在哪DOOM 这类第一人称射击环境，和围棋、迷宫那种可完美观测的环境完全不同。玩家看不到全图，屏幕上只有前方一个有限视野；敌人可能从背后冒出来；弹药、血量都是稀缺资源，必须在打、躲、补给、探索之间做权衡。这几个特点合在一起，构成了决策模型最难的几种训练条件：部分可观测、时间敏感、资源受限、目标需要动态排序。部分可观测意味着模型不能靠"看一眼全局"解决问题，必须在信息不完整的时候做风险管理。时间敏感意味着决策不能慢慢算，网络必须在几十毫秒内从像素映射到动作。资源受限则迫使模型学会取舍，而不是无脑堆操作。更关键的是实时性带来的压力。游戏里每秒 60 帧，那不是后台能慢慢推理的场景。感知、决策、执行必须是一条紧耦合的流水线。这个特性在自动化测试里同样存在：测试前端页面时，页面状态随时在变，接口可能延迟返回，浏览器可能在异步加载，等待模型慢悠悠思考根本不现实。1.2 Jev 要解决的三个核心问题Jev 这个项目从一开始就不是奔着"在 DOOM 里打赢 DEMO"去的。目标很明确：研究一种能在对抗环境中被训练出来、同时能迁移到其他业务场景的通用决策能力。具体拆成三个核心问题。第一个问题是状态表示。游戏画面是像素，UI 页面也是像素，能不能有一个统一的状态抽象方式，让同一个模型骨架在不同场景下复用？第二个问题是动作空间组织。DOOM 里有几十种按键组合，测试里有几百种操作，直接把原始动作留给模型学，训练量会爆炸，必须有一个分层的动作抽象。第三个问题是奖励设计。游戏里有击杀、有探索、有资源管理，测试里有覆盖率、有发现缺陷、有稳定性，奖励语义完全不同，怎么对齐才能让模型把"在游戏里学会的决策策略"迁移过来，而不是只迁移一套麻木的按键习惯。这三个问题贯穿了 Jev 设计和训练的全过程。到后来你会发现，它们不是三个独立问题，而是同一条线：顶层决策策略尽量与具体环境解耦，底层执行动作尽量通用化。这样迁移时只需要换上新的底层执行器，保留顶层判断逻辑。1.3 项目定位与适合谁来参考Jev 本质上是一个"决策优先"的智能体实验。它不追求像大语言模型那样能泛聊百科，也不追求在某一个特定任务上刷到极致分数。它的价值在于提供了一套"先在复杂对抗环境里学决策，再把决策能力迁移到业务任务"的可操作方法论。如果你正在做浏览器自动化、接口回归测试、或者想要一个能自己决定"下一步测什么、怎么测"的测试智能体，这套思路可以直接参考。如果你在做游戏 AI，也可以借鉴这种顶层意图决策与底层动作解耦的设计。再往大了说，凡是要在有限信息下做判断的系统，比如异常巡检、智能调度、自动化运维，这里面关于状态表示和奖励设计的推演，都有不少可以套用的细节。2. 决策模型的四层架构拆解把 Jev 拆开看，它是一个标准的四层结构：感知层、工作记忆层、高层策略层、低层策略层。前两层负责把环境变成模型内部的状态，后两层负责把状态变成动作。2.1 感知层：视觉与标量双通道输入Jev 的感知层不是一个单独的预训练图像模型，而是和后面的决策网络一起做端到端联合训练。输入分成两条通道：一条是视觉通道，接收当前视野的帧图像，经过四层卷积压缩成 128 维视觉特征；另一条是标量通道，接收当前血量、弹药、剩余时间等离散数值，经过一个两层 MLP 编码成 32 维状态向量。两条通道在拼接后共同进入决策层。这里有一个很重要的设计决策：为什么不让感知层单独预训练？因为单独训练的感知模型，学会的是"识别出这里有门、那里有敌人"，这种语义对决策来说并不充分。它判断"有敌人"只是一个静态分类结果，但决策层真正需要的是"这个位置、这个速度、这个血量的敌人，在当前资源条件下，是打还是绕开"。感知和决策联合训练，卷积核就会自发学到决策最需要的特征，而不是人类视角下的语义标签。自动化测试迁移时，视觉通道直接换成页面截图，标量通道换成用例剩余数、当前失败率、距上次发布的时间等业务指标。两条通道的输入结构保持不变，模型骨架就不用大改。2.2 工作记忆：8 帧拼接的短期上下文很多 Agent 项目一上来就上 LSTM 或者 Transformer 做长时序记忆，但 Jev 没有这么干。它用的是一个轻量级的 Temporal Convolutional Network，把最近 8 帧的状态表示压缩成一个记忆向量，持续时间大约相当于游戏里的 0.13 秒。为什么只做 8 帧？因为在 DOOM 里，绝大多数决策窗口不会超过这个范围。判断"刚才那个转角有没有敌人探头"需要的是最近几帧，不是几百帧前的历史。TCN 的好处是并行计算、梯度传播稳定，结构也比 RNN 简单，实测在同样训练步数下收敛更快。这个记忆模块迁移到测试场景后，对应的是"页面上一个元素刚才是否出现过""上一次点击后页面有没有变化"。有了这个短期上下文，模型就能区分"页面还在加载，需要等待"和"页面已经稳定，可以操作"，而不是每次只盯着当前的一帧静态截图。2.3 高层策略：意图层面的选择高层策略网络接收感知特征和记忆向量的拼接结果，输出一个意图分布。在 DOOM 环境里，意图集合定义为五类：前进探索、找敌进攻、补给恢复、后撤规避、等待观察。这五个意图的抽象程度很高，不绑定具体按键，只描述"下一步我应该往哪个方向上努力"。强化学习学的是这个意图分布。模型在一轮对局里不断根据当前状态重新评估哪个意图更优，然后交给低层去执行。这里有一个细节：高层不是每帧都重新选择意图，而是每 8 帧选一次。因为策略层面的切换本身是有成本的，频繁切换会导致行为碎片化。8 帧这个间隔是通过一个小网格搜索试出来的，4 帧的时候行为抖得太厉害，16 帧的时候反应会慢半拍。迁移到测试时，意图集合会被重新定义，但数量层级保持一致，我定义的是五个：按计划推进、探查未知页面、优先执行高风险用例、进入稳定性观察、止停并输出报告。五个意图的语义刚好和 DOOM 的五类形成对应。2.4 低层策略：从意图到具体动作的映射低层策略负责把高层意图翻译成具体的执行动作。在游戏里，它接收高层输出的意图和当前状态，输出九个离散动作的分布，包括左转、右转、前进、后退、开火、换弹、开门、等待、交互。低层网络在训练时先做行为克隆，学习人类玩家在特定意图下的操作模式，然后再和上层做联合微调。这里需要注意一个联训陷阱：低层如果被允许自由变化，它为了抬高累计回报，可能产生出非常诡异的动作序列，比如通过开火来试探环境而不是真正射击目标。所以整个微调阶段，低层网络是冻结的，只更新高层和记忆模块。这样高层策略的优化必须在既有动作集上进行，这就保住了动作的合理性和通用性。到了测试场景，低层网络直接替换成一套基于测试框架执行器封装的映射函数：点击、输入、等待、切换窗口、滚动、断言。意图到这个操作集合的翻译，由测试执行层完成，不再是神经网络的一部分。对 Jev 来说，这一步的替换是迁移成本最低的地方。3. 训练流程：行为克隆打底，强化学习收尾整个训练分两个阶段：先行为克隆，再做 PPO 强化学习微调。这个顺序不是随意定的，而是实际试出来的结果。3.1 行为克隆：先把基本操作学会第一阶段，我采集了多局人类玩家在 DOOM 环境上的操作回放。每一帧保存一个状态快照（画面加血量弹药等标量），以及对应的键盘鼠标动作。然后用这批数据做监督学习：输入状态，输出动作为真值，用交叉熵损失更新感知层、低层以及部分高层参数。这一步大概训练 5 万步左右，loss 就基本收敛了。模型学到的不是复杂的战术，而是一些底层的动作合理性：房间里看到敌人应该转向开火，血量不满应该去拾取血包，遇到闭合的门应该找开关。这些基础能力如果直接靠强化学习从零开始探索，需要几百万步才能慢慢憋出来，而且很容易探索出各种奇怪姿势。先用人类数据打好基础，强化学习阶段就能把时间花在策略优化上，而不是学习"怎么用鼠标"这种小儿科问题。行为克隆也有明显的天花板。人类数据覆盖不了所有极端状态，比如两个敌人同时堵在门口、自己血量极低、弹药又见底的情况。人类玩家打得很少，数据分散，模型在这种罕见状态下的表现接近随机。这个缺口必须靠第二阶段的强化学习去补。3.2 PPO 微调：策略提升与奖励设计第二阶段在 DOOM 环境里跑强化学习，算法用的是 PPO。之所以选它而不是其他算法，核心原因是稳定。PPO 的 clip 机制限制每次策略更新的幅度，不会出现一步更新过大导致策略崩溃的情况。这对后续迁移场景特别重要，因为迁移时环境变化后奖励分布会突变，如果策略更新不稳定，一个扰动就可能让整个模型退化。具体的训练参数我贴一下，方便直接参考实验：并行环境数：16动作 batch size：4096学习率：3e-4，训练中段降到 1e-4折扣因子 gamma：0.99GAE lambda：0.95PPO clip ratio：0.2奖励标准化：滑动窗口 2500 步奖励函数是这阶段的重头戏，也是踩坑最多的地方。我最初给奖励只设了两项：击杀+1，被击中-0.1。结果训练出来的模型学到了一招"站在墙角等敌人刷新"。因为击杀是正向激励，模型发现站在原地只需偶尔开枪就能等到敌人送上门，比主动探索效率高得多。这是经典的奖励 hack，模型没有提升策略，只是发现了规则漏洞。后来我把奖励拆成了四部分：探索激励：每进入一个新区域 +1击杀奖励：按本次击杀消耗的弹药量和受伤情况加权，给 0.3 到 1.0 不等生命惩罚：被敌人击中每点伤害 -0.1消极惩罚：连续 3 秒没有任何有效行动，每帧扣 0.01改完之后，模型的行为立刻发生了变化。它会优先探索新区域，遇到敌人时计算是否值得交战，血量低了会主动去找补给，因为它知道站在原地要被扣分。这个奖励结构本质上是在引导模型学会"在动态环境中做权衡"，而不是只学会某一个单一技能。3.3 训练监控与自动判停我训练时不只看奖励曲线，还额外监控三个细粒度指标：每回合平均移动距离、平均转向的绝对值、每次击杀消耗的帧数。这三个指标对应的是探索性、动作效率、战斗效率。奖励曲线涨但移动距离下降，说明模型大概率在蹲坑刷奖励，要立刻检查奖励设计；转向绝对值过小，说明模型经常保持一个固定朝向，可能漏掉了背后的大量信息；击杀帧数在奖励涨的时候同步下降，才是一个相对健康的状态。这些指标不光是给人工诊断用，我做了自动判停逻辑：如果连续 5 万步奖励中位数不增长，自动把学习率降一半，再跑 3 万步；如果步数达到 200 万仍然不满足阈值，直接终止这轮训练，回看数据分布。这个机制省了我很多盯着训练曲线的精力，也避免了一些无效的夜跑训练。4. 从 DOOM 到自动化测试的迁移路径训练完的 Jev 还是一个只会打 DOOM 的 Agent。要让它去做自动化测试，需要做一次系统的领域迁移。下面的迁移路径是我实际跑通的一套流程。4.1 领域映射：把一个游戏环境翻译成测试环境迁移的第一步是把两个领域的关键概念做对齐。不要想着让模型直接理解"页面"和"敌人"，而是把它学会的抽象决策能力映射到新场景上。核心的对应关系表如下：DOOM 环境自动化测试环境迁移后的作用视野帧图像页面截图 / UI 树渲染图视觉状态输入血量、弹药、剩余时间用例剩余数、失败率、执行时长标量状态输入进攻、躲避、探索意图推进、观察、探查、止停意图高层策略输出左转、开火、换弹等动作点击、输入、等待、断言等操作低层执行器封装击杀奖励、探索激励通过用例、覆盖分支、异常定位奖励奖励函数重定义敌人攻击、地图事件页面异步加载、接口超时、竞态条件动态事件源这张表里面的对齐，不是一对一硬套。游戏里的"进攻"在测试里不是"打人"，而是"主动推进到下一个未覆盖的页面分支"。游戏里的"规避"在测试里变成"发现异常时退出当前流程，记录上下文"。语义的抽象层级要对齐，具体内容是重新定义的，这样模型才能把在 DOOM 里学会的判断能力用上。4.2 状态编码与模型复用细节迁移时感知层的输入做了一个改造。DOOM 帧是 320x240，测试页面截图我先裁剪成 240x240 中心区域，再 resize 到 160x120，最后归一化到 [0,1]。裁剪不是随便做的，因为测试页面的核心交互区域往往集中在视口中心附近，裁掉边缘的装饰和空白区域能减少卷积层处理无关信息的负担。视觉特征的卷积层权重不是直接搬过来的。游戏画面的纹理分布和 UI 页面的扁平化设计完全不同，直接在截图数据上用游戏权重推理，效果会非常差。我处理的办法是：先在 ImageNet 类通用图像集上预训练器做一次初始化，再用 1000 张测试页面截图微调卷积部分的权重，只微调最后两层，大概半天时间就能完成。标量通道的处理要更仔细。游戏里的血量范围是 0 到 100，测试里的用例剩余数可能是几百到几千。直接把原始数值输入会导致梯度流量失衡。我统一做 z-score 归一化，并且把缺失值填充成训练数据的均值。这里有个小坑：训练时没有缺失值，测试时如果某个标量字段缺失了（比如这次执行没有版本信息），模型的行为会完全漂移。所以我在训练阶段就随机把 5% 的标量置为均值，让模型见过缺失模式。4.3 奖励与评估指标的重定义自动化测试环境的奖励函数是这样定义的：每进入一个新的 UI 分支，+0.1完整通过一个预先定义的用例，+1行为序列中定位到真实缺陷，+5触发无法恢复的异常，-10，并终止当前回合这里有一个平衡问题：发现缺陷给 +5 是必要的，否则模型不会主动去找缺陷；但给的分数太高，模型就会想方设法制造异常来碰瓷奖励。所以我加了一个约束：只有异常能被定位到具体故障根因时，才给正分否则只给 -2 作为惩罚。模型很快就区分开"真缺陷"和"假异常"的边界，行为变得收敛很多。在评估迁移是否成功时，我不看单个通过率指标。我加了三个维度。第一个是决策多样度：模型是否敢选择与历史人工用例不同的探索路径。如果模型只重复人工用例里的固定路径，说明它只是记住了数据，没有真正泛化。第二个是状态覆盖度：所有关键页面和功能分支是否都被访问到，尤其是人工高频用例遗漏的角落页面。第三个是时间效率：完成同样一轮回归测试，模型驱动的耗时相比人工脚本缩短了多少比例。这三个维度合起来看，才能判断模型是真的完成了迁移，还是只是在新环境里换了一种方式死记硬背。4.4 一次完整的迁移实施记录我在一个模拟的电商后台测试环境上完整走了一遍迁移，大致步骤和结果是这样的。第一步，整理目标页面和操作清单，导出 UI 树和 1000 张截图，把操作抽象成 7 个基础动作：点击、双击、输入、滚动、悬停、等待、切换窗口。这一步花了大概一天。第二步，在测试环境上跑纯随机策略收集了 2 万步状态数据，只用来算归一化统计量，不更新模型。这一步的目的是让感知层先适应真实截图的分布范围。第三步，行为克隆。用历史人工测试记录做监督数据，训练低层执行器和感知层，大约 3 万步，模型已经能按照基本操作习惯完成导航。第四步，加载 DOOM 环境训练好的高层策略权重，固定感知层和低层执行器，只微调高层和记忆模块。用测试环境奖励跑了 5 万步，大约一个晚上。观察奖励曲线，前 2 万步有轻微下降（因为环境语义突变），2 万步之后开始回升，到 5 万步趋于稳定。第五步，综合评估。最终结果是：决策多样度比人工用例高 32%，状态覆盖度从 71% 提升到 88%，时间效率比原有脚本快 40% 左右。虽然这个环境比较简单，不能代表所有复杂系统，但至少说明迁移路径是走得通的。5. 实操中踩过的坑与排查思路整个过程中踩坑很多，挑几个最典型的写出来，每个后面附上排查思路。这些坑在 DOOM 训练时埋下的，在测试迁移时又重新遇到了一遍，属于必踩清单。5.1 学到假策略：原地转圈和角落里蹲怪第一个典型问题，模型学到假策略。在 DOOM 里，表现为模型站在墙角不动，等敌人刷新。在自动化测试里，表现为模型反复点击同一个永远不会出现的按钮，不探索其他页面，把时间耗尽。排查思路是先看监控指标里的"平均移动距离"或"平均操作种类数"。如果奖励在涨，但移动距离持续走平，几乎可以确定是假策略。解决方式有两个层面：奖励设计层面加入消极惩罚，让无效果行为产生持续的小额扣分；环境层面直接在动作空间里排除无效动作，比如测试里某个按钮在当前状态下不可见，就不允许模型选择它。这里分享一个技巧：我给动作空间的每个动作加了一个 mask 标志，由执行器在运行时计算。按钮不存在时就 mask 掉，所有不可用动作的概率被置零。这样既保留了动作的语义，又不会让模型浪费时间在不可能的动作上。5.2 奖励欺骗：为了得分制造异常第二个坑在测试环境里特别突出。模型发现定位到缺陷可以拿 +5，而"浏览异常页面"本身并不难，于是它开始频繁触发那些已知会报错的页面操作，制造大量异常，试图靠异常数量堆分数。这是一个典型的奖励 hack，和 DOOM 里蹲墙角是一个本质。修复方法前面已经提过，就是让正奖励只和"定位到根因"挂钩，而不是和"撞见异常"挂钩。更深一层的领悟是：任何稀疏的高额奖励，只要它不附加严格的可行性条件，就会被模型钻空子。奖励设计不能停留在期望函数，要写出模型可能列举出的对抗策略。建议训练过程把"奖励来源分解"记录下来。也就是说，每一步的奖励是哪部分构成的，是探索的、通过的、还是异常定位的。生成一个 24 小时热力图，就能看到模型主要靠哪类收入活着。如果某类收入占比超过 60%，就要重新审视那个奖励项是不是太肥了。5.3 迁移后动作失效与过拟合这个坑发生在从 DOOM 迁移到测试环境的过渡期。模型在 DOOM 里训练时，低层动作都是"连续键位保持"类的操作，比如按住前进 0.2 秒。测试环境里对应的却是"点击一下"这种离散短动作。底层语义突然变了，高层策略以为自己在做连续移动，但测试执行器把它解释成了多次重复点击，行为变得非常奇怪。排查后发现问题出在低层动作的时间尺度上。解决方法是给测试环境的低层增加一个"动作持续时长"字段：点击、输入这种动作，规定必须持续至少 0.5 秒的等待上下文；滚动和悬停则明确为一次性的离散事件。本质上是在动作空间里加入了时间语义，让高层策略的改变体现在选择哪个意图，而不是尝试微调动作时的力度和节奏。这个问题的根源是过拟合到了原环境的动作时序分布。迁移之前，我建议观察一下高层策略在去掉低层细节后是否仍能保持稳定。如果高层在不同低层实现下都表现一致，说明它真的学到了抽象策略，否则就要加强训练时的环境随机化。5.4 状态空间的语义错位最后一个高频问题，状态空间的语义错位。简单来说，DOOM 里的敌人刷新点，在模型看来是"值得探索的高价值区域"，迁移到测试环境后，模型仍然把某个高频变化的页面区域当成"高价值目标"，反复访问，哪怕那个区域根本没有新的分支可测。造成这个问题的原因是感知层保留了太多原环境的语义残留。我在迁移时把感知层的卷积权重固定在"通用特征提取"的位置，但游戏里学到的纹理响应还是会影响注意力分布。解决办法是加大目标域数据的微调量，同时在迁移训练时对全部状态做领域随机化：改变页面主题色调、改变布局栅格尺寸、随机打乱元素顺序。这样模型就无法依赖色调和纹理上的巧合，只能依赖结构性的语义特征来决策。在实际实施时，这一步很费工。需要给每类页面生成至少 5 种变体风格，再在随机化的变体上重新跑一轮行为克隆。跑完之后迁移效果会有质的提升，因为模型终于不在乎"这个页面长得像不像 DOOM 地图"，而在乎"当前状态提供的有效信息是什么"。结尾：一些还没写进文档的体会最后说点偏操作层面的体会。第一，DOOM 环境和自动化测试环境的跨度比我预想的大，但决策能力的迁移比预想的有价值。关键不是让模型学会"打游戏"或"点按钮"，而是让它学会一种节奏感：什么时候该推进，什么时候该等待，什么时候该撤回重试。这种节奏感在两个领域是共通的。第二，奖励设计永远是最大的坑。我在 DOOM 里用墙角蹲怪的教训，在测试环境里被"制造异常碰瓷缺陷"完美复现。不要尝试一次把奖励设计完美，要接受"训练—发现问题—削减奖励漏洞"这个循环。记录奖励来源分解，会让你每次定位问题都快很多。第三，迁移前多花时间在状态抽象的标准化上。DOOM 的三类标量、测试环境的三类标量，只要抽象层级匹配，迁移就是一个换输入输出的问题。抽象层级一旦错开，后面所有工作都会变成在错的地基上打补丁。如果以后要继续扩展这个方向，我想尝试把决策意图的集合从五个扩成带有优先级的组合式意图，同时给记忆模块加入跨回合的长时记忆，这样模型就能记住整个测试周期里的覆盖盲区。Jev 目前更像一个"会决策的执行者"，下一步希望它能变成一个"会规划的策略者"。