简介A卷强化学习期末考试原题加答案是一份面向备考强化学习课程的本科生、研究生及自学入门者的试卷详解用于考前快速回顾核心概念、对照解题思路。压缩包共含1个PDF文件大小约332KB内容按题目顺序组织便于快速定位查阅。资源围绕十个高频考点展开包括折扣因子、贝尔曼方程、状态转移与奖励、蒙特卡洛方法、时间差分方法、SARSA与Q-learning、值迭代与策略迭代、马尔科夫决策过程及状态-行动值函数等覆盖常见题型和易混淆知识点。每道题均配有详细推导或公式演算例如网格世界中的回报计算、SARSA和Q-learning的更新差异、蒙特卡洛与TD方法的在线离线对比可直接对照练习。目前已有289人学习下载适合希望系统梳理强化学习期末重点、提高解题准确率的学习者。1. 拿到“A卷原题加答案”之后先分清你在复习还是背题一份标记着“A卷”的强化学习期末考试原题加答案真正值钱的不是那几道题而是它把课程最常考的考点以真题形式固定了下来。很多人拿到这类资料直接开背结果换一道变式题就懵——因为这恰恰踩中了考试资料最大的误区答案只能对上原题不能对上背后的知识点。这篇笔记要做的就是帮你把这份资料拆成三层来用第一层确认考什么第二层搞懂答案怎么推导第三层用一道变式题验证自己是不是真的会了。适合正在备战强化学习期末、手上已经有一份原题资料但不知道怎么高效利用的人尤其是复习时间只剩一两周、想把精力集中在高频考点上的同学。2. 从A卷倒推考点强化学习期末的高频考点地图拿到原题先别急着看答案。先把A卷里所有题目按知识点归类一遍你会发现在大多数高校的强化学习期末卷里出题范围高度集中在四个板块马尔可夫决策过程与贝尔曼方程、无模型控制Q-learning 与 SARSA、策略梯度方法、以及探索与利用的权衡。把四个板块的题目数量统计出来你的复习优先级就出来了。哪个板块题多哪个板块就是课程讲授的重点也是你投入时间的重点。2.1 马尔可夫决策过程从贝尔曼方程到状态价值函数马尔可夫决策过程MDP几乎是所有强化学习卷子的第一道大题。它考的不是抽象概念而是让你写出状态价值函数和动作价值函数的贝尔曼方程并计算给定策略下的价值。A卷里常见考法是给出一个三到四个状态的简单环境每个状态带即时奖励然后要求你用贝尔曼期望方程迭代出每个状态的价值。这类题的关键在于两个口径一是奖励是状态进入时的即时奖励还是动作执行后的奖励这决定了公式里r的写法二是折扣因子 γ 是否小于 1这决定了迭代是否收敛。写答案时优先列出状态转移图或转移表再代入贝尔曼方程每一步数值计算都要保留中间过程因为期末阅卷通常按步骤给分。动作价值函数Q(s, a)和状态价值函数V(s)之间的关系也要能默写下来V(s) Σ π(a|s) * Q(s, a)。很多同学把这两个等价关系弄混在策略评估题里写错方向。A卷答案里如果这一关系推导跳步了反而值得你重点补一遍——考点再隐蔽也有频次规律。2.2 无模型控制Q-learning 与 SARSA 的考法差异无模型控制是A卷里区分度最大的板块。Q-learning 和 SARSA 虽然长得像但考核意图完全不同。Q-learning 是离策略的更新时用的目标值是max_a Q(s, a)与实际执行的探索动作无关SARSA 是在策略的目标值直接取自下一步实际采取的动作Q(s, a)。期末考试特别喜欢出一张 Q 表迭代表让你手写前几步更新检验你是否理解这个差异。这里有一个非常典型的得分点更新 Q 值用的是目标值里的 max 操作但动作选择用的却是 ε-greedy 策略。这两个动作在题目里是分开描述的不能混在一起。A卷原题答案如果直接写了Q(s, a) ← Q(s, a) α [r γ * max_a Q(s, a) - Q(s, a)]说明它考的是 Q-learning如果目标值换成r γ * Q(s, a)那就是 SARSA 的套路。审题时先看这两个字符决定你整道题的答题方向。很多卷子还喜欢追问“为什么 Q-learning 能 off-policy”这时候要从重要性采样或者“max 操作不依赖于行为策略”来答简短写两句即可不需要长篇推导。2.3 策略梯度与价值函数两类方法的选型场景策略梯度类题目在A卷里通常以简答题或中等计算题出现典型考法是给一个简单策略网络结构让写策略梯度目标函数、对数似然项和更新公式。高频题目是 REINFORCE 算法∇J(θ) E[∇θ log π(a|s; θ) * G_t]其中G_t是带折扣的累积回报。常见错误是把策略梯度目标写成价值函数的期望或者漏掉 log 项直接对概率求导。实际操作中写出每一步的推导关系比背住整个公式更重要。常见的答题路径是先定义策略参数化形式再写目标函数J(θ) E[Σ γ^t r_t]然后写出梯度表达式最后说明如何用蒙特卡洛采样估计期望。价值函数方法和策略梯度方法的选择题也常出现。答这类题时抓住三个边界条件动作空间是离散的且较小用 Q-learning 或 DQN 更稳动作空间连续或者策略本身需要随机性用策略梯度需要处理高维状态输入比如图像就用深度网络结合价值函数或策略梯度。A卷的答案一般会给出一个场景判断句你只要把这三个边界条件对应上就能拿满分。3. 把答案拆成解题动作四类题型的答题结构与时间分配很多学生拿到A卷答案后只是“看懂”了但没有拆解答案的答题动作。期末卷的题型结构相对稳定不同题型有不同的得分策略。把答案归类到题型之后再逐题拆解比从头到尾读一遍答案有效得多。3.1 简答题的“定义—公式—边界”三段式简答题在A卷里通常占 15 到 20 分考的是概念辨析。比如“解释 on-policy 与 off-policy 的区别”“什么是探索与利用的困境”“为什么需要折扣因子”。这类题看起来送分但很多人只写定义不写公式导致扣分。我建议的答题模板是三段式先写一句话定义说清楚“是什么”再补一个公式或符号化表达说清楚“怎么描述”最后写边界条件说清楚“在什么情况下成立或不成立”。比如答“折扣因子 γ 的作用”先定义 γ ∈ [0,1] 控制未来奖励的权重再写累计回报公式G_t Σ γ^k r_{tk1}最后补充 γ0 表示只看即时奖励、γ 趋近 1 表示远见程度越高。把A卷所有简答题答案按这个三段式重新组织一遍你会发现自己对考点的理解层次立刻变得清晰。对照原答案时也别只看结论重点检查答案里是否包含公式和边界说明——如果官方答案省略了公式考试时你最好补上平时多写一步不会扣分少写一步却可能丢分。3.2 计算题贝尔曼方程的代入与收敛判断计算题里最常见的是给定转移概率、奖励函数和折扣因子要求计算状态价值或动作价值。步骤分通常占总分的一半以上所以答案中每一步代入过程都必须清楚。做题时先列出状态集合、动作集合、奖励表、转移概率P(s|s, a)和折扣因子 γ一行一个变量。然后写出贝尔曼期望方程并逐状态代入。迭代求解时如果卷面允许用手算迭代三到四轮即可因为收敛值通常可以用线性方程组直接解。最后的收敛判断是一个容易被忽略的得分点。写上一句“因 γ 1迭代收敛或称压缩映射保证唯一解”很多阅卷人会默认为你理解了贝尔曼方程的理论基础。A卷原题计算过程里可能没有这一步但这种“补一步结论”的做法在实战中确实能多拿分。3.3 推导题与论述题公式从哪里来、参数往哪里放推导题一般让证明或推导一个更新规则来源例如从梯度上升推导策略参数更新。论述题则给出一个应用场景比如下棋、控制、推荐系统要求选择合适算法并说明理由。A卷答案里最常见的推导题是 Q-learning 的更新公式是不是对贝尔曼最优方程的随机近似。答题思路分三步先写出贝尔曼最优方程Q*(s,a) r γ * max_a Q*(s,a)然后说明用当前估计值替换未知的最优值最后引入学习率减少更新误差。这样推导虽然不是每一步都严格但期末的推导题只要逻辑主线正确就能拿一半以上分数。论述题则要防止成为“作文题”解决之道是建立评分点与考点之间的映射。每写一个算法名字立刻补上适用假设和失效条件。比如提“用策略梯度解决连续动作控制问题”要顺手写出“动作空间连续时 Q 表不可枚举”这一关键理由这才是真正的得分点你说的每个字都要对应课内讲过的知识点。4. 计算题拿分模板Q-learning 与策略梯度的高频参数与答题格式A卷计算题的“坑”其实就那几个参数学习率 α、折扣因子 γ、探索率 ε。把这些参数的作用、取值范围和常见的“陷阱式取值”记熟计算题基本不会崩。这一章直接给出一套可以套用的答题模板按这个顺序写答案阅卷人想扣分都难。4.1 Q-learning 单步更新α、γ、ε 的最佳写法Q-learning 的单步更新公式是期末最常考的内容。建议按固定顺序书写先写出Q(s, a) ← Q(s, a) α * (r γ * max_a Q(s, a) - Q(s, a))然后列参数表然后逐行代入。回答时先解释α学习率控制新旧信息的权重取值范围通常为(0,1]再说明γ是折扣因子在 0 和 1 之间题目如果给 0.9 意味着未来奖励打九折最后强调ε在动作选择里控制随机探索概率典型取 0.1。如果题目表格里给定了α0.1, γ0.9, ε0.1只要贴格式逐步算即可中间不要省略任何一步。经验是卷面上的表格要保持三个“对齐”——状态对齐、动作对齐、计算式对齐。不要直接写最终 Q 值要把括号中的目标值写完整。Q-learning 目标值r γ * max_a Q(s,a)里 max 要挑出动作对应的最大值若选错整道题过程分可能全失。4.2 策略梯度目标函数与 log 概率的展开策略梯度计算题的关键是正确写出目标函数和它的梯度。一般形式是J(θ) E_{π_θ}[Σ γ^t r_t]梯度由∇θ log π(a|s; θ)乘以累计回报G_t构成。很多题目会给一个“1-of-n 编码”的离散动作或者一个高斯策略的连续动作让你手推到具体的梯度形式。对于高斯策略π(a|s; θ)写为均值为θ^T φ(s)、方差固定的正态分布log 概率对均值参数求导后会得到(a - μ) / σ^2 * φ(s)这一步是推导题的经典考点。建议把推导拆成三步写第一步写策略表达式第二步取对数第三步对参数求梯度最后再乘回报项。A卷答案中只要这三步结构完整即使最终数值有一点错误也能保住大部分推导分。4.3 A卷答案对照什么时候答案唯一什么时候按口径给分很多学生对照A卷答案时会困惑“为什么我的数值和答案不一样” 这往往是因为口径问题。强化学习计算题里有两个常见口径差异一是更新 Q 表时是否立即用新值去影响下一步在线更新还是先保留旧表、全部更新完再替换同步更新二是写累计回报时从当前时间步还是下一时间步开始乘 γ。如果题目没有明确说明计算题取任何一种口径都不要“混用”并在卷面上注明“按同步/异步口径计算”。方法是一开始就在答案顶部写一行“取折扣从下一步开始”、“采用同步更新”这样即使选的路径与标准答案不一致过程分也已锁定。而像贝尔曼方程中V(s)Σπ(a|s)Q(s,a)这类公式答案是唯一确定的不能在此处写“因口径不同而结果不同”这是教师出题时的底线区分点也是考试检查你的试金石。5. 用A卷复习避坑指南背答案的三个典型翻车现场原题加答案是效率工具但也最容易把复习带偏。下面这四条是高频的复习翻车现场每一条都是血泪经验对照自查大概率你能找出自己正在踩的那一个。5.1 现象答案看懂了换个状态就不会算背后的原因是把答案中的数值跟知识点绑定却没把“更新规则”从具体状态中抽象出来。建议把A卷里的计算题盖住状态名和数字把更新公式当成一个过程来默写然后再代入数字。如果说明变量含义这一步做不到说明你并没有真的“看透这道题”还需要把第四章的模板重做一遍直到不看答案也能推导完。5.2 现象把策略评估当成策略改进很多答案的推导同时包含“评估”和“改进”两步比如策略迭代里的策略评估会计算当前策略的价值函数而策略改进则是在这个价值函数上做贪心选择。学生把两步混在一起写导致阅卷人无法判断你是否知道这是两个独立过程。规避方法是每次遇到这类题用一行注释标清楚你当前在哪一步写“第一步策略评估固定 π”写完价值迭代公式后再写“第二步策略改进π 更新为贪心”。A卷原答案如果步骤之间没有分隔标注你自己补上这些标记卷面逻辑立刻清晰。5.3 现象忽略 ε-greedy动作选择直接写贪心在 Q-learning 计算题里有时表格要求你“使用 ε-greedy 选择动作”但很多人直接写max_a Q的贪心选择把探索概率忽略了。考试时应该在计算过程里写一句“依 ε0.1有 0.9 概率选择贪心动作0.1 概率随机选择”——并不需要真的模拟随机数但阅卷人需要看到你意识到动作选择中带着探索。这也是最容易丢的“隐藏分”。5.4 现象只背结论不记公式来源有些简答题答案里直接写着结论比如“Q-learning 收敛到最优策略”。如果考试换一种问法“Q-learning 为什么能收敛”很多对着答案背结论的人就慌了。正确备考姿势是把每个结论配一个一句话来源例如“因为贝尔曼最优算子是一个压缩映射当学习率满足 RM 条件且在无限探索下Q 值以概率 1 收敛到 Q*”。这一句已经足够撑起论述题的第一部分剩下的细节可以在考场上临时补。6. 用 A 卷做一次自测组卷半天验证复习是否到位把A卷当“考完就扔”的卷子太可惜。它最大的复利价值是一套天然的考点采样。我推荐一个原创的自测法半天以内就能验证你的复习是否真正到位特别适合考前一周使用。需要准备的东西很简单一张 A4 纸、一支笔以及把A卷上每道题对应的考点标签抄出来。先在纸的左栏列出所有考点MDP 建模、贝尔曼期望方程、Q-learning 更新、SARSA 更新、策略梯度目标函数、ε-greedy、折扣因子作用、on-policy 与 off-policy 区别。然后在右栏给每个考点标一个“掌握度”分为“能默写公式”、“能推导过程”、“能应对变式”三档。接着把 A 卷每道题的已知条件替换成新情境Q-learning 那题把三状态环境改成四状态REINFORCE 那题把 action 从离散动作换成连续动作简答题把“解释 off-policy”换成“说明为什么重要性采样在 off-policy 里有必要”。然后计时 90 分钟只答变式题不看答案。这种自测真正检验的是“考点内化程度”不是“原题熟悉程度”。如果你的变式题能拿到 70% 以上的分数说明你的复习路径是对的如果拿不到就回到第 2 章和第 4 章的表格把对应的知识结构再重做一轮。我自己的习惯是每次拿到原题资料先在封面写上“这卷子的考点百分比”然后再开始复习。这个方法帮我避开了“背完感觉会了、一考就废”的怪圈。原题加答案只是路口的路标把考点提炼成自己的推导逻辑才是真正把资料用透。希望这一套拆解思路对你备考有帮助也希望你期末考试顺利拿下高分。本文还有配套的精品资源点击获取