卫星网络Q学习Matlab仿真：从状态设计到奖励收敛的完整解析

简介：一份面向卫星网络与强化学习初学者的MATLAB仿真资源，聚焦Q学习算法在动态拓扑和星地链路约束下的资源调度难题，如通信资源分配、路由选择与功率控制等。压缩包仅含2个.m脚本，包体大小2KB，体量精炼但要素完整：涵盖卫星网络状态与动作空间的构建、Q表初始化与迭代更新、ε-greedy动作选择策略、奖励函数设计，以及学习率α和折扣因子γ等超参数设置。两个脚本分工明确，一个负责定义环境并驱动主训练循环，另一个实现Q值更新与策略选择逻辑，便于分段阅读和局部修改。已有146人浏览学习，适合需要快速动手实践Q学习、并将强化学习引入网络仿真的研究生或工程师。运行这套脚本，可直观观察Q表随训练轮次逐渐收敛的过程，理解不同α、γ取值对算法速度和稳定性的影响；在此基础上还可结合卫星网络的链路时变特性，扩展出路由选择、频谱分配等更贴近实际场景的研究实验，也能直接作为课程设计或毕业设计的基础框架。

1. 卫星网络Q学习Matlab仿真：先想清楚它到底训练了什么决策

低轨卫星划过用户头顶的可见时间通常只有几分钟到十几分钟，终端必须在“继续用当前卫星”和“切到另一颗星”之间做出又快又准的决策。切晚了链路质量急剧恶化，切早了又会白白增加切换开销。这套“卫星网络 Q学习 Matlab 仿真”要做的，就是用Q学习在Matlab里模拟这个决策过程：把可见卫星集合、当前服务卫星作为状态，选择目标卫星作为动作，用信噪比增益减切换惩罚构造奖励，经过几百回合训练出一条明显降低切换次数、同时保证信号质量的策略。它适合刚开始接触强化学习、想验证低轨星座切换算法的开发者，也适合拿来做课程设计和毕业设计的场景演示。整套训练不需要深度学习框架，一张Q表加几十行循环就能跑通。

2. 系统架构与目录结构：从星座生成到Q表更新的完整链路

如果你把这套仿真当成一个普通脚本，一上来就打开主函数从头读到尾，大概率会被星座几何、状态编码和学习更新混在一起的代码劝退。我拆文件结构时一般会刻意把“场景几何”和“学习算法”分开，整个工程的数据流是：场景生成→可见性计算→状态抽象→学习更新→统计绘图。下面按这条链路介绍文件怎么组织，以及每个模块为什么要独立存在。

2.1 目录结构与文件职责

拆包后文件命名可能略有出入，但职责基本可以对应到下面这份清单：

main_leo_qlearning.m 是唯一需要手动触发的入口，运行时先读 config_params.m 生成的参数结构体，再调用 train_qlearning.m。train_qlearning 内部按“回合-时隙”两层循环推进，每走一个时隙才触发一次可见性计算、状态映射、动作选择和奖励计算。

把 cal_visibility.m 单独抽出来的原因很实际：训练一个回合要跑上千个时隙，如果每次都在训练循环里重算星座轨道，那改动星座构型就得跟着改学习代码；抽出来以后，换轨道高度、换倾角、换用户轨迹都不需要碰Q学习那一层。这也是这套仿真值得保留的组织方式，后续扩展时能省下大量改代码的时间。

2.2 卫星星座与终端建模方式

低轨星座的默认构型常用Walker-δ，需要指定轨道高度、倾角、轨道面数、每面卫星数和相位因子。这套仿真里可以设置的初始场景是高度780公里、6个轨道面、每面8颗卫星，最小可见仰角10度。最小仰角这个参数比看起来更重要：它决定一个时隙里用户能看到几颗星，也直接决定后面的状态组合数量。仰角设成5度，可见星会明显增多，状态空间也跟着膨胀；设成15度，某些覆盖边缘时隙可能一颗星都看不见，状态键就会变成空集。

终端部分常见做法是支持静止点和匀速轨迹两种模式。静止点适合观察单次过境，匀速轨迹适合模拟车辆或移动用户。两种模式的输出都统一成终端经纬度和海拔，避免可见性计算出现两种分支。这个纯几何过程在 cal_visibility.m 中完成，计算仰角和距离，再把高于门限的卫星编号写入当前时隙的可见集合。

function cfg = config_params() % 星座参数 cfg.orbit_height_km = 780; % 轨道高度，单位km cfg.orbit_planes = 6; % 轨道面数量 cfg.sat_per_plane = 8; % 每个轨道面卫星数 cfg.phase_factor = 1; % Walker相位因子 cfg.min_elevation_deg = 10; % 最小可见仰角门限 % Q学习超参数 cfg.alpha = 0.5; % 学习率，Q值更新步长 cfg.gamma = 0.9; % 折扣因子，远期奖励权重 cfg.epsilon_init = 0.9; % 初始探索率 cfg.epsilon_decay = 0.995; % 每回合探索率衰减系数 cfg.epsilon_min = 0.05; % 探索率下限 cfg.n_episodes = 200; % 训练总回合数 end

用函数返回结构体而不是全局变量，是为了让每个模块只接收自己需要的字段，调试时能看到完整参数快照。轨道高度和仰角门限影响的是几何层，epsilon 系列影响的是探索策略，这两组参数在调优时互不干扰，分开写在同一个结构体里并不会增加理解成本。

2.3 状态空间、动作空间与奖励设计

Q学习的第一步是把连续几何观测变成离散状态。最常见的设计是“当前可见卫星编号集合 + 当前服务卫星编号”，编码成二进制掩码后作为状态特征。为了避免状态爆炸，不要直接把卫星的ECEF坐标放进状态，因为同一颗星在头顶经过时坐标每时每刻都在变，状态数量会失去上界。

动作设计上，我一般会在动作列表里增加一个“保持当前卫星”的选项。很多第一次写切换策略的开发者只枚举“切到星A/星B/星C”，没有“不动”这个选项，结果训练出来的策略在信号质量足够好的时候也频繁切换。Q学习既然是优化长期收益，就要让模型自己学会“忍一忍”是有价值的。动作列表设计成：编号0表示保持当前星，1到N表示切换到可见列表里的第几颗星，列数固定为最大可见卫星数加1。

奖励函数则是整张Q表学习方向的来源：

这样设计后，不同时刻看见同一组可见卫星会被归为同一个状态，几何细节被丢弃。这看起来有些粗糙，但在足够多的回合里，Q学习学到的是这个状态下平均意义下的最优动作，实际表现通常已经够用。如果后期想提升策略精度，再往状态里加入“当前服务卫星剩余可见时间”这类特征也不迟。

3. 核心算法实现：Q学习从初始化到收敛的五个关键步骤

训练核心不是复杂网络，而是五件事：初始化Q表、编号状态、选动作、算奖励、更新Q值。状态空间在千级别、动作空间在个位数时，一张二维表比神经网络更稳，也更好调试。下面按这五个步骤拆开看。

3.1 Q表初始化：先算清行数和列数

Q表是二维矩阵，行数等于最大可用状态数，列数等于最大动作数。列数要提前固定，不能在执行到一半突然给矩阵加列。常见做法是取“最大可见卫星数加1”，多出来的那一列表示保持当前卫星不切换。

% 初始化Q表 max_visible_sats = 8; % 单时隙最多可见卫星数 n_actions = max_visible_sats + 1; % +1代表“保持当前服务卫星” n_states = config_params().state_count; % 训练前先统计好的状态总数 Q = zeros(n_states, n_actions);

这里用 zeros 初始化成全0，实际使用中我不会给Q表加初始偏置，因为Q学习对未访问状态的收敛依赖中性估计。如果初始值设置过高，前期探索会被不存在的收益误导；如果设置过低，又会让首次访问该状态的动作被错误扣分。全0是最省心的起点。

3.2 状态编号：从可见集合到行号

状态编号是这套仿真最容易出错的环节。最可靠的方法是用 containers.Map 做动态映射，第一次遇到某个特征组合时就分配一个新行号，避免手工计算组合数出错。实际工程里 state_map 通常作为结构体字段传入训练函数，这里为了可读性省略了传参过程。

state_map = containers.Map('KeyType', 'char', 'ValueType', 'int32'); function idx = map_state(visible_mask, current_sat) key = sprintf('%s_%d', visible_mask, current_sat); if isKey(state_map, key) idx = state_map(key); else idx = state_map.Count + 1; state_map(key) = idx; end end

visible_mask 是长度为总卫星数的字符掩码，例如“101001”表示第1、3、6颗星当前可见；current_sat 是当前服务卫星编号。这个方案有一个隐蔽坑：如果某个组合第一次出现在训练中段，state_map 会继续增长。因此训练前要先跑一遍静态可见性统计，把所有可能出现的状态组合枚举出来，Q表行数按这个统计结果预留。

3.3 动作选择：ε-greedy 与探索率退火

训练过程中既要利用已有经验，也要保留探索空间。ε-greedy 是这里最常用的策略：以概率 ε 随机选动作，以概率 1-ε 选当前Q值最大的动作。

function action = choose_action(Q, state_idx, epsilon, n_actions) if rand < epsilon action = randi(n_actions); % 探索：随机选一个动作 else [~, action] = max(Q(state_idx, :)); % 利用：选Q值最大的动作 end end

rand 产生一个0到1之间的均匀随机数，小于 epsilon 就进入探索分支。epsilon 初始值建议设成0.9，让前几十个回合充分尝试各种切换目标；随后每个回合乘以 epsilon_decay，比如0.995，训练到200回合时探索率会降到0.05左右，策略基本稳定。

3.4 奖励计算与Q值更新

奖励函数决定策略倾向。切换后信号变好，奖励为正；切换动作本身要付出代价，所以扣掉一个固定惩罚。惩罚系数需要和信噪比增益处于同一量级，否则模型学不到正确的权衡。

function r = cal_reward(snr_current, snr_target, is_switch) delta_snr = snr_target - snr_current; % 切换后的信噪比变化 penalty = 1.0 * is_switch; % 切换一次扣1 r = delta_snr - penalty; end

如果实际仿真中信噪比增益正常波动范围是0到3，惩罚系数设成1是合理起点。设成10会让策略死守旧星，设成0.01则会疯狂切换。这个参数是后面调优时最先要校准的量。

3.5 训练主循环：把五步串起来

整个训练过程按“回合-时隙”两层循环推进。每个回合开始时重置场景，每个时隙里完成选动作、推进仿真、算奖励、更新Q表四件事。

for ep = 1:cfg.n_episodes reset_scenario(); % 重置卫星坐标和终端位置 total_reward = 0; for slot = 1:slots_per_episode s = build_state_idx(visible_mask, current_sat); a = choose_action(Q, s, epsilon, cfg.n_actions); [r, s_next] = step_sim(s, a); % 推进一个时隙，返回奖励和新状态 Q(s, a) = Q(s, a) + cfg.alpha * (r + cfg.gamma * max(Q(s_next, :)) - Q(s, a)); s = s_next; total_reward = total_reward + r; end epsilon = max(cfg.epsilon_decay * epsilon, cfg.epsilon_min); reward_curve(ep) = total_reward; % 记录整回合累计奖励 end

更新公式里 max(Q(s_next, :)) 表示新状态下的最优未来收益，这是Q学习属于离策略算法的原因。如果想验证更保守的算法，把这行改成按实际选择动作取值的 SARSA 更新，整个工程只需要动这一行。alpha 控制新信息覆盖旧经验的程度，0.5 表示新旧各占一半，训练前期能较快跟上环境变化。

4. 仿真运行与参数调优：先跑通场景，再让奖励曲线稳定

打开工程直接点运行不是不行，但第一次跑之前最好先做两件小事：确认文件执行顺序，做一次可见性统计。这两个步骤能让后面所有调参工作都建立在确定的状态空间上。

4.1 运行前的可见性统计

状态数量不是拍脑袋定出来的，而是由星座几何和仰角门限共同决定。我一般会在训练前写一个短脚本，把所有时隙的可见卫星组合遍历一遍，统计去重后的组合数量。

cfg = config_params(); [sats, users] = gen_leo_constellation(cfg); stats = precompute_visibility(sats, users, cfg); disp(['状态总数: ', num2str(stats.state_count)]);

这个 precompute_visibility 函数会遍历所有时隙，收集出现的可见卫星掩码，最终给出状态总数。看到这个数字后，再回去检查 Q 表初始化代码里的 state_count 是否一致。如果这里不一致，训练时访问 Q 表行号就会越界，而且报错位置往往不在状态映射函数里，排查起来非常痛苦。

4.2 训练运行方式与环境检查

常见做法是打开 MATLAB 后逐句执行 config_params.m、main_leo_qlearning.m、plot_convergence.m，这样能在工作区看到每一步的中间变量，适合第一次跑通。如果要在服务器上批量跑参数对比，可以用批处理模式，跑完自动退出，不会在服务器上残留桌面界面。

matlab -batch "config_params; main_leo_qlearning; plot_convergence"

需要说明的是，-batch 模式要求较新的 MATLAB 版本，旧版本可以用传统方式启动：

matlab -nosplash -nodesktop -r "config_params; main_leo_qlearning; plot_convergence"

逐句执行时，重点观察 workspace 里 Q 表的规模是否和 precompute 统计出的状态总数一致，以及每个回合结束时 epsilon 是否在按预期衰减。如果 epsilon 衰减太快，后几十个回合会完全没有探索行为，曲线表现为突然陷入平台期。

4.3 收敛判断的标准

判断训练是否收敛，不要只看 Q 表数值，要看整回合累计奖励和切换次数两条曲线。单回合抖动很大是正常的，先做滑动平均再观察趋势。

window = 20; smooth_curve = movmean(reward_curve, window); plot(smooth_curve); grid on; xlabel('Episode'); ylabel('Smooth Total Reward');

movmean 会把相邻20个回合的均值画出来，滤掉单回合噪声。正常曲线是前期快速上升、中期缓慢波动、后期在某个平台震荡。连续50个回合的平滑值不再创新高，基本可以认为收敛。此时可以把探索率降到0，再做一次纯利用测试，验证训练出来的策略在真实场景下的表现。

4.4 参数调整的优先级与建议顺序

调参不是上来就调学习率。我的习惯是“先校准奖励量级，再调探索率，最后动学习率”。切换惩罚和信噪比增益如果不在同一量级，后面所有参数都白调。

建议先跑一组 penalty = 0、0.5、1、2 的对照实验，把每条训练曲线的切换次数列出来，确认惩罚量级合适后，再调 epsilon_decay。alpha 保持0.5起步，只有当曲线出现明显震荡时才降到0.2以下。每次只改一个参数，否则出了新问题根本定位不到是哪个改动引起的。

5. 避坑与常见问题排查：Q学习仿真最容易翻车的四个地方

这些坑不是看文档能看出来的，基本都是跑训练时肉眼可见的异常。下面按“现象、原因、处理”整理成四条，前两条最容易让人误判成算法问题，实际都是工程问题。

5.1 训练很久，Q表却大部分是零

现象：训练200回合后，Q表里大量行还是初始的0，只有少数行被更新过。

原因通常出在状态编号上。如果用 containers.Map 动态分配状态编号，而训练前没有做可见性统计，那么状态组合会在训练过程中不断增长，很多状态只出现过一两次，根本来不及稳定更新。

处理方法是训练前先跑一遍 precompute_visibility，把所有可能出现的状态组合固定下来，让 Q 表行数等于实际状态总数。另一种补救是适当提高最小可见仰角门限，从10度提到12度或15度，可见卫星组合数量会明显下降，状态空间缩到原来的几分之一。

5.2 奖励曲线剧烈震荡，像在抽风

现象：总奖励曲线上下跳动幅度极大，滑动平均后仍然不平稳。

原因多数是瞬时奖励的量级没对齐。个别时隙里信噪比增益突然很大或很小，导致 Q 值被单个样本拉偏，后续几个回合都处在恢复期。与之相伴的往往是某个方向上的 Q 值远远大于其他方向，但策略表现却很糟糕。

处理方法是把瞬时奖励归一化到统一量级，比如把 delta_snr 除以正常运行时的最大波动值，让奖励范围落在-1到1之间。归一化之后再看平滑曲线，如果仍然震荡，再检查 epsilon 是否一直维持在高位没有衰减。

5.3 切换次数居高不下

现象：训练后期累计奖励在涨，但终端切换次数依然很高，甚至比随机策略还频繁。

原因几乎都是切换惩罚设置得太轻。信噪比增益略微提升就能覆盖切换惩罚时，策略会倾向于“一有新星就切”，积累起来的切换开销反而拖累服务质量。

处理办法是把惩罚提到与信噪比增益同量级。比如正常增益波动是0到3，惩罚从0.5逐步提到2，观察切换次数曲线是否开始下降。切换次数和累计奖励是两个互相制约的指标，只盯奖励曲线很容易漏掉这个问题。

5.4 报错“矩阵维度必须一致”或“下标索引超出范围”

现象：训练跑到中途突然报错，停在一个看起来和问题无关的函数里。

原因多半是某个时隙可见卫星集合为空，build_state_idx 生成了一个空的状态键，或者状态编号超过 Q 表行数。这在一开始仰角门限设置偏高时特别容易发生，尤其是星座覆盖边缘区域。

处理方法是给空可见集合安排一个固定的“无服务”状态，放在 Q 表最后一行。同时训练前在 build_state_idx 里加一行断言，检查生成的状态编号是否小于 state_count。这个坑在实测中出现频率很高，值得第一次跑之前就预防。

6. 二次开发：把固定切换场景换成你自己的低轨星座方案

这套仿真真正值得改的地方集中在三处：星座拓扑、奖励函数、算法更新公式。每一处都有明确的替换接口，不需要大规模重构。

6.1 替换星座生成器

gen_leo_constellation.m 的输出约定是 N×3 的 ECEF 坐标矩阵，只要保持这个输出格式，内部可以换成任意轨道构型。常见做法是把 Walker 生成参数改成直接读入轨道根数列表，或者从 TLE 数据解析出坐标。重点是坐标参考系必须统一成 ECEF，否则可见性计算里仰角和距离全都会错掉。

6.2 修改奖励函数

cal_reward.m 里可以自由增加业务指标，比如把时延和负载均衡做成附加惩罚项：

r = delta_snr - penalty * is_switch - congestion_cost;

增加新指标后，要重新检查各分量量级。congestion_cost 如果远大于 delta_snr，策略会优先避开拥堵星，这一般是期望效果；但如果它小到可以忽略，就相当于没有加，白改代码。

6.3 算法扩展与验证

把更新公式里的 max(Q(s_next, :)) 改成当前策略实际选择的动作价值，就是 SARSA；维护两张 Q 表交替更新，就是 Double Q Learning。这类扩展都只动 train_qlearning.m 里的一行，非常适合做算法对比实验。验证时固定一个场景，比如让某一颗卫星信号人为劣化，观察训练后的切换策略是否会主动绕开它，再对比切换次数与累计奖励曲线。

有一次我改完奖励函数忘了归一化，跑了一整晚训练，第二天看曲线才发现前期已经被单个异常样本带偏，整批数据直接作废。从那以后，我每次改完场景都强制先跑一个3回合的快速演示，打印状态键样本和奖励量级，确认没有异常再跑完整训练。希望帮到你。

本文还有配套的精品资源，点击获取