简介一份面向MATLAB用户的在线字典学习代码包聚焦文本、音频等序列数据的字典基在线更新适合希望系统掌握在线学习与无监督学习的算法实践者。代码包共5个文件以m脚本为主另含1个mat数据文件压缩后仅1.11MBm脚本分别对应算法入口、字典更新、损失计算与在线迭代等模块mat文件提供可直接运行的示例数据整体结构清晰便于按需阅读或二次修改。目前已有692人学习下载。通过运行代码可观察cost损失函数随迭代下降的全过程理解梯度类更新如何逐样本修正字典并体会不加载全量数据时的内存优势同时可追踪字典原子的变化加深对稀疏表示的直观认识。结合示例数据可进一步练习矩阵运算、函数封装与参数调优为后续将字典学习用于特征提取、压缩或分类任务打下基础。1. 在线字典学习是什么为什么批量训练会在内存上栽跟头处理过图像去噪或压缩感知任务的人多半都在 MATLAB 里跑过这类流程把训练集切成小图像块拼成一个大矩阵然后丢给 K-SVD 或 MOD 做字典学习。小规模数据这样做没问题但一旦训练集大到几千张高清图批量迭代的内存压力立刻显现——每次更新字典都要把全部样本的稀疏系数存下来很容易在算到一半时耗尽内存任务直接翻车。在线字典学习Online Dictionary LearningODL就是为此设计的它不要求一次性看到全部数据而是让每一个或一小批样本到达后立刻更新字典内存占用从“与样本总量成正比”降为“只与字典尺寸相关”因此在 MATLAB 环境下处理大训练集时它是比批量 K-SVD 更务实的选择。这篇笔记会从目标函数的差异讲起给出可直接复现的 MATLAB 实现、参数设置细节和五个我实际踩过的坑。2. 从批量到在线算法选型与目标函数的关键差异2.1 批量字典学习为什么贵先把损失函数拆开看字典学习要解决的核心问题是给定训练样本矩阵 X每个样本是 X 的某一列我们要找到一个过完备字典 D 和一个稀疏系数矩阵 A使得 D * A 能近似重建 X同时 A 尽量稀疏。批量方法的典型目标函数可以写成min_{D,A} 0.5 * || X - D * A ||_F^2 lambda * || A ||_1这里 F 范数衡量重建误差L1 正则化项促使系数稀疏。经典的 K-SVD 和 MOD 都在优化这个目标但它们的迭代方式有一个共性每一轮都要求所有训练样本同时参与。在 MATLAB 里这意味着你要把整个 X 保持在内存中还要存下与之等尺寸的稀疏系数矩阵 A。训练集是 10 万个小图块、每个图块展开成 256 维向量时X 本身就要几百 MB再加上迭代过程中的临时变量32GB 内存的机器也经不起几轮折腾。换个角度想批量更新要求“全局一致”所以每步都要看完整数据而在线更新只要求“顺着数据流往前走”每看到一个样本就调整一次字典。前者像是批改全班作业后再统一讲评后者像是看到一份作业就立刻反馈。反馈的即时性牺牲了一些收敛稳定性但对内存的友好度是数量级的提升。2.2 在线目标函数把求和换成逐样本近似在线字典学习的核心技巧是把原来的批量目标拆成逐样本形式。假设样本按时间顺序依次到达第 t 步到达的是 x_t我们先用当前字典 D 对它做稀疏编码得到系数 a_t然后只针对这一步的损失更新字典f_t(D) 0.5 * || x_t - D * a_t ||_2^2 lambda * || a_t ||_1字典 D 的更新用梯度下降或坐标下降来做步长通常会随时间衰减。由于每次只依赖当前样本的稀疏系数 a_t 和字典本身内存占用只有 D大小约为 m × km 是特征维度k 是原子数和一组临时变量。比如图像块维度 m256、原子数 k512 时D 约为 512KB加上系数和梯度临时变量总内存轻松控制在几十 MB 内。这里有一个容易忽略的点在线方法的收敛性依赖学习率的衰减安排。常见做法是让学习率与步数 t 成反比即 eta_t eta_0 / (t)^0.5或者使用更保守的 eta_0 / t。衰减太快会让字典后期更新缓慢衰减太慢则可能在最优解附近震荡。我一般在 MATLAB 里先用一小段数据预跑 200 步观察损失曲线再决定衰减指数取 0.5 还是 0.8。2.3 三种更新策略MOD、K-SVD 与在线坐标下降怎么选把常见方法放在一起对比选型时会更清楚方法更新方式内存需求收敛速度MATLAB 实现难度适用场景MOD最小二乘解整体更新字典与样本数成正比前期快后期慢低样本量小、快速原型验证K-SVD逐原子用 SVD 更新与样本数成正比稳健迭代次数少中中小规模图像去噪ODL在线逐样本坐标下降/梯度下降仅与字典尺寸相关前期略慢整体稳定中大规模数据、流式训练K-SVD 的逐原子 SVD 更新在数学上很优雅但它每次都要用到所有样本的稀疏系数这就决定了它无法在大数据场景下扩展。ODL 的坐标下降法每次只更新字典的一列计算量小而且天然支持“训练集太大无法一次性载入”的情况。如果手里的训练集只有几千个样本我会直接用 K-SVD因为它的每轮信息量更大收敛更稳但如果样本量超过十万或者数据本身是流式到达的ODL 是唯一务实的选择。3. 在 MATLAB 中实现在线字典学习从初始化到收敛的完整流程3.1 第一步字典初始化与训练数据预处理在线字典学习对初始字典不挑剔但一个好的起点能显著减少前期波动。最常见的做法是从训练样本中随机抽取 k 个样本构成初始字典然后对每一列做 L2 归一化。另一种做法是直接用 DCT 过完备字典作为初始 D这在图像类任务里表现稳定因为 DCT 基能覆盖大部分低频纹理。% 参数设置 patch_size 8; % 图像块边长 m patch_size^2; % 特征维度 64 k 128; % 字典原子个数 lambda 0.15; % 稀疏正则系数 eta0 0.01; % 初始学习率 % 假设 dataMatrix 是 n x m 的矩阵每行一个样本已预处理 % 从训练集中随机抽 k 个样本作为初始字典 rng(42); idx randperm(size(dataMatrix, 1), k); D dataMatrix(idx, :); D D ./ vecnorm(D, 2, 2); % 每行归一化行代表原子代码说明这里把每个原子存成字典矩阵的一行而不是一列这个约定在后文的代码里会保持一致。vecnorm(D, 2, 2) 对每一行计算 L2 范数然后做逐行归一化。参数 lambda 控制稀疏程度数值越大系数越稀疏重建误差也会相应增大。初始字典的随机种子建议固定下来否则两次实验的收敛轨迹差异会让人误以为算法不稳定。3.2 稀疏编码用 OMP 还是用 L1 优化在线字典学习的每一步都要对当前样本做一次稀疏编码。最常用的方法是正交匹配追踪OMP在每次迭代中挑选与当前残差相关性最强的原子然后用最小二乘更新系数。OMP 的终止条件有两种设定稀疏度上限或者设定残差阈值。在在线更新场景中稀疏度上限更实用因为每步的计算时间需要稳定可控。function coef omp_coding(sample, D, sparsity) % sample: 1 x m 的样本向量 % D: k x m 的字典矩阵每行一个原子 % sparsity: 最大非零系数个数 residual sample; % 初始残差 coef zeros(1, size(D, 1)); % 系数向量 selected []; % 已选原子索引 for iter 1:sparsity % 计算残差与所有原子的内积绝对值 inner_products abs(D * residual); [~, atom_idx] max(inner_products); % 如果选中的原子重复说明残差已无法再被有效降低 if ismember(atom_idx, selected) break; end selected [selected, atom_idx]; % 最小二乘拟合当前选中的原子子集 D_selected D(selected, :); coef_selected D_selected \ sample; coef(selected) coef_selected; % 更新残差 residual sample - coef_selected * D_selected; end end代码说明这段 OMP 的实现在稀疏度较小时效率足够高因为在线学习的每一轮只需编码一个样本。注意第 12 行的重复选择判断——当残差与某个原子的内积再次最大说明当前原子集已经无法继续降低残差此时应提前终止。矩阵求逆使用了反斜杠运算符MATLAB 会为小规模问题自动选择合适的求解器。3.3 字典更新的核心逐原子坐标下降字典更新的标准做法是对每一列对应一行原子做一次坐标下降。更新公式的本质是固定其他原子不动把当前原子调向能最小化重建误差的方向。这里需要维护一个累计矩阵记录每个原子在历史迭代中积累的统计量这样在线更新才有“记住过去”的能力而不会被单个样本带偏。% 累计统计量初始化 A_acc zeros(k, k); % 系数协方差累计矩阵 B_acc zeros(k, m); % 系数-样本交叉累计矩阵 t 0; % 迭代步数 % 在线训练主循环 for i 1:numSamples sample dataMatrix(i, :); t t 1; % 对当前样本做稀疏编码 coef omp_coding(sample, D, 8); % 更新累计统计量 A_acc A_acc coef * coef; B_acc B_acc coef * sample; % 学习率随时间衰减 eta eta0 / sqrt(t); % 坐标下降更新字典的每一个原子 for j 1:k if A_acc(j, j) 1e-10 continue; % 该原子从未被使用跳过更新 end % 计算当前原子的最优更新方向 u_j (B_acc(j, :) - A_acc(j, :) * D) / A_acc(j, j); % 结合学习率做平滑更新 D(j, :) D(j, :) eta * (u_j - D(j, :)); % 归一化防止原子范数无限增大 norm_j norm(D(j, :)); if norm_j 0 D(j, :) D(j, :) / norm_j; end end end代码说明A_acc 和 B_acc 是实现在线记忆的关键数据结构。从推导角度看坐标下降的解析解是 u_j (B_acc(j,:) - A_acc(j,:) * D) / A_acc(j,j)然后以学习率 eta 做指数平滑等效于带遗忘因子的梯度下降。A_acc(j,j) 很小时意味着该原子在当前字典中几乎不被激活直接跳过更新是安全的。每轮更新后的归一化是必须的否则字典原子的范数会逐渐漂移最终导致稀疏编码阶段的内积计算失真。3.4 完整训练循环与收敛监控把上面的模块组合起来加上收敛监控就构成一个可复用的完整循环。我习惯在每处理 500 个样本后随机抽取一小批固定样本计算一次重建误差这样能画出一条稳定的误差曲线来判断训练是否在正常收敛。% 完整训练流程 function [D, history] train_odl(dataMatrix, k, lambda, eta0, epochs) m size(dataMatrix, 2); numSamples size(dataMatrix, 1); % 初始化字典 rng(42); idx randperm(numSamples, k); D dataMatrix(idx, :); D D ./ vecnorm(D, 2, 2); A_acc zeros(k, k); B_acc zeros(k, m); history zeros(epochs, 1); t 0; for epoch 1:epochs % 每个 epoch 打乱样本顺序避免周期性偏差 perm randperm(numSamples); for i 1:numSamples sample dataMatrix(perm(i), :); t t 1; coef omp_coding(sample, D, 8); A_acc A_acc coef * coef; B_acc B_acc coef * sample; eta eta0 / sqrt(t); for j 1:k if A_acc(j, j) 1e-10 continue; end u_j (B_acc(j, :) - A_acc(j, :) * D) / A_acc(j, j); D(j, :) D(j, :) eta * (u_j - D(j, :)); norm_j norm(D(j, :)); if norm_j 0 D(j, :) D(j, :) / norm_j; end end end % 用固定验证集评估重建误差 val_idx randperm(numSamples, 200); val_samples dataMatrix(val_idx, :); val_coef zeros(200, k); for v 1:200 val_coef(v, :) omp_coding(val_samples(v, :), D, 8); end recon_error norm(val_samples - val_coef * D, fro) / norm(val_samples, fro); history(epoch) recon_error; fprintf(Epoch %d, 相对重建误差: %.4f\n, epoch, recon_error); end end参数说明epochs 表示完整遍历训练集的次数一般 5 到 10 轮足够看到误差曲线收敛。每个 epoch 内部打乱样本顺序很重要——如果训练集本身有排序结构比如前面的样本都是同一类图像不打乱会让字典在训练初期严重偏向这批样本。验证集固定而非每次重新采样能保证误差曲线前后可比。3.5 应用示例把学到的字典用于图像去噪字典学好后最直接的应用是图像去噪。做法是把噪声图的每个小图像块用 OMP 编码再用字典重建然后重叠拼接回整幅图。重叠区域取平均可以消除块效应。function denoised dict_denoise(noisy_img, D, patch_size, sparsity) [h, w] size(noisy_img); denoised zeros(h, w); weight zeros(h, w); % 滑窗提取图像块 step 2; % 相邻块的重叠步长越小效果越好但越慢 for i 1:step:h - patch_size 1 for j 1:step:w - patch_size 1 patch noisy_img(i:ipatch_size-1, j:jpatch_size-1); patch_vec patch(:); patch_vec patch_vec - mean(patch_vec); % 去均值 patch_vec patch_vec / norm(patch_vec); % 归一化 coef omp_coding(patch_vec, D, sparsity); recon_vec coef * D; % 恢复均值并写回 recon_patch reshape(recon_vec, patch_size, patch_size); recon_patch recon_patch * norm(patch(:)) mean(patch(:)); denoised(i:ipatch_size-1, j:jpatch_size-1) ... denoised(i:ipatch_size-1, j:jpatch_size-1) recon_patch; weight(i:ipatch_size-1, j:jpatch_size-1) ... weight(i:ipatch_size-1, j:jpatch_size-1) 1; end end denoised denoised ./ weight; end代码说明去均值是图像块字典学习里容易被忽略的细节。如果不减均值低频成分会占据字典的大部分原子让稀疏编码把精力浪费在表示直流分量上而不是纹理细节。这里的 step2 表示块之间重叠 2 个像素重叠区域通过 weight 矩阵归一化这是消除块效应的标准方案。4. 在线字典学习避坑指南五个实战翻车现场与排查方法4.1 字典原子变成纯噪声现象训练完成后把字典原子显示为图像块很多原子看起来像是随机噪声没有任何结构。原因最常见的原因是学习率衰减太快导致字典在前期还没有充分探索时就被冻住。eta0 取得太小、衰减指数太大都会让字典停在接近初始化的随机状态。另一个常见原因是 OMP 的稀疏度设置过高每步编码几乎变成了稠密表示原子之间的区分度消失。解决把 eta0 调大一倍再试并检查衰减指数是否用了 sqrt(t)。我通常在训练前用前 500 个样本跑一个快速预演画出原子的平均能量变化曲线如果 500 步后原子能量仍接近初始值说明学习率过低。另一个验证手段是手动调用 omp_coding 对单个样本编码后重建如果重建残差远大于训练集上的平均残差说明字典质量确实有问题。4.2 重建误差出现 NaN 后无法恢复现象训练到第几百步时重建误差突然变成 NaN之后所有数值指标全部失效。原因A_acc(j,j) 极小时跳过了原子更新但如果某个原子的能量本来就很小归一化过程中产生了除零或者由于累计矩阵数值过大坐标下降计算公式中的减法产生了灾难性抵消。在 MATLAB 中数值溢出到 Inf 后参与后续运算会传播 NaN。解决在所有除法操作前加一个 eps 保护。A_acc(j,j) 的下界从 1e-10 改到 1e-5归一化时用 max(norm_j, 1e-8) 作为分母。更重要的是定期检查 A_acc 的数值规模——如果超过 1e12需要对累计矩阵做整体缩放因为在线上千轮后累计量增长到远超字典量级数学上虽然等价数值上却容易出问题。4.3 多个原子坍缩成同一个模式现象训练结束后字典里有多组原子几乎完全相同。原子数 k128 时实际有效的不同模式只有 50 个左右。原因这是在线坐标下降的经典问题。当两个原子归一化方向非常接近时稀疏编码无法区分它们系数会随机分配到其中一个上另一个因为长期不被激活而不再更新最终坍缩。A_acc(j,j) 的跳过条件加剧了这个问题——不被使用的原子直接停止更新反而失去了自我修正的机会。解决在每个 epoch 结束后增加一次原子去相关操作。具体做法是计算所有原子两两之间的余弦相似度如果超过 0.95将其中一个原子替换为一个从训练集中随机抽取的样本归一化后并重置 A_acc 中与之相关的统计量。这个操作虽然损失了一点连续性但能防止字典退化长期来看利大于弊。4.4 转换到在线模式后效果反而不如批量方法现象同一个数据集用批量 K-SVD 重建误差 0.12用在线实现 0.18差距非常明显。原因在线方法的收敛曲线对 eta0 和稀疏度都很敏感。K-SVD 的每次 SVD 更新是全信息更新一次迭代的信息量远大于在线单样本更新因此在线方法需要的 epoch 数往往比预想的多。另一个因素是稀疏度K-SVD 通常使用 8 到 12 个非零系数如果在线 OMP 也用了同样的值单样本的编码噪声会被放大字典更新时统计量包含的噪声成分更多。解决把稀疏度适当降低到 6同时把 epoch 数从 5 提升到 15让学习率衰减更平缓。我用这类配置后同样的数据集上在线方法的重建误差能追平 K-SVD但内存占用只有原来的三分之一。如果时间允许可以对比多个稀疏度配置下的误差曲线选择拐点位置的值。4.5 OMP 编码速度过慢拖慢整个训练现象numSamples 为 20 万时单轮训练要跑两个小时其中 90% 的时间花在 omp_coding 上。原因每样本的 OMP 内部有 8 次迭代每次迭代都要计算 D * residual 的完整内积向量这是一个 k × m 规模的矩阵向量乘法。20 万样本 × 8 次迭代 × 5 轮训练总计算量相当可观。如果在循环内部写了子函数调用且没有预分配变量MATLAB 的 JIT 优化受影响速度会更慢。解决有两个优化方向。第一把 OMP 内部用矩阵运算向量化——把同一批样本的编码放在一个矩阵操作中完成而不是逐样本循环第二在训练前把所有样本的第二个范数预先计算好避免重复计算。使用 MATLAB 的 parfor 对不相干的 batch 做并行编码也能榨干多核性能。我实现中把单样本循环改为 32 样本小批量后速度提升了 4 倍。5. 验证训练质量与参数调优可视化、数值指标与经验区间5.1 用字典可视化快速判断训练是否正常训练结束后的第一件事不是看误差曲线而是把字典矩阵转成图像直接看。MATLAB 里把每一行原子 reshape 回 patch_size × patch_size 的矩阵然后按网格排列显示能直观判断字典是否学习了有意义的纹理结构。% 显示字典原子 atom_size sqrt(m); grid_dim ceil(sqrt(k)); display_img zeros(atom_size * grid_dim (grid_dim1), atom_size * grid_dim (grid_dim1)); margin 1; for idx 1:k row floor((idx - 1) / grid_dim); col mod(idx - 1, grid_dim); atom_img reshape(D(idx, :), atom_size, atom_size); % 每行原子独立归一化到 0-1 范围便于显示 atom_img (atom_img - min(atom_img(:))) / (max(atom_img(:)) - min(atom_img(:))); r_start row * (atom_size margin) 1; c_start col * (atom_size margin) 1; display_img(r_start:r_startatom_size-1, c_start:c_startatom_size-1) atom_img; end figure; imshow(display_img, []); title(训练得到的字典原子);代码说明每个原子的能量差异可能很大所以显示前单独做一次 min-max 归一化否则能量低的原子会完全看不清楚。看这张图时正常的字典应该由不同方向的边缘、条纹和纹理块构成如果出现大量亮点状噪声原子或大面积重复结构就要按照第 4 章的方法排查。5.2 数值指标重建误差、稀疏度分布与字典能量集中度可视化只能做定性判断定量指标才能细粒度评估字典质量。我固定使用三个指标来评估一次训练的质量。指标计算方式健康范围异常信号相对重建误差norm(X_val - A_val*D, fro) / norm(X_val, fro)0.05 - 0.15超过 0.2 说明欠拟合平均稀疏度每个样本编码后非零系数个数均值接近稀疏度上限的 80% 左右太低说明字典冗余度过高原子能量集中度按原子激活频率排序前 20% 原子的激活占比不超过 60%超过 80% 说明大量原子废掉了关于稀疏度分布我通常把每次 OMP 得到的非零系数个数存入数组训练结束后画直方图。如果分布严重偏向稀疏度上限说明 lambda 或稀疏度参数设置偏小需要增加稀疏约束如果分布严重偏向 1 或 2说明字典原子之间区分度太高样本只被单个原子表示这不是过完备字典应该有的状态。5.3 参数联调的经验区间在线字典学习的参数之间是联动的单独调一个参数很难有效果。我用一组经验区间来辅助调参正则系数 lambda图像数据归一化到 [0,1] 区间后0.05 到 0.3 之间比较合适。lambda 太小会让稀疏编码接近稠密太大则会让字典只保留最粗糙的结构。稀疏度上限对 8×8 图像块6 到 12 是常用区间字典原子数 k 越大稀疏度可以取得越大。经验上 k128 配稀疏度 8k256 配稀疏度 10。学习率 eta00.005 到 0.02 区间。eta0 越小单步更新越保守需要的 epoch 越多eta0 越大前期收敛快但后期容易震荡。epoch 数数据量大时 3 到 5 轮足够数据量小时需要 10 轮以上。判断标准是验证误差曲线是否在最后几个 epoch 中继续下降。有一条原则值得记住这些参数的作用不是正交的。调稀疏度时重建误差会变但字典的质量可能反而下降调学习率时收敛速度会变但字典最终的局部最优区间也会变。我习惯的流程是固定 lambda调稀疏度和 k 使重建误差达到目标区间再调 eta0 使训练曲线平稳最后返回去微调 lambda。6. 一个提升稳定性的技巧让归一化成为在线更新的一部分在线字典学习的一个潜在隐患是原子范数的漂移。虽然在每步更新后做了归一化但如果在原子坍缩检测后做了替换操作新原子与累计统计量 A_acc、B_acc 之间的一致性可能会被破坏后续更新就会不稳定。我后来养成了一个习惯把归一化与统计量维护做成一个不可分割的操作而不是在更新后单独做一次。具体做法是在坐标下降完成所有原子更新后额外做一次“统计量补偿”。对每个原子 j记录它更新前后的范数比例 r norm_before / norm_after然后把 B_acc(j, :) 按比例缩放。这样做的意义在于B_acc 是系数与样本的交叉累计量它和字典原子在数值上必须是同一量纲的如果不做补偿下次更新时 B_acc 与 D 的数值差距会越来越大最终导致第 4 章提到的 NaN 问题。% 每次字典更新循环结束后执行 for j 1:k norm_before norm(D(j, :)); if norm_before 0 D(j, :) D(j, :) / norm_before; scale norm_before; B_acc(j, :) B_acc(j, :) * scale; end end这段代码放在所有原子更新完成之后、进入下一个样本编码之前。当初是我在某次处理超分辨率任务时连续三轮训练都出现现重建误差先下降后反弹的现象排查了半天发现是原子范数在每一轮缓慢增长导致稀疏编码阶段内积计算的相对权重在漂移。从那以后我每次跑在线字典学习都会强制把这段补偿代码放在更新循环末尾还专门加了一个稳定性检查函数来监控原子范数的一致性。这个细节对结果的影响不会立刻体现在前几百步但训练到达后期时它会决定误差曲线是一直向下还是出现诡异的反弹。希望帮到你。本文还有配套的精品资源点击获取