SVR-SVDD融合的无监督异常检测：原理、Matlab实现与调参全攻略

在工业异常检测、设备状态监测这类任务里，最让人头疼的往往不是“怎么建模”，而是“正常样本很多，异常样本太少，甚至根本没有标签”。传统分类器一上来就抓瞎，有监督方法基本废掉。这时候支持向量数据描述（SVDD）就是很自然的切入点——它只需要正常数据，学一个包围正常样本的紧凑边界，落在外面的就是异常。我自己在实际项目中试过纯SVDD，效果还行，但总会遇到边界过松或过紧、误报率不稳的问题。后来把SVR（支持向量回归）也拉进来，用SVR做特征重建或趋势预测，把残差信息融合进SVDD的判断，整套方案的稳定性明显上了一个台阶。这篇把SVR-SVDD的技术拆解、Matlab实现思路和调参经验完整写出来，适合正在做无监督异常检测、手头有正常样本但没有异常样本的读者参考。

1. 项目整体设计与思路拆解

1.1 为什么纯SVDD不够用

SVDD的全称是Support Vector Data Description，核心思想一句话：在高维空间里找一个包围所有正常样本的最小超球体，测试样本落在球外就判为异常。这个思路很漂亮，对数据分布没有强假设，配合核函数还能处理非线性边界，所以在故障诊断、入侵检测、医学影像筛查里都有人用。

但实际用起来，纯SVDD有几个绕不开的问题。第一，它对特征空间的“形状”很敏感。如果正常样本本身有多个簇，或者分布呈长条形，一个超球体硬包，边界上就会留出大量“空腔”，异常样本正好掉在空腔里也判不出来。第二，SVDD只关注样本到球心的距离，这个距离是一个“全局紧致性”指标，它不关心数据内部的结构和趋势。比如设备监测数据，正常状态下往往有明确的时序规律，某个传感器读数突然偏离趋势但幅度不大，到球心的距离变化可能很小，纯SVDD就容易漏。第三，异常分数只靠距离，没有重建误差之类的“局部证据”，在噪声比较大的场景里很容易误报。

这些问题不是SVDD本身错了，而是它只刻画了“密度”和“紧致性”，缺少“可解释的重建结构”。这时候引入SVR就有明确动机了。

1.2 SVR在组合方案中的角色

SVR在这里不是用来做分类的，它承担的是“特征重建器”的角色。训练阶段只用正常样本，让SVR学习输入特征到自身或目标特征的非线性映射。测试阶段把新样本丢进去，如果它符合正常模式，SVR重建出来的结果应该和真实值非常接近，残差小；如果它偏离正常模式，重建残差会明显变大。这个“残差”就是异常检测里的局部证据，和SVDD的全局距离正好形成互补。

选择SVR而不是普通回归，是因为SVR的损失函数只惩罚超出容忍带之外的误差，对正常数据中常见的轻微波动不敏感，重建出来的模型更稳健。而且SVR和SVDD同源，都是基于支持向量的方法，核函数的处理方式、调参思路基本一致，放在同一个框架里逻辑非常顺。

1.3 两种融合策略

我试过两种融合途径，各有适用场景。

第一种是特征级拼接。用SVR对每个特征做自重建，得到一组残差特征，然后把原始特征和残差特征拼接成新的特征向量，再交给SVDD学习超球边界。这种做法的好处是SVDD能看到“原始位置+偏离趋势”两个维度的信息，对于缓慢漂移类的异常尤其有效。缺点是特征维度翻倍，核矩阵计算量变大。

第二种是决策级融合。分别用SVDD算出样本到球心的归一化距离，用SVR算出归一化重建误差，然后加权求和，得到最终异常分数：

score = lambda * svdd_dist_norm + (1 - lambda) * svr_residual_norm;

lambda 取值范围[0,1]，通过验证集上的AUC或者误报率来调。这种做法的好处是两条管道可以独立调优，某一项失效不至于拖垮整体；缺点是要多做一套调参工作，而且lambda选择不当会抵消互补优势。

我实际项目里更喜欢第二种，理由很现实：可解释性强。运维人员问“为什么报异常”时，你可以直接说“超球距离超了0.32，重建残差超了0.18，综合判定为异常”，比黑箱拼接好解释得多。

2. 核心原理与关键公式拆解

2.1 SVDD的目标函数和几何意义

SVDD要解决的是这样一个优化问题。给定正常样本集合，找一个中心为a、半径为R的超球体，让它尽可能紧凑地包住大部分正常样本，允许少量样本落在球外，但要付出惩罚代价。

数学形式是这样的：

min R^2 + C * sum_i xi_i s.t. ||phi(x_i) - a||^2 <= R^2 + xi_i xi_i >= 0

其中phi表示核函数隐式映射到高维空间，xi是松弛变量，C是惩罚系数。对偶形式引入拉格朗日乘子alpha_i之后，可以转化为一个二次规划问题。RBF核底下，决策函数可以写成：

f(z) = R^2 - ||phi(z) - a||^2

f(z)大于0说明z在球内，小于0说明落在球外。落在球边界上、对应alpha大于0的样本就是支持向量。

几何意义可以这么理解：正常数据是高维空间里的“一坨”，SVDD就是找一个最小半径的球把这坨包住，球面贴着最外围的样本。球面附近的样本决定了整体边界，这些样本就是支持向量。团队里有人戏称这是“给正常数据套一个紧身衣”，贴得越紧，灵敏度越高，但也越容易过拟合。

2.2 SVR重建残差的计算方式

我用的是epsilon-SVR，目标函数是经典的：

min 1/2 * ||w||^2 + C * sum_i (xi_i + xi*_i) s.t. y_i - (w^T * phi(x_i) + b) <= epsilon + xi_i (w^T * phi(x_i) + b) - y_i <= epsilon + xi*_i xi_i, xi*_i >= 0

训练完成后，对样本x做重建预测y_hat，残差就是：

r = ||y - y_hat||

这里有三种特征重建方式：

• 自重建：SVR以x为输入、x为目标输出，学一个恒等映射。好处是不需要额外设计目标变量，坏处是恒等映射容易退化成“什么都不学”，残差区分度差。
• 交叉重建：用一部分特征预测另一部分特征。比如设备数据里，用温度预测振动幅度，如果振动幅度偏离温度对应的正常关系，残差就大。这种方式物理意义清晰。
• 时序重建：用前几个时刻的特征预测当前时刻的特征。适合有连续监测记录的数据。

我自己的经验，自重建最容易上手，但区分度不稳定；交叉重建效果好，但需要业务知识来确定特征之间的关系。普通场景没有明确关系可挖时，可以用自重建加上PCA变换后再重建，残差效果会比直接在原始空间做更稳定。

2.3 异常分数构造的关键细节

不管用特征级还是决策级，最终都要把SVDD距离和SVR残差放在同一个量纲下。我给两条路径都做了排序归一化处理：在训练集上分别计算所有正常样本的SVDD距离和SVR残差，然后转换为百分位数。测试样本的异常分数就是它在训练集分布中的相对位置。

svdd_dist = computeSvddDistance(model_svdd, X_test); svdd_norm = getPercentile(train_svdd_dist, svdd_dist); svr_res = computeSvrResidual(model_svr, X_test); svr_norm = getPercentile(train_svr_res, svr_res);

用百分位数而不是直接除以最大值，是因为最大值容易被极端离群点带偏，归一化不稳定。百分位数本质上是经验分布映射，异常分数就是一个“在正常样本中这个点有多罕见”的概率化指标。这一点在实际工程里非常重要。

2.4 核函数到底选哪个

SVDD和SVR都需要核函数，我最常用的是RBF核，也就是高斯核：

K(x, z) = exp(-gamma * ||x - z||^2)

RBF核适用于绝大多数连续特征场景，只有一个gamma参数要调。线性核适合特征维度很高、分布本身近似超平面的场景，比如文本TF-IDF特征，但异常检测里少见。多项式核偶尔有奇效，但在高维空间容易产生剧烈波动，调参困难，不建议新手优先尝试。

顺便提一个很多人忽略的点：SVR和SVDD如果都用RBF核，它们的gamma可以不一样，不需要强行统一。SVDD的gamma控制球边界的柔性，SVR的gamma控制回归曲面的光滑程度，各自调各自的反而更好。

3. Matlab代码实战：从数据到异常判定

3.1 数据准备与标准化

Matlab里有现成的工具箱可以做二次规划求解，但SVDD没有内置函数，通常需要自己用quadprog或者optimconstr搭。我习惯先把代码拆成几个独立函数，方便复用。

第一步永远是标准化。SVDD的RBF核依赖样本间的欧氏距离，如果特征量纲不一致，量级大的特征会主导距离计算，模型实际上只看了那一个维度。要么用zscore做零均值单位方差，要么归一化到[0,1]，看业务习惯。我的建议是异常检测用zscore，因为它保留了异常点偏离正常分布的幅度信息，这对距离类方法更友好。

X_train = zscore(X_train); X_test = zscore(X_test, [], 1); % 注意用训练集的均值方差

这里有个新手常犯的错：测试集标准化时用了测试集自己的均值和方差，导致分布偏移。正确做法是把训练集的均值和方差存下来，应用到测试集上。这是数据泄露的一种隐蔽形式。

3.2 用quadprog实现SVDD核心求解

SVDD的Matlab实现核心是转化成对偶二次规划问题。对偶形式是：

min alpha' * K * alpha - diag(K)' * alpha s.t. alpha_i >= 0 sum(alpha_i) = 1

约束是线性等式，要求alpha分量大于等于0，可以用quadprog求解。写成函数就是下面这步：

function model = svdd_train(X, kernel_sigma, C) n = size(X, 1); K = computeRBFKernel(X, X, kernel_sigma); H = 2 * K; f = -diag(K); Aeq = ones(1, n); beq = 1; lb = zeros(n, 1); ub = C * ones(n, 1); options = optimoptions('quadprog', 'Display', 'off'); alpha = quadprog(H, f, [], [], Aeq, beq, lb, ub, [], options); model.alpha = alpha; model.X = X; model.sigma = kernel_sigma; model.C = C; % 计算球心，理论上球心是 alpha 的线性组合 % 实际判断新样本只需用核函数，不需要显式求球心 end

C的物理意义是球外样本的惩罚上限，取1表示alpha最大为1，对应纯硬边界；取0到1之间表示允许一定比例的训练样本落在球外。实际调参中C并不会单独设得很小，更多靠gamma配合。

计算测试样本到球心距离平方的公式是：

dist2(z) = K(z,z) - 2 * sum_i alpha_i * K(z, x_i) + sum_i sum_j alpha_i alpha_j K(x_i, x_j)

写成Matlab循环会慢，建议直接用矩阵运算：

function dist2 = svdd_dist2(model, Z) Kzz = computeRBFKernel(Z, Z, model.sigma); Kzx = computeRBFKernel(Z, model.X, model.sigma); Kxx = computeRBFKernel(model.X, model.X, model.sigma); alpha = model.alpha; dist2 = diag(Kzz) - 2 * (Kzx * alpha) + alpha' * Kxx * alpha; end

我自己测试过，稳定性和libsvm的one-class结果基本一致，差别仅在二次规划求解器的精度上。

3.3 SVR模型训练与残差统计

Matlab自带的fitrsvm可以直接用，RBF核、标准化、交叉验证都封装好了。训练和预测的代码非常简单：

mdl_svr = fitrsvm(X_train, X_train, ... 'KernelFunction', 'rbf', ... 'KernelScale', 'auto', ... 'Standardize', false, ... 'Epsilon', 0.1, ... 'CrossValidat? ');

注意这里训练集既作输入又作输出，做的是自重建。KernelScale设为auto是让Matlab自己估计一个初始gamma，省事，但大型数据集上不一定准，建议后面用网格搜索覆盖。

训练完成后，对训练集算出残差向量，利用prctile获取分位数：

train_res = abs(X_train - predict(mdl_svr, X_train)); train_res_dist = vecnorm(train_res, 2, 2); % 每个样本的二范数残差 test_pred = predict(mdl_svr, X_test); test_res_dist = vecnorm(X_test - test_pred, 2, 2);

SVR的epsilon参数要重点说。epsilon设得越小，回归曲线越贴近训练样本，正常样本的残差会很小，但测试时稍微有点噪声就会被判异常；epsilon设得越大，模型越“钝”，残差区分度下降，但抗噪能力强。经验上取特征标准差的0.01到0.1倍起步，然后结合交叉验证微调。

3.4 融合判定与阈值确定

训练集上拿到两个异常分数之后，我用百分位映射生成融合分数：

train_score_combined = lambda * train_svdd_norm + (1 - lambda) * train_svr_norm;

阈值设置为融合分数的95%分位数，测试样本超过阈值判为异常。这个95%是经验起点，实际要根据业务允许的误报率来调整。如果监控指标要求低误报，可以放高到99%；如果要求高召回，可以降到90%。

阈值选定之后要保存下来，上线预测时直接查表。很多人每次运行都重新训练、重新算阈值，导致线上判定不稳定，这是流程问题不是算法问题。

threshold = prctile(train_score_combined, 95); is_outlier = test_score_combined > threshold;

3.5 完整流程脚本示范

把整个流程串起来大概是下面这些步骤。我把核心代码整理成一个函数，方便直接在数据集上跑出异常分数和可视化结果。

function [score, is_outlier, model] = svr_svdd_detect(X_train, X_test, opts) arguments X_train double X_test double opts.sigma double = 1 opts.C double = 0.1 opts.lambda double = 0.5 opts.threshold_pct double = 95 end % 标准化 mu = mean(X_train, 1); sig = std(X_train, [], 1); Xtr = (X_train - mu) ./ sig; Xte = (X_test - mu) ./ sig; % SVDD svdd_model = svdd_train(Xtr, opts.sigma, opts.C); train_svdd = svdd_dist2(svdd_model, Xtr); test_svdd = svdd_dist2(svdd_model, Xte); % SVR 自重建 svr_model = fitrsvm(Xtr, Xtr, ... 'KernelFunction', 'rbf', ... 'KernelScale', opts.sigma, ... 'Epsilon', 0.1, ... 'Standardize', false); train_res = vecnorm(Xtr - predict(svr_model, Xtr), 2, 2); test_res = vecnorm(Xte - predict(svr_model, Xte), 2, 2); % 百分位归一化 train_svdd_norm = tiedrank(train_svdd) / numel(train_svdd); train_res_norm = tiedrank(train_res) / numel(train_res); test_svdd_norm = interp1(sort(train_svdd), train_svdd_norm, test_svdd, 'linear', 'extrap'); test_res_norm = interp1(sort(train_res), train_res_norm, test_res, 'linear', 'extrap'); % 融合 train_score = opts.lambda * train_svdd_norm + (1 - opts.lambda) * train_res_norm; test_score = opts.lambda * test_svdd_norm + (1 - opts.lambda) * test_res_norm; threshold = prctile(train_score, opts.threshold_pct); is_outlier = test_score > threshold; score = test_score; model = struct('svdd', svdd_model, 'svr', svr_model, 'threshold', threshold); end

这里用tiedrank和interp1做百分位映射，比prctile更通用，能处理测试样本分数超过训练集范围的情况。

4. 参数调优与实验评估

4.1 关键参数含义速查

SVR-SVDD涉及的参数比普通分类器多，不梳理清楚很容易陷入“调了A就坏B”的循环。我自己总结了一份参数速查表，每次调参前先过一遍。

gamma在SVDD里和RBF核的不敏感度严格相关：gamma越大，样本间距离衰减越快，每个样本只影响周围很小区域，模型容易在单个样本附近形成“孤岛”；gamma越小，所有样本互相影响，球面越来越平滑，边界越来越松，异常检测灵敏度下降。网格搜索时建议用对数刻度，步长乘以3或除以3。

4.2 基于AUC的网格搜索

没有真实异常标签时，参数搜索靠什么评价？两个思路。一是人工注入异常——把正常样本做随机扰动或漂移，构造合成异常集，然后按AUC来筛参数；二是在有少量历史异常事件的场景里，直接用真实异常样本做验证。不管哪种，目标函数都可以定义为AUC或F1。

Matlab里可以用categorical和perfcurve算AUC。简化版网格搜索如下：

lambda_list = 0.2:0.2:0.8; sigma_list = logspace(-2, 1, 8); auc_best = 0; for lam = lambda_list for sig = sigma_list [score, ~] = svr_svdd_detect(X_train, X_test, ... 'sigma', sig, 'C', 0.1, 'lambda', lam); [~, ~, ~, auc] = perfcurve(y_test, score, 1); if auc > auc_best auc_best = auc; best_params = [lam, sig]; end end end

注意这里C我没放进网格，原因是C在SVDD对偶问题里的作用是给alpha设上限，它影响的是“球外容忍样本比例”，在无监督场景里C本身就和“假定的异常比例”挂钩。如果数据集比较干净，C可以设大一点比如0.1；如果怀疑数据里混了少量异常，C要调小一点，典型值0.05。先固定C，再搜gamma和lambda，能少一个维度的搜索量。

4.3 评估指标别只看准确率

异常检测场景类别极度不平衡，假设异常只占1%，全predict成正常也有99%的准确率，所以准确率没有参考价值。核心指标是AUC、召回率（异常样本检出率）和误报率（正常样本判异常的比例）。有异常标签时用ROC曲线和PR曲线都看一遍，没有标签时至少要做合成异常验证。

还有一个容易被忽略的稳定性指标：在多次随机划分训练集后，判定结果会不会剧烈变化。SVDD这类无监督方法对训练集样本很敏感，两次训练出来的阈值可能差20%。如果做实验发现差异过大，说明模型不稳定，优先考虑增加训练样本或降低gamma值。

5. 常见问题与排查技巧实录

5.1 训练集里混了异常样本怎么办

无监督SVDD最怕的就是正常数据里混进了测试阶段才该被发现的异常。如果混入比例不高，影响不大；如果比例超过5%，球心会被拉向异常方向，边界会变形。

处理方法有几个。第一，训练前先做一个快速粗筛，比如用MAD（绝对中位差）剔除各维度的极端离群样本。第二，把C设小一点，允许部分训练样本落在球外，SVDD自动忽略它们。第三，如果是特征拼接方案，可以先用SVR重建残差做一个排序，把残差最大的前5%样本先删掉再训练。

我实际碰到过一个案例，数据收集阶段传感器有一段不稳定输出，导致训练集里好多毛刺样本。直接用SVDD训练，测试时毛刺全被当成正常样本。后来加了MAD粗筛，效果立竿见影。

5.2 RBF核矩阵出现奇异或数值不稳定

样本量大的时候，RBF核矩阵接近奇异会很常见，尤其是gamma设得比较小、样本间距离普遍很小时。表现出来就是quadprog报错或alpha分布极端。

解决办法不复杂：给核矩阵对角线加一个很小的正则项，比如1e-8。这个操作在数学上等价于给变量加一点二次正则，几乎不影响模型输出，但能数值上避免奇异。

K = K + 1e-8 * eye(n);

另一个技巧是核矩阵所有元素先做一次全局缩放，让最大值为1，能进一步稳定求解。

5.3 阈值漂移导致线上误报率突增

模型上线后，环境本身有缓慢变化，比如设备老化、季节温度变化，正常分布整体偏移，原来定的95%分位数阈值会慢慢变得不合适。这不是模型坏了，是分布变化了。

工程上解决思路是定期用最新一段时间的正常数据重算阈值，或者维护一个滑动的分位数缓存。每次预测完成后，把判定为正常的样本存入经验池，当经验池样本达到一定数量，用滚动方式更新阈值。注意不能把判异常的样本也流入经验池，否则污染会越滚越大。

5.4 二次规划求解太慢，样本量一大就跑不动

如果训练集超过几万条，直接用quadprog求解SVDD对偶问题会非常慢，因为核矩阵是N乘N的。这时候有几个降级方案。

一是随机抽样一部分正常样本来训练，代价是边界精度降低，但可接受。二是用分块训练，把数据切成多个块分别学SVDD，然后决策时对所有子模型投票或融合距离。三是换思路，直接用fitcsvm里的OneClassSVM跑，它本质上就是SVDD的另一种实现，Matlab内部做了大量优化，速度快很多。我在样本超过2万时基本都会切到OneClassSVM，准确率差别很小。

5.5 特征维度高+SVR自重建退化

特征维度很高（比如几百维）时，SVR做自重建特别容易退化成“线性恒等”，就是它学出来的映射接近单位阵，残差接近0，区分不出异常。原因是高维空间里信息冗余多，拟合目标太容易达成。

这时候有个简单变体很有效：先用PCA把特征降到20维以内，然后训练SVR做“降维后重建”，残差计算也在降维空间进行。PCA压缩了冗余信息，SVR被迫学习更有结构性的映射，重建残差的区分度反而上升。SVDD那一路仍然用原始特征空间，保留全局距离信息，相当于两路信息不重复。

6. 项目复盘与实践心得

6.1 在真实场景中验证融合方案的经验

我做过一个模拟的设备状态监测实验，数据来自若干个传感器通道，正常状态数据比较充足，异常数据只挑了一小部分用于验证。单独用SVDD在测试集上AUC能到0.86左右，但误报率偏高；单独用SVR重建残差做判断，AUC在0.82左右，漏报多一些。两者做决策级融合后，AUC提升到0.93，误报率下降了三分之一左右。

这个提升幅度比我想象的要大，原因是SVDD和SVR的错误模式刚好错开：SVDD漏掉的那些“趋势偏移但距离不太远”的样本，SVR残差特别大；SVR漏掉的“分布整体漂移”样本，SVDD距离又很敏感。互补性不是巧合，而是两个模型分别刻画了数据的不同侧面。

融合权重lambda在这个实验里最优值是0.6，意味着SVDD距离还是主力，SVR残差作为补充。有个值得注意的现象：lambda在0.4到0.8之间，AUC变化不大，说明模型对融合权重不敏感。实际项目里不一定要死磕最优lambda，选一个中间值比如0.5，配合阈值调整往往就够了。

6.2 一个小技巧：用可视化先看边界再谈指标

我强烈建议参数调优之前先把训练样本和SVDD决策边界的可视化图画出来看一遍。二维数据可以直接画等高线，高维数据可以先做PCA降到二维再画。这一步只需要十几分钟，但能省下大量的盲目调参时间。看到边界形状诡异，比如一个样本一个球、或者边界把所有样本都包在表面附近，就知道gamma方向调错了，根本不用跑AUC。

我的习惯是先把gamma设成特征个数分之一的经验值，画图看边界，然后根据边界形状调整一到两个数量级，再跑网格搜索。这套流程不稳不会错，强烈推荐。

6.3 什么情况下别用SVR-SVDD

不是所有异常检测问题都适合这个组合。如果数据本身是纯表格、异常形态就是简单的取值偏离，直接用OneClassSVM或者孤立森林可能又快又好，没必要引入SVR增加复杂度。如果数据没有明显结构可挖，SVR重建残差大概率是噪声，融合后不仅不提升反而可能拖后腿。

反过来，如果数据有明确的时序关联、特征间有物理约束关系，比如设备工况、传感器联动、用户行为序列，SVR-SVDD的价值就非常明显。判断标准很简单：拿到数据先问自己一句，“正常样本之间有没有一种可预测的结构？”有，SVR值得加；没有，别硬加。

最后再分享一个实操层面的小经验：Matlab代码调试阶段，尽量先用小样本集跑通整个流程，再放大到全量数据。二次规划求解慢、核矩阵内存大这些问题在小样本上不暴露，但真到全量数据跑挂了再回头查流程会非常痛苦。先用500个样本把阈值、可视化、指标全部验证一遍，再上全量，稳得多。