简介面向具备一定Python编程基础并熟悉数据处理与机器学习算法的科研人员以及电力系统和工业控制安全方向的研究生、工程师该资源围绕多源数据融合技术给出针对电力系统网络入侵的检测方案。方案覆盖数据预处理、特征提取、融合算法设计与入侵检测模型构建等核心环节强调通过不同传感器异构数据的协同分析来提高异常识别精度和系统鲁棒性。资源包仅有1个docx文档大小约77KB正文含Python代码实现与关键逻辑说明便于读者逐模块复现和调优。文档并非简单堆砌代码而是提供从数据到模型的方法链能为关键基础设施安全监控、物联网安全等研究提供落地参考。目前已有31人学习下载适合希望在真实或仿真数据上测试融合策略、进一步优化多源协同机制的人员。1. 多传感器融合为什么是电力系统网络入侵检测的刚需如果你在电力监控系统或变电站自动化现场待过会发现一个尴尬局面网络侧的入侵告警和物理侧的遥测数据是两拨人在看值班员盯着告警窗运检人员盯着SCADA画面两边很难对上话。更麻烦的是多数针对电力系统的网络入侵最终都会落在物理量异常上比如频率偏移、电压跌落、潮流突变可等这些量变明显时设备已经受了影响而只看网络报文又容易淹没在海量日志里攻击者一旦走的是合法协议通道报文层面几乎没有识别度。多传感器融合要解决的就是这个信息孤岛问题把网络侧数据和物理侧数据按时间轴对齐用一个决策框架互相印证把单源检测漏掉的那部分入侵捞回来。下面的内容用一个Python可复现的最小闭环讲清楚多源数据融合怎么做、时间窗和权重怎么定、坑在哪里。2. 多源融合在电力入侵检测的三种实现层级数据级、特征级与决策级2.1 数据级融合把SCADA遥测和网络日志对齐到同一时间轴数据级融合是所有融合方案里最容易被低估的一步。很多人以为把两份数据拼在一起就是融合实际上连最基本的对齐都没做到。采集终端过来的遥测数据通常是秒级或者毫秒级的连续序列而入侵检测系统上报的日志往往是不规则的事件流比如某台交换机在某个时刻断开了、某条认证报文重试了三次。要把这两种数据放进同一个计算流程必须先解决时间戳统一的问题。我一般会先做一个标准化的原始数据层把SCADA遥测按秒级网格重采样把网络日志按事件发生时间落入同一条时间轴。重采样不是简单取平均值要看物理量特性。频率、电压这类缓变量适合用末值填充因为秒级间隔内变化不大功率、潮流这类波动大的量用窗口均值更稳能压掉偶发的尖峰噪声。网络侧事件则需要先做聚合比如按秒统计认证失败次数、按秒统计异常报文数转成和遥测同密度的计数序列。这一步做完融合的数据基础才成立。数据级融合的价值在于所有后续的特征工程和模型输入都基于同一个时间索引不会出现窗口错位导致的“幽灵特征”。它的代价也很明显强行对齐会丢失一部分信息特别是高频抖动信息而且网络事件稀疏时大多数时间窗里计数都是零数据分布会严重偏斜需要在特征层单独处理这类稀疏分量。2.2 特征级融合拼接特征向量的两种常见做法特征级融合是实际项目里用得最多的一层。做法很直接从物理侧和网络侧分别提取统计特征然后把它们拼成一条长向量交给同一个模型去拟合。以电力入侵检测为例物理侧特征可以取频率均值和方差、电压跌落幅度、功率变化率网络侧特征可以取认证失败次数、流量突发强度、协议异常占比。拼起来之后模型看到的不再是两个孤立视图而是同一个时间窗内两侧状态同时变化的联合分布。另一种做法是分源建模后做特征交互也就是每个数据源先各自过一个轻量编码器把高维原始数据压成低维语义向量再把两个向量拼接或做元素级乘积后送进检测模型。这个做法的好处是能捕捉跨源交叉特征比如“认证失败次数上升的同时频率偏差也在扩大”这种联合模式比单侧统计量更能指向真实的入侵行为。但因为电力现场通常缺少大规模标注数据这类交互特征容易过拟合我需要配合正则化和交叉验证去控制复杂度。特征融合里最容易翻车的地方是量纲和分布差异。电压的数值动辄两百多频率只有五十上下如果直接拼接距离类算法会把电压分量当成主导频率上的异常模式完全被淹没。所以特征级融合前必须做标准化而且要分源标准化不能把两个源放在同一个scaler里算否则物理量的统计特性会污染网络侧特征的分布形态。2.3 决策级融合多模型投票与后验概率加权决策级融合的思路和前面两层完全不同。它不是把数据合起来训练一个模型而是让每个数据源先独立跑自己的检测器每个检测器输出一个风险得分或者类别判定再用一套融合规则把多个判定合成最终结论。这么做的好处是解耦物理侧检测器只需要懂电气量网络侧检测器只需要懂报文特征各自维护各自的模型不互相干扰出问题时也能单独排查。常见的合成规则有两种。第一种是硬投票各检测器输出-1或1按少数服从多数决定最终是否告警。第二种是软融合把各检测器的异常得分归一化到0到1之间再按权重加权求和超过阈值就告警。软融合更实用因为它保留了置信度信息——一个检测器给出0.9的强异常另一个给出0.55的微弱异常加权相加得到的结果比简单多数投票更有梯度也方便后续接入告警分级。决策级融合还有一个隐藏优势对模型漂移更鲁棒。电网的工况会随着负荷变化、新能源接入而整体漂移如果只有一个融合模型物理量基线一变整个检测都会跟着失效而决策级融合下只要网络侧检测器不受影响它仍然能在物理侧暂时失明时提供有效告警给运维人员争取排查时间。这也是我在现场更推荐先用决策级融合的原因它给系统留了冗余。3. 用Python跑通最小闭环从多源数据构造到融合检测3.1 构造模拟多源数据电网遥测与网络告警合成没有现成的公开数据集时我会先用合成数据把流程跑通。合成数据的关键是让正常态和攻击态在物理量与网络量上都留下可辨识的痕迹并且攻击窗口要重叠因为多源融合的意义就在于两个源同时出现异动时告警置信度最高。下面这段代码生成600秒的仿真数据物理侧是频率和电压网络侧是认证失败次数和流量突发强度攻击注入在第300到360秒。import numpy as np import pandas as pd np.random.seed(42) # 生成600秒仿真时间轴采样间隔1秒 t pd.date_range(2024-01-01 00:00:00, periods600, freq1s) # 物理侧频率在50Hz附近波动电压在220V附近波动 frequency 50.0 np.random.normal(0, 0.03, len(t)) voltage 220.0 np.random.normal(0, 2.0, len(t)) # 网络侧认证失败次数服从泊松分布流量突发强度带噪声 auth_fail np.random.poisson(lam0.3, sizelen(t)) traffic_spike np.random.normal(0, 0.5, sizelen(t)) 5.0 # 攻击窗口第300到360秒两侧同时注入异常痕迹 attack_slice slice(300, 360) frequency[attack_slice] 0.25 # 频率偏差抬高 voltage[attack_slice] - 12.0 # 电压跌落 auth_fail[attack_slice] 6 # 认证失败突增 traffic_spike[attack_slice] 1.5 # 流量突发加剧 df pd.DataFrame({ freq: frequency, volt: voltage, auth_fail: auth_fail, traffic_spike: traffic_spike }, indext) # 打标签攻击窗口内为1 df[label] 0 df.loc[2024-01-01 00:05:00:2024-01-01 00:05:59, label] 1代码逻辑不复杂但有几个参数值得说清楚。频率噪声标准差设成0.03是为了模拟正常状态下电网频率的微小波动电压噪声标准差2.0对应现场常见的负荷波动幅度。攻击注入的幅度是设计重点频率偏移0.25Hz在真实电网里已经属于明显异常电压跌落12V接近百分之五这两个数值不能设太大否则融合模型不用学都能靠单源发现验证不出融合的价值。我一般会让单源检测器对攻击只有中等敏感度这样融合后的提升才能被量化出来。3.2 窗口特征构造与孤立森林打分原始数据是逐秒序列直接送进模型几乎没有意义需要先构造滑动窗口特征。窗口长度决定了模型观察的时间跨度太长会拖慢告警时效太短则统计特征波动太大。这里以10秒窗口、5秒步长为例在每个窗口内计算四个通道的均值和标准差得到一个八维特征向量这一步就是典型的特征级融合物理侧和网络侧的数据被压缩进同一条特征行。from sklearn.ensemble import IsolationForest # 窗口特征构造10秒窗口5秒步长 def window_features(df, win10, step5): rows [] for start in range(0, len(df) - win 1, step): seg df.iloc[start:start win] row {} for col in [freq, volt, auth_fail, traffic_spike]: row[f{col}_mean] seg[col].mean() row[f{col}_std] seg[col].std() row[win_start] start row[label] int(df[label].iloc[start:start win].max()) rows.append(row) return pd.DataFrame(rows) feat window_features(df, win10, step5) X feat.drop(columns[win_start, label]) # 孤立森林对融合后的特征矩阵做无监督异常检测 model IsolationForest(contamination0.1, random_state42) model.fit(X) feat[score] model.score_samples(X) # 分数越高代表越正常 feat[pred] model.predict(X) # 1为正常-1为异常构造窗口时标签取窗口内的最大值这样只要窗口覆盖了攻击起始点该窗口就被视为攻击窗口符合告警场景的逻辑。contamination参数表示数据集中异常点的预期比例这里设0.1对应仿真数据中攻击窗口占比。实际使用时这个参数不能拍脑袋定要根据历史告警统计或验证集表现去反推设得太大会疯狂误报设得太小则漏报明显。这段代码里最容易忽略的是score_samples和predict的区别。predict返回的是离散的-1和1适合看一眼结果真正做软融合时必须用score_samples拿到连续分数否则决策级融合会丢失置信度信息。我在现场调试时也经常踩这个后面单独讲。3.3 决策级融合多基学习器加权投票示例特征级融合跑通之后可以进一步做决策级融合。核心思想是让物理侧和网络侧各跑一个独立检测器再拉上一个融合侧检测器作为补充最后加权合成。下面的代码把特征矩阵拆成物理特征和网络特征分别训练孤立森林再用一个支持向量机吃部分关键特征最后把三个模型的连续得分加权平均。from sklearn.svm import OneClassSVM # 拆分为物理侧与网络侧特征 phys_cols [freq_mean, freq_std, volt_mean, volt_std] net_cols [auth_fail_mean, auth_fail_std, traffic_spike_mean, traffic_spike_std] X_phys feat[phys_cols] X_net feat[net_cols] X_fuse feat[[freq_mean, volt_mean, auth_fail_mean]] # 三个基检测器两个单源一个跨源 iso_phys IsolationForest(contamination0.1, random_state1).fit(X_phys) iso_net IsolationForest(contamination0.1, random_state2).fit(X_net) svm_fuse OneClassSVM(nu0.1).fit(X_fuse) # 拿到连续异常得分 score_phys iso_phys.score_samples(X_phys) score_net iso_net.score_samples(X_net) score_svm svm_fuse.score_samples(X_fuse) # 归一化到[0,1]1为异常0为正常 def normalize_score(s): s (s - s.min()) / (s.max() - s.min() 1e-9) return 1 - s p_phys normalize_score(score_phys) p_net normalize_score(score_net) p_svm normalize_score(score_svm) # 加权融合 weights np.array([0.3, 0.4, 0.3]) fusion weights[0] * p_phys weights[1] * p_net weights[2] * p_svm feat[fusion_score] fusion三个基模型的权重设计体现的是对数据源的信任程度。网络侧特征的维度更多、攻击痕迹更直接我给了0.4物理侧虽然能反映最终影响但容易受负荷波动干扰给0.3跨源SVM只有三个特征定位为辅助视角也给0.3。归一化这一步特别重要因为三个模型的score_samples分布差异很大孤立森林的得分是负的支持向量机的得分也不在同一量纲不归一化直接加权权重设置就完全失效了。4. 融合检测的参数怎么设时间窗、权重与阈值4.1 时间窗对齐参数窗口长度与滑动步长的取值依据多源融合里最难调的不是模型而是时间参数。窗口长度决定了一次判断能看到多长的历史直接影响告警的时效性和稳定性。窗口太短比如只有3秒正常波动也会被放大成异常因为统计量样本太少窗口太长比如60秒攻击已经生效了一分钟告警出来已经没有任何处置价值。我一般会根据攻击的典型持续时间来定中等时长的攻击窗口取10到30秒步长取窗口长度的四分之一到二分之一。滑动步长影响的是计算密度和资源开销。步长越小相邻窗口重叠越多告警输出的时间分辨率越高但同一段数据会被重复计算特征构造耗时线性上涨。电力监控现场的采集终端性能有限我通常把步长设成窗口的一半既保证了相邻窗口特征之间的连续性又不至于浪费算力。下表是我在多次实验里的经验值供参考参数建议取值范围取值依据窗口长度10~30秒覆盖典型攻击持续时间留存足够统计样本滑动步长窗口长度的1/4~1/2平衡输出分辨率与计算开销异常比例0.05~0.15根据历史告警占比反推不拍脑袋归一化方式分源标准化防止电压等大量纲特征主导距离计算还有一点容易被忽略物理侧和网络侧如果采样率不同特征构造前要先统一时间网格。常见做法是把网络侧事件聚合到遥测的采样间隔上聚合函数要选对计数类用求和速率类用均值否则会出现某一侧特征忽大忽小的抖动。4.2 融合权重与阈值用带标签数据快速标定权重和阈值是融合检测落地前必须标定的两个参数。权重代表对每个数据源的信任度阈值代表最终融合得分在什么水平上触发告警。没有历史标签数据时可以用专家经验初设比如网络侧权重高一点、物理侧低一点但正式上线前一定要用带标签的历史数据重新标定。最直接的方法是给每个数据源单独算一个AUC看它在历史入侵样本上的区分能力区分能力强的源给更高权重。另一个实用方法是网格搜索枚举权重候选组合和阈值候选列表在验证集上同时最小化漏报率和误报率。下面这段代码演示了阈值的标定过程核心是按融合得分的分位数来选取阈值而不是直接拍一个固定值。# 用正常样本的得分分布来标定阈值 normal_scores feat.loc[feat[label] 0, fusion_score] attack_scores feat.loc[feat[label] 1, fusion_score] # 取正常样本的95分位数作为初始阈值 threshold np.percentile(normal_scores, 95) print(f初始阈值: {threshold:.4f}) # 看该阈值下的检测性能 detect_rate (attack_scores threshold).mean() false_rate (normal_scores threshold).mean() print(f攻击检出率: {detect_rate:.2%}, 正常误报率: {false_rate:.2%})以正常样本的95分位数为起点再根据误报率往回调。如果误报率太高就把分位数提到97或98牺牲一点检出率换值班员的耐心如果检出率不够就降到90接受更多误报。标定阈值时有一个心态要摆正阈值本身不是越灵敏越好电力调度现场最怕的是告警风暴一次没检测到攻击的损失远小于一百条无关告警让值班员直接屏蔽告警窗口的损失。我在现场一般会把阈值压到误报率低于百分之二的位置宁可漏掉弱信号也要保住告警的可信度。5. 避坑指南电力多源融合常见的5个踩坑记录5.1 时间泄漏融合窗口把未来数据卷了进来现象模型在离线回测时检出率极高误报率也很漂亮但部署到现场后表现大幅缩水告警普遍延迟十几秒甚至窗口内包含攻击却报不出来。 原因特征构造时用到了整段数据的信息比如先对全序列做标准化再切窗口或者窗口特征里包含了当前时刻之后的数据。离线回测时未来信息被当成了特征模型学到的根本不是时序因果规律。 解决严格按时间序划分训练集和测试集所有标准化参数只用训练集拟合特征构造只用窗口内截止到当前时刻的数据不允许多看一秒。现场部署时还要注意缓存状态确保窗口数据是流式累积的。5.2 量纲不均电压分量把融合模型带偏现象特征融合模型训出来之后单独看异常样本的特征贡献度发现电压相关特征的权重远大于频率和网络特征攻击样本和正常样本的得分差异几乎全由电压一个维度决定。 原因电压数值在220附近波动频率在50附近认证失败次数甚至只有个位数距离类算法天然偏向数值大的维度。 解决分源标准化每个数据源内部单独减去均值除以标准差而不是所有特征共用一个scaler。标准化后还要复查一遍特征分布确认每个源对融合结果的贡献大致均衡再去调融合权重。5.3 时间戳错位网络日志和遥测的时钟源不一致现象融合得分在攻击窗口附近出现双峰一个峰在攻击开始前一个峰在攻击结束后看起来像是模型在预知攻击或者延迟响应。 原因变电站里的遥测终端和网络日志采集器走的是两套时钟偏差可能达到几十秒。数据融合没察觉这个问题把两个源的窗口错位对齐导致网络侧的攻击痕迹被算进了前一个窗口物理侧的异常又落进了后一个窗口。 解决在数据接入层强制做时钟校准所有源统一转成UTC时间戳再按统一时间轴对齐。时间偏差超过容忍范围的数据先告警不参与融合。5.4 误报集中爆发阈值一刀切导致告警风暴现象阈值调低后正常工况下某个时段频繁告警比如中午负荷攀升阶段融合得分连续几分钟超过阈值值班员开始屏蔽告警。 原因阈值是用整体数据分布标定的没有考虑电网的日内工况周期。负荷高峰期的电压波动本来就比深夜大一个全局阈值会在这段时间集中触发误报。 解决按工况分段标定阈值区分高峰时段和低谷时段或者引入自适应阈值让阈值跟随当前时段的统计基线动态调整。告警输出再加一个确认机制连续多个窗口超阈值才置为有效告警单独一个窗口的尖峰先降级为提示。5.5 模型漂移现场工况一变融合模型集体失效现象融合模型上线后前几个月表现稳定某一天开始误报率明显上升但现场没有发生任何安全事件设备运行也正常。 原因电网运行方式发生了变化比如新增了一路新能源馈线或者负荷结构季节性调整导致物理量基线整体移动。原有的无监督模型还在用旧基线判断自然把新工况当作异常。 解决对物理侧特征做分布漂移监测周期性计算与新数据的分布距离超过阈值就触发模型重训。决策级融合的基模型各自保留只重训漂移的那一路保留其他路作为稳定兜底。6. 从Demo到现场融合检测的验证方法与进阶技巧验证多源融合究竟有没有价值不能只看最终检出率一个指标。我会先跑三组对比只用物理侧特征、只用网络侧特征、两源融合在相同测试集上分别计算准确率、召回率和误报率。如果融合结果相比两个单源没有明显优势问题多半出在特征构造或时间对齐上而不是融合本身。另一个关键验证维度是攻击窗口的定位精度。融合检测不仅要说“出事了”还要尽量说清楚“大概从哪一秒开始的”。我习惯把融合得分和真实攻击窗口画在一条时间轴上人工观察得分上升的延迟时间这个延迟在十分钟以上就不可接受。模型层面的进阶技巧是给每个基检测器加一个可靠性系数在线的每一条告警会反哺更新系数让融合权重跟着现场环境缓慢变化。物理量特征里还可以加入相角差、负序分量等更专业的电气量网络侧则可以加入协议深度解析特征这些都会显著提升融合检测的区分度。做多传感器融合这几年最大的教训是融合不是模型算法堆出来的是数据对齐和对齐之后的耐心调参堆出来的。时间窗口差几秒误报和漏报的结果就会完全不同权重标定偷懒告警风暴就会替你值班。先把数据对齐和参数标定这两件事做到位再谈算法方向才不会跑偏。希望帮到你。本文还有配套的精品资源点击获取