简介一份基于机器学习的入侵检测系统完整源码与说明文档面向网络安全初学者、算法学习者以及需要快速搭建入侵检测原型的技术人员资源从数据预处理到特征提取再到SVM分类与网络数据嗅探形成一套可运行的示例流程能够帮助理解机器学习在异常流量识别中的落地方式。压缩包内共19个文件以代码和配置为主包括Python实现的数据处理、Sniffer抓包与SVM训练脚本以及XML工程配置、Git忽略规则、IDE模块文件和Markdown说明文档整体大小仅10KB结构清晰便于按需查看。目前已有349人学习下载适合作为课程设计或入门实践的参考。资源附有README说明文件方便快速了解项目结构与运行方式代码模块划分明确可在此基础上扩展特征或替换算法用于进一步实验。整体来看这份资源体量虽小却覆盖从数据采集到模型评估的完整环节适合快速上手并作为后续研究基线。1. 基于机器学习的入侵检测系统规则库越换越勤模型反而越用越稳做过安全运营的人都有一种感觉基于机器学习的入侵检测系统听起来很“重”但真正让你深夜爬起来调规则的往往还是那些漏报的变种流量。规则库要跟着攻击手法不停改改完还要担心误杀而机器学习检测的核心优势在于它不靠“这条流量长得像不像已知攻击”而是靠“这条流量在统计分布上离历史流量远不远”。这正是它能在小样本、新变体场景下比纯规则库更稳的原因。这篇笔记适合想把手里的流量数据或公开入侵检测数据集变成可运行检测模型的一线工程师也适合刚接触机器学习、想找一个完整落地流程当练习项目的人。我会把数据处理、模型训练、接口封装到最后的调优技巧整套讲清楚源码包里的说明文档一般只写结论真正让你少走弯路的细节都在后面几章里。2. 数据是第一个黑匣子NSL-KDD 预处理和特征工程怎么落地2.1 从数据集中先定位 41 个特征和标签别急着训练入侵检测领域最常用的入门数据集是 NSL-KDD它是 KDD Cup 99 的去重优化版。拿到这份数据你首先要建立一种意识机器学习的落地流程里数据处理比模型选型更早决定成败数据长什么样直接决定后面所有步骤的上限。先用 pandas 把训练集和测试集读进来这一步除了确认字段数量还要确认标签分布。NSL-KDD 每条记录包含 41 个特征和 1 个标签标签分为 normal 和 attack 两大类。攻击类型具体有 DoS、Probe、R2L、U2R 几类但你做二分类检测时只需要保留 normal 和 attack 两个取值这样问题更集中。import pandas as pd cols [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] train_df pd.read_csv(KDDTrain.txt, headerNone, namescols) test_df pd.read_csv(KDDTest.txt, headerNone, namescols) print(train_df.shape, test_df.shape) print(train_df[label].value_counts())这段代码的作用是显式地给每一列命名。NSL-KDD 原始文件没有表头如果你不指定列名后面做特征选择、保存模型和对接在线流量时所有索引都会错位这是很多人在推理阶段才发现的隐患。label列在后面会被映射成二分类建议训练前先打印一下分布确认正负样本比例。41 个特征可以按语义分成四组连接基本属性协议类型、服务类型、字节数、连接内容特征登录失败次数、root shell 状态等、基于时间的流量统计过去 2 秒内相同目的主机的连接数等、基于主机的流量统计过去 100 条连接中的统计值。理解分组比记住每个字段名更重要因为它决定了你对特征做归一化时是按列做还是按组做。2.2 数值化、归一化与重采样把字符型协议特征变成模型能吃的矩阵标签只有 normal 和 attack 两类。把标签映射成 0 和 1再把三个字符型特征protocol_type、service、flag转换成数值。这里有一个很多入门项目踩过的坑直接用pd.get_dummies会把一列拆成几十列而test_df里的service取值可能比train_df多训练和推理的特征维度对不上。from sklearn.preprocessing import LabelEncoder # 把标签映射成二分类 train_df[label] train_df[label].apply(lambda x: 0 if x normal else 1) test_df[label] test_df[label].apply(lambda x: 0 if x normal else 1) # 对三个字符型特征统一编码 encoders {} for col in [protocol_type, service, flag]: le LabelEncoder() # 先合并 fit避免测试集出现训练集里没见过的取值 le.fit(pd.concat([train_df[col], test_df[col]], axis0).astype(str)) train_df[col] le.transform(train_df[col].astype(str)) test_df[col] le.transform(test_df[col].astype(str)) encoders[col] le逻辑说明这里不使用独热编码而使用标签编码是因为service有 70 个取值独热展开之后特征维度会膨胀对树模型来说反而容易切分到无意义的层次而树模型对数值刻度不敏感标签编码能保住特征数量的一致性。关键一步是先合并再 fit否则测试集里出现训练集没有的取值时transform 会直接报错。接下来做归一化。虽然树模型不依赖归一化但如果你后面要对比逻辑回归或 SVM就必须在统一流水线里处理。而且从工程复现的角度把归一化写成固定流程能让不同模型的训练输入保持一致。注意归一化必须用训练集的均值和方差测试集只能 transform不能重新 fit。# 与模型无关归一化 训练测试划分这里我不再贴整份代码因为 sklearn 里StandardScaler的用法非常简单。要点是先fit(train_X)再transform(test_X)顺序错了就是数据泄漏。重采样是入侵检测数据里绕不开的一步。NSL-KDD 里 DoS 样本占绝大多数R2L 和 U2R 样本极少直接训练模型分类器会学出“只要像正常流量就判 normal”的懒惰策略。我一般先用imblearn.over_sampling.SMOTE对训练集少数类做合成过采样但只对训练集做测试集保持真实分布这样评估结果才接近线上效果。SMOTE 的参数只需关注k_neighbors默认 5数据量小的时候改成 3 更稳。2.3 最小特征集与列对齐训练时保存列名推理时少踩一半坑预处理做完训练集有 41 个特征但如果直接全部丢给模型会有两个问题一是训练时间和内存翻倍二是模型会学到一些只在 NSL-KDD 里有区分度、在真实流量里完全取不到的字段比如num_outbound_cmds这种几乎全为 0 的列。一个实用做法是保存训练时的完整特征列名这样推理阶段可以严格按同样的顺序构造输入向量。RandomForest本身可以给出feature_importances_我一般先跑一个快速森林取重要性排名前 20 到 25 个特征把排名靠后的列丢掉。这一步不像调参那么玄学它的收益是稳定的丢掉无关列之后模型在测试集上的 F1 通常会小幅提升同时推理速度变快。列对齐的坑往往出现在你已经把模型部署好、第二天又往里灌新数据的时刻。特征名列表一定要在预处理阶段就joblib.dump存下来和模型文件放同一个目录。这类经验只会在 X 轴顺序错乱、模型输出概率异常跳变之后才会被真正重视而它恰恰是线上检测系统翻车概率最高的环节之一。3. 训练一套能用的检测模型随机森林与梯度提升的选型和调参3.1 选型逻辑小样本和中样本场景为什么绕着深度学习走入侵检测领域论文里动辄就是 CNN、LSTM、Transformer但放到真实运营环境里大多数团队手头的标注流量只有几万到几十万条。深度学习模型在同一份数据上往往拿不到比树模型更好的效果却要付出三倍的调参成本和一百倍的推理延迟。我见过不少团队先上了深度学习模型最后又退回随机森林原因不是模型精度不够而是特征空间太稀疏、标签噪声太高神经网络学到的东西难以解释安全运营的人不敢据一个黑匣子的输出封禁一个 IP。我一般把选型逻辑简化为三条数据量在 10 万行以下优先考虑随机森林和梯度提升树特征大多是协议统计值而不是原始报文树模型能直接利用线上推理要求单条耗时毫秒级树模型不用 GPU 也能满足。只有当你有海量点击流、报文载荷这类高维非结构化数据时才考虑 CNN 或 LSTM。对比表模型训练速度推理速度对不平衡数据可解释性适合场景逻辑回归快很快一般高基线模型随机森林中快好中高中小样本、特征较规整梯度提升树慢快好中特征工程充分、追求上限LSTM/CNN很慢中中低非结构化原始输入3.2 用 GridSearchCV 做随机森林调参先定树的个数再动深度和分裂随机森林最让人头疼的是参数多到不知道从哪下手。我的习惯是分层调参先固定n_estimators把它从 50 到 300 粗跑一遍选一个平台期的值再调max_depth和min_samples_leaf这组参数控制过拟合最后才调max_features。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV from sklearn.metrics import f1_score, roc_auc_score X_train train_df.drop(columns[label]).values y_train train_df[label].values X_test test_df.drop(columns[label]).values y_test test_df[label].values rf RandomForestClassifier( n_estimators200, class_weightbalanced, random_state42, n_jobs-1 ) param_grid { max_depth: [10, 20, 30], min_samples_leaf: [1, 5, 10], max_features: [sqrt, log2] } grid GridSearchCV( rf, param_grid, scoringroc_auc, cv5, verbose1, n_jobs-1 ) grid.fit(X_train, y_train) best_rf grid.best_estimator_ print(grid.best_params_) print(roc_auc_score(y_test, best_rf.predict_proba(X_test)[:, 1]))参数说明class_weightbalanced在这里很关键即使做过 SMOTE真实分布里攻击样本仍然占少数让模型对少数类有更高的错分惩罚能直接提升召回。max_featuressqrt是随机森林的默认推荐值它让每棵树只看到部分特征做分裂降低树之间的相关性log2适合特征维度更小的情况。scoringroc_auc而不是accuracy因为准确率在不平衡数据集上毫无区分度AUC 反映的是模型对正负样本的排序能力。网格搜索跑完在你自己的数据上验证一下。如果max_depth30和min_samples_leaf1是优选说明你的训练数据量比你想象的大可以继续加n_estimators如果优选落在max_depth10、min_samples_leaf5说明数据里有噪声模型在压制过拟合。这个反推过程比死记参数表有用得多。3.3 评估不止看准确率不平衡数据集要用 Precision、Recall 和 AUC 联合看模型训练完成后的第一件事永远是画混淆矩阵。入侵检测场景里你真正关心的是少数类能不能被捞出来攻击样本漏过不报警比正常样本被误报要致命得多。我建议固定看三个指标Recall检测率攻击样本有多少被捞出来、Precision报警里有多少是真攻击、roc_auc整体排序能力。此外画一条 Precision-Recall 曲线它能告诉你在这个数据分布下模型能力的天花板在哪。from sklearn.metrics import precision_recall_curve, confusion_matrix y_prob best_rf.predict_proba(X_test)[:, 1] precision, recall, thresholds precision_recall_curve(y_test, y_prob) # 选一个让 precision 和 recall 相对平衡的阈值 for threshold in [0.3, 0.5, 0.7, 0.9]: y_pred (y_prob threshold).astype(int) tn, fp, fn, tp confusion_matrix(y_test, y_pred).ravel() print(fthreshold{threshold}, precision{tp/(tpfp):.3f}, recall{tp/(tpfn):.3f})逻辑说明sklearn 默认的predict用 0.5 做阈值但检测类任务里 0.5 很少是对的那个点。上面这段直接打印不同阈值下的精确率和召回率让你直观看到阈值往高调误报变少但漏报变多阈值往低调报警变多但运营人员开始抱怨。真正的生产阈值通常不是 0.5而是你根据告警处理人力选出来的。需要特别提醒的是precision_recall_curve的返回结果里thresholds长度比precision少一位这是 sklearn 的历史行为别用索引对齐去画图时报错。4. 从离线模型到在线检测特征提取接口和阈值告警怎么接4.1 把模型包成检测函数输入一行特征输出异常概率和标签离线训练和在线检测之间的鸿沟在于离线时你有完整 DataFrame可以随时打乱列顺序在线时你只有一条流量记录可能还缺字段。所以第一次上线前我会把模型预测封装成一个函数函数的输入是定长的特征向量输出是异常概率和最终标签。这一步的作用是隔离模型内部逻辑和调用方后续换模型、换阈值调用方都不用改。import joblib # 训练阶段保存 joblib.dump(best_rf, ids_model.pkl) joblib.dump(feature_names, feature_names.pkl) # 推理阶段加载 model joblib.load(ids_model.pkl) feature_names joblib.load(feature_names.pkl) def detect_one(feature_vector, threshold0.7): 输入一条特征向量返回异常概率和判定标签。 import numpy as np vec np.array(feature_vector, dtypefloat).reshape(1, -1) prob model.predict_proba(vec)[0, 1] label 1 if prob threshold else 0 return {probability: round(float(prob), 4), is_attack: label}参数说明threshold作为函数参数而不是写死在模型内部是为了方便按场景切阈值。同一套模型出口网关流量密度低、告警能跟人力匹配阈值用 0.8核心数据库旁路流量必须严格阈值降到 0.5 也不过分。reshape(1, -1)是把一维向量转成 sklearn 要求的二维输入很多新手在推理时报错十有八九是漏了这一步。4.2 用抓包工具从网络流量中提取特征保持与训练特征完全一致的顺序到了真实流量环节最常被问到的问题是“NSL-KDD 训练出来的 41 个特征从哪能取到”答案是真实环境里你取不到也不需要硬取。NSL-KDD 的字段定义和现代网络流量差异很大成熟的做法是定义你自己的特征抽取器把每个五元组流提取成按固定顺序排列的特征向量模型只负责对向量打分。from collections import defaultdict from scapy.all import rdpcap, TCP, UDP, IP def extract_flow_features(pcap_path): 从 pcap 文件里按五元组切流统计一组基础特征。 flows defaultdict(list) packets rdpcap(pcap_path) for pkt in packets: if IP in pkt: src pkt[IP].src dst pkt[IP].dst if TCP in pkt: sport, dport pkt[TCP].sport, pkt[TCP].dport proto tcp elif UDP in pkt: sport, dport pkt[UDP].sport, pkt[UDP].dport proto udp else: continue key (src, dst, sport, dport, proto) flows[key].append(pkt) # 每个流输出: [包数, 平均包长, 平均时间间隔, 源端口数, 目的端口数] rows [] for key, pkts in flows.items(): row [ len(pkts), sum(len(p) for p in pkts) / len(pkts), get_avg_gap(pkts), len({p[TCP].sport if TCP in p else p[UDP].sport for p in pkts}), key[3] ] rows.append(row) return rows这段代码是简化版目的是讲清楚思路你的在线特征抽取器不必和 NSL-KDD 一致但必须在训练前先定义好然后离线数据用同一套抽取器生成特征矩阵模型只吃这个矩阵不吃原始报文。get_avg_gap需要自己实现计算相邻包到达时间差均值这类时间统计特征对慢速扫描探测类攻击尤其有效。另一个关键点是端口特征。入侵检测场景里目标端口号本身区分度很高比如扫描行为通常打在 22、3389、445 等端口上。但端口号不能直接当数值用5800 和 5900 没有大小关系我一般做一次分桶把它拆成“常用端口、非常用端口、高端口范围”几个离散等级。4.3 阈值、滑动窗口与告警抑制避免告警风暴的常见做法模型本身不产生告警产生告警的是阈值策略。很多初版系统上线第一天就迎来告警风暴因为把每条流独立判定一次任何一次概率超过阈值就发一条。真实流量里正常业务抖动也可能导致某一瞬间概率偏高需要滑动窗口把单点抖动吸收掉。class AlertWindow: def __init__(self, window_size60, threshold0.5, min_hits3): self.window_size window_size # 窗口长度单位: 秒 self.threshold threshold # 概率阈值 self.min_hits min_hits # 窗口内最少命中次数 self.hits [] def feed(self, probability, timestamp): if probability self.threshold: self.hits.append(timestamp) # 只保留窗口内的时间戳 self.hits [t for t in self.hits if timestamp - t self.window_size] return len(self.hits) self.min_hits参数说明min_hits3的含义是60 秒内至少出现 3 次超过阈值的事件才触发告警这样能把偶发误报压下去又不会引入太大延迟。window_size的取值要参考你的检测对象针对爆破登录窗口设置短一些比如 30 秒因为爆破特征是高频短时针对数据外传窗口设长比如 5 分钟因为外传流量在时间轴上更分散。这一节做完一个能用的在线检测系统就通了流量先进特征抽取器再进模型打分最后由窗口策略决定是否上升到告警。整套链路里特征抽取器的代码和模型文件是同一次发布的任何一边落后于另一边检测结果都会失真。5. 避坑排查入侵检测系统里最常见的 5 个翻车现场和修复办法5.1 现象训练时准确率 99%测试集一换就崩这个问题几乎每个做过入侵检测的人都会遇到。原因一般是两个第一训练集和测试集存在样本重叠NSL-KDD 本身已经做了处理但你自己爬的流量数据里重复连接占很大比例第二特征里混入了与标签强相关的泄漏字段。解决方法是先做去重再划分数据集并检查特征之间的相关性。特别是基于时间的统计特征里如果某些攻击类型的特征在训练集里大量出现而测试集里换了变体模型的分布假设就失效了。遇到这种情况我会先画训练集和测试集的特征分布直方图看哪些列分布差距大把差距过大的列从特征里排除宁缺毋滥。5.2 现象K 折交叉验证时先归一化再划分得分虚高这是教科书里明确禁止、但实操中最常见的错误。先对全量数据做StandardScaler.fit_transform再做train_test_split测试集的均值方差已经混进训练过程交叉验证的得分会系统性偏高模型在真实环境里立刻现原形。正确处理顺序是先划分再在训练集上 fit测试集上只做 transform。为了不再犯这类错我一般会把预处理放进 sklearn 的Pipeline这样交叉验证每次都会在折内重新计算均值和方差从流程上杜绝泄漏。5.3 现象SMOTE 之后模型过拟合到合成样本上SMOTE 能补少数类但它合成出的样本是插值来的和真实攻击样本不完全一致。数据量小的时候模型可能会把合成样本的区域学得过于“干净”真实样本反而落在决策边界之外。我的排查方法是做一次对比实验同一模型分别在“原始训练集”和“SMOTE 训练集”上训练测试集都用真实数据。如果 SMOTE 版本在测试集上 F1 没有提升说明合成样本没有带来有效信息这时候不做过采样转用class_weight来惩罚少数类效果反而更稳。做任何采样之前先跑这个对照能省下大量调参时间。5.4 现象在线推理时概率值反常偏高或全程趋近于 0.5新上线的检测服务如果所有流量的输出概率都集中在极端值大概率是特征顺序错了。模型在训练时学到的是“第 10 列是源字节数”在线推理时你把特征放到了别的列模型自然输出类似随机猜的结果很多情况下概率恰好被挤压到 0.5 附近。修复方式就是 2.3 节里提到的推理请求到达后先按feature_names.pkl对齐列再进入模型。我建议在特征抽取器输出后打印一行特征名和值的对应关系跑通后再关掉日志。另外注意区分训练和推理时的缺失值填充策略训练时缺失列填 0推理时也必须填 0填 -1 会让树模型的分裂路径完全改变。5.5 现象实验跑完参数和随机种子没有记录结果不可复现模型换一个人来跑得分差了十个点不是模型玄学而是随机种子和参数没被固定。随机森林本身有随机性网格搜索每次跑出的最优参数也可能不同更不用说 SMOTE 里也有随机采样过程。现在的习惯是每次实验开始前在代码最上面写死random_state并把数据集版本、特征列名、参数列表全部记录到一个 audit 配置文件里。这类习惯看起来很基础却是让团队不是一个黑匣子的关键。没有复现能力的离线实验上线后的每一次预测异常都无从追溯。6. 进阶验证技巧与其看标签不如盯住异常概率阈值曲线标签是阈值切出来的概率才是模型真正输出的东西。到了这个阶段我要么在验证集上画阈值曲线要么做概率校准目的都是找到“报警该从哪一刻开始”这个问题的答案。随机森林的predict_proba输出的是每棵树投票比例的平均而不是严格意义上的概率。比如某个样本在 200 棵树里有 160 棵判为攻击输出 0.8但实际这个样本是攻击的概率可能只有 0.65。想让它变成可解释的置信度需要做一次概率校准from sklearn.calibration import CalibratedClassifierCV calibrated CalibratedClassifierCV(best_rf, methodsigmoid, cv5) calibrated.fit(X_train, y_train) cal_prob calibrated.predict_proba(X_test)[:, 1]methodsigmoid适合样本量不大、输出分布比较规整的数据methodisotonic是非参方法精度更高但需要更大的数据量且有数据过拟合风险。校准之后模型的输出才能真正放到告警策略里作为“置信度”使用。至于阈值怎么挑我不用固定 0.5而是画一条 Precision-Recall 曲线取曲线上“肘部”位置——精确率开始快速下滑前的那一个点。然后拿历史一周的流量回放把每个候选阈值跑一遍看告警量和漏报量的变化。如果运营人员一天只能处理 20 条告警那就把阈值定在日均告警量为 20 附近而不是追求纸面上那个 0.7 或 0.8。每次做新的检测场景我都会先跑到这一步再决定要不要重新训练。因为模型能力在离线已经固定线上能调的只有阈值和告警策略而它们才是运营体验的最终决定者。现在的习惯是训练完模型第一时间把概率分布直方图存下来后面调阈值就不用来回翻旧结果。这一套流程走下来你自己手头那套源码包里的说明文档才能真正被用起来而不是躺在压缩包里当参考书。希望帮到你。本文还有配套的精品资源点击获取