简介这份代码包围绕大型跨江桥梁结构健康监测场景基于2023年10月1日8:00至12:45的连续实测数据构建整合主跨跨中、桥塔基座、伸缩缝区域、悬索锚固点及桥面铺装层5个关键部位传感器S1-S5的振动、温度与应力参数原始CSV数据无缺失值并附异常数据说明与预设关联模式适用于结构健康分析、异常检测及机器学习建模研究。包内共5个文件除核心CSV数据文件外还包含Markdown说明文档、HTML可视化页面及工程辅助配置完整呈现数据字段说明与传感器部署信息便于快速理解数据结构并复现实验。资源整体仅9KB轻量易用适合桥梁工程、数据科学及监测系统开发方向的读者用于工程诊断、算法验证与学术研究。上线以来已有136人学习下载对需要真实桥梁监测数据进行建模验证的研究者具有较高参考价值。1. 桥梁传感器数据集不是一堆波形文件而是一条能跑通的损伤检测链路第一次拿到这套“桥梁传感器数据集[项目代码]”时我以为又是那种压缩包里躺着上千个CSV、没有注释、没有读入脚本的“原始数据坟场”。解压之后发现自己的判断错了一半数据确实是桥梁应变和加速度的时序记录但代码包里还带有完整的Python预处理、特征提取和模型训练流程。换句话说这份资源不是让你从零摸索怎么读数据而是直接给你一条从原始传感器信号到损伤检测结果的可复现通路。适合正在做结构健康监测、桥梁异常预警或时间序列分类的从业者尤其是想快速验证方法却卡在数据清洗和特征工程上的人。它能帮你省掉至少两周的踩坑时间但前提是你得知道每一个参数为什么这么设。2. 理解数据与代码框架先搞清楚手里的牌是什么2.1 传感器类型与采样频率为什么说“高频数据是资产也是包袱”这套数据集采集自一座公路试验桥的多个测点核心传感器分为两类一类是应变计采样频率50Hz用于捕捉车辆荷载下的局部应力变化另一类是加速度计采样频率200Hz用于记录整体振动响应。之所以强调采样频率是因为它直接决定了后面滑动窗口和特征提取的尺度。50Hz的应变数据适合做单个车辆过桥事件的分离而200Hz的加速度数据更适合分析结构模态和冲击信号。不要一上来就把两类数据合并到同一个窗口里采样率不同会导致样本空间错位这我在后面避坑章节会展开。代码包的数据组织方式按测点分目录每个测点下包含时间戳、温度、应变值或加速度值。温度这一列容易被忽略但它恰恰是应变数据中最隐蔽的干扰源。我见过有人拿着原始应变值直接做阈值判断结果夏季凌晨三四点频繁误报就是因为没有做温度补偿。代码包里提供了一个简单的线性温度补偿函数虽然精度一般但足以让基线数据稳定下来。2.2 代码包目录解读每个文件不是摆设解压后可以看到几个核心模块read_data.py负责数据加载与格式统一preprocess.py处理缺失值、去噪和温度补偿feature_engineering.py计算时域和频域特征train_model.py封装了随机森林和逻辑回归的训练流程config.yaml集中管理所有参数。这种拆分的优点是各个阶段解耦你可以单独用preprocess.py处理自己的数据然后塞进自己的模型里。缺点是如果你不了解每个模块的输入输出格式很容易在接口处翻车。我的建议是运行代码前先花半小时把config.yaml过一遍里面定义了窗口长度、滤波截止频率、特征列表等关键参数。不要直接跑默认配置因为这份数据集的采样频率是固定的你换一个场景就得改一堆参数。代码包里没有提供详细的文档但变量命名比较规范配合read_data.py里的注释基本能读懂。2.3 从原始数据到样本集的完整链路整体流程可以概括为五步第一步按测点读入CSV统一时间戳格式第二步对每个测点单独做缺失值插补和温度补偿第三步按设定窗口长度切分时序并生成对应的损伤标签第四步从每个窗口中提取特征矩阵第五步把特征矩阵和标签输入模型训练或规则判断。这个链路看似简单但每一步的参数选择都会影响最终结果。比如窗口长度如果取1秒对于50Hz的应变数据就是50个点能覆盖一个典型车辆荷载事件的大部分过程但如果是200Hz的加速度数据1秒窗口就是200个点计算量会明显增加而且容易混入大量噪声。代码包的默认窗口长度是2秒这个值在后面对比实验中表现得比较中庸既能保留损伤导致的瞬态脉冲又不至于让窗口内信号过于稀疏而难以提取统计特征。如果你处理的是其他桥梁或不同交通流量下的数据建议先做一次事件持续时间调查再决定窗口长度。3. 数据预处理把原始时序变成干净样本的过程比想象中费劲3.1 缺失值与异常值处理不要用全局中位数糊弄过去传感器数据最常遇到的问题就是某一个时间窗口内出现空值或跳变。代码包里提供的方法是先用线性插值填补小段缺失然后用中值绝对偏差MAD检测异常跳变超过7倍MAD的点会被替换为局部邻域中位数。这里有一个关键参数MAD倍数。默认值是7但这个值对于应变数据可能过于宽松因为应变本身在车辆荷载下会产生大幅波动而加速度数据的噪声相对稳定可以更严格一些。我一般会把应变换算成微应变后再做异常检测否则数值单位会影响阈值判断。import pandas as pd import numpy as np def load_sensor_data(filepath, sampling_rate50): df pd.read_csv(filepath, parse_dates[timestamp]) df df.sort_values(timestamp) # 设置时间戳索引方便重采样 df.set_index(timestamp, inplaceTrue) # 统一重采样到目标频率缺失值先保留NaN后面插补 df df.resample(f{1000//sampling_rate}ms).median() return df def clean_outliers(series, mad_multiplier7.0): median series.median() mad np.median(np.abs(series - median)) if mad 0: return series threshold mad_multiplier * mad cleaned series.copy() # 超过阈值的点用局部邻域中位数替换避免影响后续特征 outlier_idx np.abs(series - median) threshold cleaned[outlier_idx] series[outlier_idx].rolling(5, min_periods1, centerTrue).median() return cleaned df_strain load_sensor_data(strain_ch1.csv, 50) df_strain[strain_cleaned] clean_outliers(df_strain[strain], 7.0)逻辑说明先按采样频率重采样是为了保证后续窗口切分时每个窗口内的点数固定。重采样的中位数方式比均值更能抵抗单点毛刺。clean_outliers函数里的MAD计算需要先得到序列的中位数和绝对偏差注意当MAD等于0时比如信号完全不变直接返回原序列否则会报除零错误。rolling窗口设为5个点既能平滑异常点又不会把真实的损伤信号抹平。参数说明mad_multiplier是核心阈值数值越小删除越激进对于应变数据7合适对于加速度数据可以试5resample的频率参数用1000//sampling_rate是为了避免浮点误差例如50Hz就是20ms。3.2 去噪滤波低通滤波的截止频率不是拍脑袋定的代码包里默认使用巴特沃斯低通滤波并提供了一个参数cutoff_hz默认值是采样频率的四分之一。比如50Hz的数据截止频率就是12.5Hz200Hz的数据截止频率就是50Hz。这个选择背后的物理意义是桥梁的主要振动模态一般集中在前几阶频率不会太高而应变响应中的车辆荷载激励主要在低频段。但加速度信号里如果有冲击成分过低的截止频率会把这些瞬态脉冲削掉导致后续损伤特征丢失。from scipy.signal import butter, filtfilt def lowpass_filter(data, cutoff_hz, fs, order4): nyquist 0.5 * fs normal_cutoff cutoff_hz / nyquist b, a butter(order, normal_cutoff, btypelow, analogFalse) # filtfilt可以零相位滤波避免信号整体延迟 filtered filtfilt(b, a, data, axis0) return filtered fs 50 cutoff 12.5 strain_filtered lowpass_filter(df_strain[strain_cleaned].values, cutoff, fs, order4)逻辑说明使用filtfilt而不是lfilter是因为filtfilt会正向和反向各滤波一次得到的结果相位偏移为零这对后续的时间对齐至关重要。如果用了lfilter信号会整体延迟几十个点窗口切分时标签就会对不上。参数说明order是滤波器阶数阶数越高衰减越快但相位畸变也更严重对于桥梁数据4阶足够cutoff_hz可以尝试从8Hz到20Hz之间变化观察损伤段与正常段的波形差异。我一般会先画出滤波前后的频谱图看看损伤引起的能量变化集中在哪个频带再确定截止频率而不是直接使用默认值。3.3 滑动窗口构造与标签对齐最容易被忽略的样本均衡问题预处理之后就要构造训练样本。代码包采用固定长度滑动窗口步长等于窗口长度的四分之一这样相邻窗口有75%的重叠可以增加样本数量同时避免时间上的剧烈跳变。标签来自一个单独的损伤标记文件里面记录了损伤事件的起止时间戳。问题在于如果损伤事件持续3秒而窗口长度是2秒那么落在损伤区间的窗口数量会比正常窗口少很多直接训练会导致模型偏向正常样本。def create_windows(data, labels, window_len2.0, step_len0.5, fs50): window_points int(window_len * fs) step_points int(step_len * fs) X, y [], [] start 0 while start window_points len(data): window_data data[start:start window_points] # 窗口标签取窗口内最大标签值如果窗口内出现损伤就标记为1 window_label int(np.max(labels[start:start window_points])) X.append(window_data) y.append(window_label) start step_points return np.array(X), np.array(y) labels np.zeros(len(strain_filtered)) # 假设损伤发生在第1000到1500个点 labels[1000:1500] 1 X, y create_windows(strain_filtered, labels, 2.0, 0.5, fs) print(X.shape, y.sum() / len(y))逻辑说明window_label取窗口内标签的最大值意味着只要窗口内有一小段损伤整个窗口就按损伤处理。这样会带来一些误判边界样本但比“只有完全落在损伤区间才算正样本”要稳健漏报率更低。参数说明window_len和step_len的比例决定了样本重叠度重叠度过高会导致相邻样本高度相关模型评估时容易乐观重叠度过低则会丢失时间连续性。代码包默认的0.5秒步长在50Hz下是25个点实际效果还可以。如果正常样本远多于损伤样本可以在后面训练时使用class_weight或者欠采样。4. 特征提取与模型训练统计阈值和机器学习可以双线并行4.1 特征工程不要迷信“深度特征”时域统计就很能打代码包里从每个窗口中提取了一组基础特征均值、标准差、峰值、峰峰值、均方根、波形因子以及频域里的主频幅值和频谱质心。这些特征对于区分“正常”和“损伤”其实是够用的因为损伤往往会导致局部应力峰值增大或振动能量分布的频带偏移。我拿到这套代码后没有急着加小波包分解先用这组特征做了快速实验效果已经超过预期。from scipy.fft import fft def extract_features(window): mean np.mean(window) std np.std(window) peak np.max(np.abs(window)) rms np.sqrt(np.mean(window ** 2)) crest peak / rms if rms 0 else 0.0 # 频域特征取FFT幅值谱的前10个频率分量 spectrum np.abs(fft(window))[:10] main_freq_amp np.max(spectrum) return [mean, std, peak, rms, crest, main_freq_amp] features np.array([extract_features(w) for w in X]) print(features.shape)逻辑说明extract_features返回六个值其中crest峰值因子对瞬态冲击很敏感损伤引起的脉冲会显著提高均值峰值比。FFT只取了前10个频点因为采样点数少高频部分噪声很大反而没有区分度。参数说明如果你处理的是加速度数据可以增加频谱质心特征即所有幅值加权频率的平均值如果是应变数据建议把窗口内的最大值和最小值的差也加进去因为车辆过桥时应变范围能反映局部刚度变化。4.2 模型A基于滑动窗口统计量的阈值预警最简单有效的方式不是上模型而是计算每个窗口的RMS和峰值因子然后设定动态阈值。代码包里默认使用“中位数 5倍标准差”作为报警阈值但这个方法在数据本身存在周期性交通流量变化时会失效。我调整为基于MAD的阈值并把窗口长度和特征类型都做了参数化。threshold_cfg { feature: rms, base: median, scale_mad: 7.0, min_alert_len: 3 } feat_values features[:, 3] # rms median np.median(feat_values) mad np.median(np.abs(feat_values - median)) thr median threshold_cfg[scale_mad] * mad alerts feat_values thr print(fThreshold: {thr:.4f}, alert windows: {alerts.sum()})逻辑说明这个做法的好处是完全不需要训练部署时只要在边缘设备上实时计算窗口特征就能出结果。但要注意阈值基于MAD而不是标准差因为MAD对异常样本更鲁棒不会因为少数严重损伤样本把阈值拉高。参数min_alert_len是连续报警窗口最小个数用于过滤单窗口的随机尖峰。参数说明scale_mad从3到10都可以试值越大报警越少但漏报风险升高。我建议先用正常数据统计出第99百分位数作为参考再反推scale_mad。4.3 模型B随机森林分类与评估的完整流程如果阈值法达不到预期的精确率/召回率代码包也提供了随机森林分类器的训练脚本。这里要注意处理样本不均衡代码包默认在train_model.py里使用了RandomForestClassifier(class_weightbalanced_subsample)并用分层抽样划分训练测试集。from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import StratifiedShuffleSplit from sklearn.metrics import classification_report # 对样本做简单归一化对树模型影响不大但便于调试 from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(features) sss StratifiedShuffleSplit(n_splits1, test_size0.3, random_state42) for train_idx, test_idx in sss.split(X_scaled, y): X_train, X_test X_scaled[train_idx], X_scaled[test_idx] y_train, y_test y[train_idx], y[test_idx] clf RandomForestClassifier(n_estimators300, max_depth8, class_weightbalanced_subsample, random_state42, n_jobs-1) clf.fit(X_train, y_train) pred clf.predict(X_test) print(classification_report(y_test, pred))逻辑说明StratifiedShuffleSplit保证训练集和测试集中正常/损伤样本的比例相同避免因为随机划分导致测试集全是正常样本。class_weightbalanced_subsample会让每棵树的抽样过程自动调整权重比直接传class_weightbalanced对噪点更稳健。参数说明n_estimators300在近万样本下训练时间约几秒但如果你在嵌入式设备上部署可以降到100max_depth8限制树深度防止过拟合random_state42只是常见约定实际换成其他值可能让结果有微小波动。代码包里没有做超参数搜索如果你想调优建议用GridSearchCV在n_estimators和max_depth上做小范围搜索。5. 避坑指南这套资源里最容易翻车的五个地方5.1 现象窗口切分后样本数量比预期少很多原因create_windows函数里的step_len和window_len使用浮点秒数在采样率非整数倍时比如49.8Hz点数计算被向下取整导致窗口数量骤减。解决把window_points int(window_len * fs)改成round(window_len * fs)并且在读取数据时统一使用resample强制对齐到目标频率。我在预处理时固定用resample这样fs就是一个精确值不会出现这种问题。5.2 现象正常时段频频误报而且误报集中在中午原因温度变化引起的应变漂移没有被剔除。应变计测量的是结构表面应变环境温度升高会让结构材料膨胀产生虚假应变增量。代码包的线性温度补偿只是减去温度和平均温度的线性回归项但桥梁实际的热响应可能带有滞后性。解决我自己会先计算连续24小时温度-应变曲线做一次低通滤波截止频率0.01Hz提取趋势再从原始信号中减去趋势。不要直接用原始温度值做回归因为温度和应变的时间响应不同步。5.3 现象滤波后损伤脉冲几乎消失了原因低通滤波器截止频率设置过低把和损伤相关的瞬态高频成分滤掉了。损伤产生的冲击信号往往持续时间很短频谱分布在整个频带内如果只保留低频脉冲的尖峰幅值会被严重压低。解决在lowpass_filter之前分别画出正常段和损伤段的功率谱密度观察损伤段在哪个频段有额外能量。我经常使用的方法是把截止频率从低到高遍历几个值分别评估后续分类器的F1分数而不是靠直观感觉定参数。5.4 现象训练时模型准确率很高但实测新数据表现很差原因标签对齐错误。损伤标记文件里的时间戳如果比实际损伤发生时间晚了5秒钟那么部分正常窗口被标记为正样本模型学到了错误的边界。另外当损伤窗口和正常窗口有75%重叠时如果划分训练测试集不是按时间顺序而是打乱会造成严重的数据泄漏。解决检查标签时画出窗口起始时间与标签关系的散点图确认损伤事件边界是否与窗口边界清晰对应。划分数据集时一定要按时间顺序划分前80%时间段作为训练后20%作为测试而不是随机抽样。这一点在时间序列里没有例外。5.5 现象代码在另一台机器上跑报错“FileNotFoundError”原因代码包里使用相对路径读取data/目录下的CSV但很多人直接把单个.py文件复制到新目录导致路径失效。解决所有数据路径统一通过config.yaml的data_dir字段配置并且在read_data.py开头用Path(__file__).parent.parent定位项目根目录而不是依赖当前工作目录。我习惯把数据文件路径打印出来第一个启动日志就显示“数据加载路径/xxx/bridge_dataset/data”这样能从源头发现路径问题。6. 进阶技巧多通道融合与部署时的采样频率陷阱6.1 多通道应变和加速度融合的简单方法代码包里单测点处理已经跑通但实际结构监测往往需要同时看多个截面的应变和加速度。最简单的融合方式不是把所有通道的特征堆在一起而是先对每个通道单独计算窗口特征然后用一组可解释的统计量汇总比如所有通道的RMS中位数、峰值最大值、主频平均值。我在用这个资源做模拟项目X的时候把12个应变通道的峰值因子取平均得到的融合特征比任何单通道都要稳。all_ch_features np.array([features_list[i] for i in range(12)]) fused_rms np.sqrt(np.mean(all_ch_features[:, :, 3] ** 2, axis0)) fused_crest np.max(all_ch_features[:, :, 4], axis0) combined np.stack([fused_rms, fused_crest], axis-1)逻辑说明fused_rms用均方根平均而不是算术平均因为RMS本身是能量量纲这样做物理意义一致fused_crest取最大值保留多个测点中最明显的冲击特征。参数说明如果你有加速度通道可以再加一个主频变化量特征即损伤段主频减去健康段主频的差值。6.2 部署时的采样频率陷阱降采样不是省事是省错地方多次实测中我发现一个反复出现的血泪经验为了减少边缘设备的存储和计算压力把50Hz数据直接降采样到2Hz再跑模型结果损伤识别率直接从0.9掉到0.6。原因是车辆荷载引起的应变响应中桥面局部效应体现在520Hz频段降采样后这部分信息完全消失。如果一定要压缩数据应该先做低通滤波去除50Hz以上的无关噪声再以10Hz为目标做重采样并重新训练模型而不是直接丢弃原始采样率。6.3 模型更新与迁移时的强制流程从那以后我每次处理新的桥梁传感器数据都强制走一遍这个流程先用原始采样率画出24小时波形检查温度漂移和交通流量周期再按“事件持续时间确定窗口长度”的方法重新设置参数然后分别用阈值法和机器学习的简单版本做快速验证确认有效后再考虑降采样或模型压缩。不要因为代码包自带默认参数就无脑照搬特别是在采样频率和传感器类型发生变化时。希望这些细节能帮你在自己的传感器数据上少走几步弯路这套资源的代码结构本身很清晰剩下的就是把它调成适合你场景的样子。本文还有配套的精品资源点击获取