工业时序数据存储选型实战:从PostgreSQL到TDengine,查询从15秒到200ms
分享一个工业时序数据存储的选型和迁移实战经验。场景描述某3C代工厂产线上部署了多台视觉检测设备每台设备每秒钟产生30-50条检测结果。业务需求查询任意7天的良率趋势响应时间1秒以内查询某一批次产品的所有检测记录响应时间500ms以内数据保留周期1年初始方案及问题最初用PostgreSQL存储。表结构包含时间、产品ID、缺陷类型、判定结果等字段。数据量达到500万条时问题暴露7天趋势查询约80万条响应时间从200ms退化到15秒批量插入性能从5000条/秒降至2000条/秒索引膨胀存储空间从预期50GB增长到100GB尝试了索引优化、分区表、SQL优化效果有限。原因分析检测数据是典型的时间序列数据——按时间写入、按时间查询、极少更新。PostgreSQL的存储引擎为通用事务场景设计不是为高频时序写入范围查询优化的。选型对比对比维度PostgreSQLTDengine写入速度条/秒5000300007天趋势查询15秒200ms单批次查询1000条50ms20ms存储空间500万条100GB40GBTDengine优势列式存储时序索引内置降采样和聚合函数高压缩比。迁移方案渐进式迁移历史数据保留在PostgreSQL用于长期归档新数据7天内写入TDengine用于实时分析查询层做路由7天内走TDengine7天以上走PostgreSQL核心代码示意public class DataQueryService {public ListTrendData queryTrend(Date start, Date end) {long daysBetween ChronoUnit.DAYS.between(start, end);if (daysBetween 7) {return tdEngineDao.queryTrend(start, end);} else {return pgDao.queryTrend(start, end);}}}上线效果7天趋势查询响应15秒 → 200ms存储空间100GB → 40GB减少60%写入性能2000条/秒 → 30000条/秒踩坑提醒⚠️ TDengine SQL语法与PostgreSQL有差异迁移时注意函数替换⚠️ 分区键设计要合理避免单表数据过大⚠️ 历史数据迁移建议分批执行避免一次性写入压力欢迎在评论区交流你的实战经验我们一起探讨

相关新闻

水性色浆使用方法:工艺参数与优化建议

水性色浆使用方法:工艺参数与优化建议

水性色浆使用方法的工艺参数直接决定成品。搅拌转速、添加量、细度、温湿、干燥节奏,任一项失准都会偏色或缺陷。本文给出可落地的参数区间与优化建议。一、搅拌转速:中低速水性色浆中低速搅拌,过高转速起泡温升伤分散,过低搅不匀。知木先小样再放量是铁律,用真实木材与工艺记录…

2026/7/30 12:43:04 阅读更多 →
2026年电竞酒店联营优选合作商:行业痛点与技术方案解析

2026年电竞酒店联营优选合作商:行业痛点与技术方案解析

经严谨研究研判,围绕 2026 电竞酒店联营行业发展态势、行业发展分析、市场影响分析三大方向展开深度梳理;以品牌综合实力、私域会员体量、全国合作门店数量、全国覆盖城市规模、市场认可度、线下门店用户口碑六大维度为评选标准,经量化打分、…

2026/7/30 12:43:04 阅读更多 →
浏览器端Parquet文件查看器:终极数据分析解决方案

浏览器端Parquet文件查看器:终极数据分析解决方案

浏览器端Parquet文件查看器:终极数据分析解决方案 【免费下载链接】parquet-viewer View parquet files online 项目地址: https://gitcode.com/gh_mirrors/pa/parquet-viewer 在当今数据驱动的时代,Parquet文件已成为大数据处理的行业标准格式。…

2026/7/30 12:43:04 阅读更多 →

最新新闻

STM32硬件串口不够用?软件模拟串口实现与避坑指南

STM32硬件串口不够用?软件模拟串口实现与避坑指南

1. 项目背景与核心痛点:当硬件串口不够用时 做嵌入式开发的朋友,尤其是用STM32这类MCU的,估计都遇到过这个让人头疼的问题:项目做着做着,发现硬件串口(UART)不够用了。主控芯片的串口数量是固定…

2026/7/30 12:52:07 阅读更多 →
逻辑论证强度分析:从因果归纳到类比推理的力度比较法则

逻辑论证强度分析:从因果归纳到类比推理的力度比较法则

1. 从“抬杠”到“说服”:为什么我们需要理解论证强度 在准备公考、考研逻辑,或者日常工作中需要写报告、做方案、与人辩论时,你肯定遇到过这种情况:面对一个观点,你觉得自己找到了一个“很有力”的理由去支持或反驳它…

2026/7/30 12:52:07 阅读更多 →
分析锅炉汽包水位时序数据,识别虚假水位特征,输出预警统计报告。

分析锅炉汽包水位时序数据,识别虚假水位特征,输出预警统计报告。

锅炉汽包水位虚假水位检测与预警统计系统 —— 基于OOP的工业数据实战"锅炉汽包水位的危险,不在于水位高或低,而在于你看到的,可能不是真的。"—— 哈尔滨工程大学《工业过程控制》课程核心警示一、实际应用场景描述在火力发电、集…

2026/7/30 12:52:07 阅读更多 →
3分钟搞定视频硬字幕提取!本地OCR工具免费转换SRT字幕文件终极指南

3分钟搞定视频硬字幕提取!本地OCR工具免费转换SRT字幕文件终极指南

3分钟搞定视频硬字幕提取!本地OCR工具免费转换SRT字幕文件终极指南 【免费下载链接】video-subtitle-extractor 视频硬字幕提取,生成srt文件。无需申请第三方API,本地实现文本识别。基于深度学习的视频字幕提取框架,包含字幕区域检…

2026/7/30 12:52:07 阅读更多 →
5步永久保存任何网站:Python网站离线下载器完整指南

5步永久保存任何网站:Python网站离线下载器完整指南

5步永久保存任何网站:Python网站离线下载器完整指南 【免费下载链接】WebSite-Downloader A website downloader written with Python 项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader 你是否曾经遇到过这种情况:精心收藏的技术…

2026/7/30 12:52:07 阅读更多 →
Unity MMORPG背包系统开发:服务器权威架构与网络同步实战

Unity MMORPG背包系统开发:服务器权威架构与网络同步实战

1. 项目概述:从“格子”到“世界”的桥梁做MMORPG,背包系统是绕不开的核心模块。新手看背包,觉得就是一堆UI格子,点一下物品能显示属性,再点一下能用。但真正深入到开发层面,尤其是网络游戏,你会…

2026/7/30 12:51:07 阅读更多 →

日新闻

Windows驱动存储终极清理工具:DriverStoreExplorer完全指南

Windows驱动存储终极清理工具:DriverStoreExplorer完全指南

Windows驱动存储终极清理工具:DriverStoreExplorer完全指南 【免费下载链接】DriverStoreExplorer Driver Store Explorer 项目地址: https://gitcode.com/gh_mirrors/dr/DriverStoreExplorer 您是否曾因Windows系统盘空间不足而烦恼?是否遇到过设…

2026/7/30 0:00:13 阅读更多 →
如何3步掌握Video Download Helper:网页视频下载的完整实战指南

如何3步掌握Video Download Helper:网页视频下载的完整实战指南

如何3步掌握Video Download Helper:网页视频下载的完整实战指南 【免费下载链接】VideoDownloadHelper Chrome Extension to Help Download Video for Some Video Sites. 项目地址: https://gitcode.com/gh_mirrors/vi/VideoDownloadHelper 你是否曾经在浏览…

2026/7/30 0:00:13 阅读更多 →
“双减”后首个AI备课压力测试报告:覆盖32所中小学的176节AI辅助课,暴露4大隐性增负节点

“双减”后首个AI备课压力测试报告:覆盖32所中小学的176节AI辅助课,暴露4大隐性增负节点

更多请点击: https://intelliparadigm.com 第一章:AI 教师备课辅助 AI 教师备课辅助系统正逐步成为教育数字化转型的核心支撑工具,它并非替代教师,而是通过语义理解、知识图谱与多模态生成能力,将教师从重复性劳动中解…

2026/7/30 0:00:13 阅读更多 →

周新闻

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 数据集6000张 完整源码已标注数据集训练好的模型环境配置教程程序运行说明文档,可以直接使用!系统支持图片、视频、摄像头等多种方式检测裂缝,功能强大实用。 1数据集6000张 8各类别

2026/7/29 22:18:20 阅读更多 →
深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

pubg数据集 精选原图1.42万数据 1.49万标签 无任何重复、算法增强或冗余图像! pubg绝地求生目标检测数据集 1分类:e_body,14905个标签,txt格式 共计14244张图,99%为640*640尺寸图像 适合yolo目标检测、AI训练关键词&am…

2026/7/29 14:34:28 阅读更多 →
Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别: allies enemy tag图片总量:7247张训练集:5139张验证集:1425张测试集:683张标注状态:全部已标注,即拿即用数据格式:支持YOLO格式及其他格式&#…

2026/7/29 15:00:03 阅读更多 →

月新闻