如何基于Flink + Clickhouse打造百亿规模日志查询平台

发布时间：2026/10/10 11:43:05

如何基于Flink + Clickhouse打造百亿规模日志查询平台
一、背景：为什么弃用 Elasticsearch？选择 ClickHouse？在早期日志检索系统中，Elasticsearch（ES）几乎是事实标准：倒排索引，全文检索能力强生态成熟，Kibana 使用友好对研发同学上手成本低但是：日志查询需要“精准模糊匹配”，而不是分词搜索在日志场景中，一个经常被忽略但非常关键的事实是：日志查询 ≠ 自然语言搜索绝大多数日志检索关注的是：traceId / requestIderror code固定格式的异常片段精确字符串上下文例如：#0 (cfeebeea05bd01966dc6320727f2fa7 java.lang.IllegalStateException Timeout while waiting for xxx这些内容的共同特点是：强顺序性

相关新闻

无人机轨迹优化算法MATLAB复现：从单用户到多用户通信增强

无人机轨迹优化算法MATLAB复现：从单用户到多用户通信增强

简介：面向无人机通信与轨迹优化领域的科研工作者和高校师生，一份完整的UAV轨迹优化算法及MATLAB实现方案以PDF文档形式呈现。内容共1个文件，包体仅103KB，便于快速查阅与复现。已有164人学习浏览。文档从信道增益、速度与加速度约束…

2026/10/10 11:43:04 阅读更多 →
驾驶员分心检测图像分类数据集：22,000张标注图像与ResNet50实践

驾驶员分心检测图像分类数据集：22,000张标注图像与ResNet50实践

简介：面向驾驶员分心检测与图像分类任务，这份已标注数据集的资源说明提及约22,000张样本，涵盖安全驾驶、打电话、喝水、与乘客交谈等10类动作，具体类别与标签映射见随包json标注文件。压缩包为7z格式，共2000个文件&…

2026/10/10 11:43:04 阅读更多 →
1600张真实场景苹果检测数据集实战指南

1600张真实场景苹果检测数据集实战指南

简介：本资源是一套面向计算机视觉初学者与算法工程师的苹果检测专用数据集，适用于YOLO系列、Faster R-CNN等目标检测模型的训练与验证，特别适合农业AI、水果品质分拣、智能采摘等场景的入门实践与项目开发。数据集共4987个文件，包…

2026/10/10 11:43:03 阅读更多 →

最新新闻

软件测试面试题全解析：从基础理论到AI与物联网实战

软件测试面试题全解析：从基础理论到AI与物联网实战

软件测试面试题这个话题，每年都能收到一堆私信。有人刷了一周八股文还是挂在一面，有人只准备了两天却拿到了不错的offer。核心区别不在于背了多少题，而在于有没有把题目背后的考察点摸透。我整理了这份软件测试面试常见问题清单，附…

2026/10/10 14:08:50 阅读更多 →
C++ unordered_map与unordered_set详解：哈希表原理、接口用法与性能优化

C++ unordered_map与unordered_set详解：哈希表原理、接口用法与性能优化

用过 C 的都知道，当你还在用map、set做查找和去重的时候，数据量一旦上来，心里多少会有点不踏实。这时候就该unordered_map和unordered_set登场了。这两个容器在 C11 里正式进入标准库，核心卖点就一句话：基于哈希表实现…

2026/10/10 14:08:50 阅读更多 →
Linux新手第一周：环境搭建、常用命令与学习路线全记录

Linux新手第一周：环境搭建、常用命令与学习路线全记录

几个月前，社团面试的场景还在眼前，转眼第一周周报已经躺在群文件里。说实话，接手【西邮 Linux 兴趣小组】的第一周，我最大的感受不是“教了多少东西”，而是“被一群刚接触 Linux 的新人追着问问题，自己回头…

2026/10/10 14:08:50 阅读更多 →
踩坑实录：接进RAG后召回率反而崩了？all-MiniLM-L6-v2的5个隐藏陷阱

踩坑实录：接进RAG后召回率反而崩了？all-MiniLM-L6-v2的5个隐藏陷阱

踩坑实录：接进RAG后召回率反而崩了？all-MiniLM-L6-v2的5个隐藏陷阱 【免费下载链接】all-MiniLM-L6-v2 项目地址: https://ai.gitcode.com/hf_mirrors/sentence-transformers/all-MiniLM-L6-v2 把 all-MiniLM-L6-v2 接进 RAG 管线，几…

2026/10/10 14:08:50 阅读更多 →
2026年AI Agent发展趋势与挑战：从理论到实践的跨越，TaoToken统一Key打通OpenClaw落地链路

2026年AI Agent发展趋势与挑战：从理论到实践的跨越，TaoToken统一Key打通OpenClaw落地链路

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 14:08:50 阅读更多 →
Harness 工程安全基线：为 AI Agent 编写 SECURITY.md 安全策略文件

Harness 工程安全基线：为 AI Agent 编写 SECURITY.md 安全策略文件

【免费下载链接】learn-harness-engineering Harness engineering beginner tutorial, from 0 to 1 项目地址： https://gitcode.com/gh_mirrors/le/learn-harness-engineering 点击查看 免费下载 SECURITY.md 是面向 Agent 的仓库（agent-first reposito…

2026/10/10 14:07:49 阅读更多 →

日新闻

卫星轨道分类全解析：从LEO到GEO的选型逻辑与工程实践

卫星轨道分类全解析：从LEO到GEO的选型逻辑与工程实践

1. 从“卫星轨道分类”这个标题说起：为什么值得花时间搞懂第一次接触“卫星轨道分类”这个概念，很多人会觉得它离自己很远——不就是天上的星星怎么转吗？但如果你正在做航天任务规划、遥感数据接收、星座设计，甚至只是准备一场航天…

2026/10/10 0:00:39 阅读更多 →
Spring AOP 核心原理与实战：从概念到日志切面落地

Spring AOP 核心原理与实战：从概念到日志切面落地

1. 从一个真实痛点说起：为什么你的代码里到处都是重复逻辑刚入行那会儿，我写过一个用户管理模块，注册、登录、改密码、注销四个接口。每个接口里都塞了几乎一样的日志打印、参数校验、事务开启和提交。当时觉得没什么，能跑就行。直…

2026/10/10 0:00:40 阅读更多 →
Python招聘数据采集与分析可视化：从采集清洗到薪资技能城市可视化全链路

Python招聘数据采集与分析可视化：从采集清洗到薪资技能城市可视化全链路

简介：这是一套面向计算机相关专业学生与项目实战学习者的Python数据采集与分析可视化完整项目，以Boss直聘岗位数据为对象，适合用作毕业设计、课程设计或期末大作业。资源包共38个文件，约246KB，以13个py源码文件为核心&…

2026/10/10 0:00:40 阅读更多 →

周新闻

KT148A语音芯片外挂8002D功放的工程实践指南

KT148A语音芯片外挂8002D功放的工程实践指南

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 11:14:25 阅读更多 →
LLC谐振变换器增益公式推导：从FHA等效到完整归一化表达式

LLC谐振变换器增益公式推导：从FHA等效到完整归一化表达式

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 1:36:08 阅读更多 →
ARM架构深度解析：从RISC设计理念到交叉编译实战

ARM架构深度解析：从RISC设计理念到交叉编译实战

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 11:14:58 阅读更多 →

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 5:23:50 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/9 21:32:20 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/10 10:38:42 阅读更多 →