Flink 流计算进阶:手写一套通用的 Redis/MySQL /Kafka数据源封装工具类
一、redis篇幅1、解决痛点1、兼容redis集群和单机2、异步IO,通过 AsyncDataStream.unorderedWait 提升吞吐量3、通用性,避免重复造轮子2、代码部分RedisClusterUtil工具类package com.juxin.util.redis; import cn.hutool.core.util.NumberUtil; import cn.hutool.core.util.StrUtil; import com.juxin.util.ConfigUtil; import io.lettuce.core.RedisURI; import io.lettuce.core.cluster.RedisClusterClient; import io.lettuce.core.cluster.api.StatefulRedisClusterConnection; import io.lettuce.core.cluster.api.async.RedisAdvancedClusterAsyncCommands; import io.lettuce.core.cluster.api.sync.RedisAdvancedClusterCommands; import lombok.extern.slf4j.Slf4j; import java.io.Serializable; import java.time.Duration; import java.util.Map; /** * 功能: redis工具类 * 弊端: 同步阻塞,若自创异步会导致还没拿到数据,流已经往下执行了 * */ @Slf4j public class RedisClusterUtil implements Serializable { private static final long serialVersionUID = 1L;//版本校验,Flink忽略类变化,强制读取ck旧数据 private transient RedisClusterClient clusterClient; //跳过不序列化 private transient StatefulRedisClusterConnectionString, String connection; private transient RedisAdvancedClusterCommandsString, String syncCmd; //同步 // 新增:异步命令接口 private transient RedisAdvancedClusterAsyncCommandsString, String asyncCmd; // ✅ 初始化方法,由 Flink 的 open() 调用 public void init() { if (clusterClient != null) {return;} // 已初始化,直接返回 try { String host = ConfigU

相关新闻

Python数据分析(五):NumPy综合案例实战

Python数据分析(五):NumPy综合案例实战

目录 案例1:温度分析 案例2:成绩统计 案例3:矩阵计算 案例4:随机数据 案例5:数组变形 案例6:布尔索引 案例7:统计函数 案例8:缺失值处理 案例9:唯一值与排序 在…

2026/7/29 16:53:08 阅读更多 →
3D打印机步进电机系统改造:从57电机选型到TMC2209驱动调校全攻略

3D打印机步进电机系统改造:从57电机选型到TMC2209驱动调校全攻略

1. 项目概述:从“能用”到“好用”的蜕变去年年底,我手头那台服役多年的Overlord 3D打印机,其X轴步进电机开始发出令人不安的“咔哒”声,打印精度也出现了肉眼可见的下降。这让我下定决心,不再仅仅满足于“坏了就换”的…

2026/7/29 16:53:08 阅读更多 →
VinXiangQi:3分钟快速上手,基于深度学习视觉识别的中国象棋AI辅助终极指南

VinXiangQi:3分钟快速上手,基于深度学习视觉识别的中国象棋AI辅助终极指南

VinXiangQi:3分钟快速上手,基于深度学习视觉识别的中国象棋AI辅助终极指南 【免费下载链接】VinXiangQi Xiangqi syncing tool based on Yolov5 / 基于Yolov5的中国象棋连线工具 项目地址: https://gitcode.com/gh_mirrors/vi/VinXiangQi 还在为在…

2026/7/29 16:52:08 阅读更多 →

最新新闻

WBK08-01B高强度2A12铝合金丝杠固定座

WBK08-01B高强度2A12铝合金丝杠固定座

在自动化传动结构设计中,很多工况并非只追求轻量化,更需要配件具备出色的承重能力与抗变形性能。尤其是设备长期承受轴向载荷时,普通铝材固定座容易出现松动、形变、精度衰减等问题,直接影响设备运行稳定性。针对重载微型传动场景…

2026/7/29 17:02:12 阅读更多 →
pyfolio深度解析:如何通过Python构建专业级投资组合分析系统

pyfolio深度解析:如何通过Python构建专业级投资组合分析系统

pyfolio深度解析:如何通过Python构建专业级投资组合分析系统 【免费下载链接】pyfolio Portfolio and risk analytics in Python 项目地址: https://gitcode.com/gh_mirrors/py/pyfolio pyfolio作为Quantopian开发的Python投资组合分析库,为量化投…

2026/7/29 17:02:12 阅读更多 →
小红书下载神器:XHS-Downloader完整指南,轻松获取无水印图文视频

小红书下载神器:XHS-Downloader完整指南,轻松获取无水印图文视频

小红书下载神器:XHS-Downloader完整指南,轻松获取无水印图文视频 【免费下载链接】XHS-Downloader 小红书(XiaoHongShu、RedNote)链接提取/作品采集工具:提取账号发布、收藏、点赞、专辑作品链接;提取搜索结…

2026/7/29 17:02:12 阅读更多 →
Java注解深入详解-1:@Override、@Deprecated 与 @SuppressWarnings

Java注解深入详解-1:@Override、@Deprecated 与 @SuppressWarnings

1. 引言:什么是注解(Annotation) Java 注解(Annotation)是 JDK 5.0 引入的一种特殊“元数据”机制。你可以把它理解为贴在代码上的特殊标签,它本身不直接改变代码的逻辑,但可以被编译器、开发工…

2026/7/29 17:02:12 阅读更多 →
2026-07-23-坏道插值后为什么ICA不能按64个通道算

2026-07-23-坏道插值后为什么ICA不能按64个通道算

坏道都插值补回来了,为什么 ICA 还是不能按 64 个通道算?** 假设你采集了一份 64 导 EEG,预处理时发现 4 个坏道,于是先删除,只留下 60 个正常通道。之后通过球面样条插值,把这 4 个通道重新补了回来。此时…

2026/7/29 17:02:12 阅读更多 →
【Springboot】内存占用过高解决

【Springboot】内存占用过高解决

问题现象 Spring Boot 应用刚启动,业务逻辑一行没跑,内存占用却直接飙到 2个G。这对云原生环境和轻量部署来说,显然是无法接受的。 初步尝试(无效) 在网上搜索一圈后,大部分“解决方案”都指向调整堆内存…

2026/7/29 17:01:12 阅读更多 →

日新闻

【RT-DETR多模态创新改进】CVPR 2025 | 独家特征融合创新改进篇 | 引入RLAB残差线性注意力模块,有效融合并强调多尺度特征,多种改进点,适合红外与可见光融合目标检测任务,有效涨点

【RT-DETR多模态创新改进】CVPR 2025 | 独家特征融合创新改进篇 | 引入RLAB残差线性注意力模块,有效融合并强调多尺度特征,多种改进点,适合红外与可见光融合目标检测任务,有效涨点

一、本文介绍 🔥本文在RT-DETR多模态融合目标检测中引入RLAB残差线性注意力模块,可在不同模态特征交互阶段进行多次残差细化,使可见光、红外等特征在尺度、语义和空间位置上更好对齐;随后将细化特征与解码器输出拼接并生成Q、K、V,通过线性注意力自适应强化关键通道、目…

2026/7/29 0:00:23 阅读更多 →
AI编程系列02:合并知识功能,给 AI 问数和 RAG 场景打基础

AI编程系列02:合并知识功能,给 AI 问数和 RAG 场景打基础

AI编程系列02:合并知识功能,给 AI 问数和 RAG 场景打基础 在上一期「AI编程系列」中,我们学习了如何构建一个基础的 AI 问答系统,通过简单的输入输出让模型回应问题。但现实世界中的 AI 应用往往需要处理更复杂的场景:…

2026/7/29 0:00:23 阅读更多 →
AI智能体开发实战:从工具调用到企业级部署

AI智能体开发实战:从工具调用到企业级部署

1. 从被动问答到主动执行:AI Agent的范式转变过去两年,大语言模型最显著的应用形态是聊天机器人——用户提问,AI回答。但真正的生产力革命发生在2023年下半年:当AI学会主动调用工具完成任务时,生产力工具的历史被彻底改…

2026/7/29 0:00:23 阅读更多 →

周新闻

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 数据集6000张 完整源码已标注数据集训练好的模型环境配置教程程序运行说明文档,可以直接使用!系统支持图片、视频、摄像头等多种方式检测裂缝,功能强大实用。 1数据集6000张 8各类别

2026/7/28 12:04:22 阅读更多 →
深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

pubg数据集 精选原图1.42万数据 1.49万标签 无任何重复、算法增强或冗余图像! pubg绝地求生目标检测数据集 1分类:e_body,14905个标签,txt格式 共计14244张图,99%为640*640尺寸图像 适合yolo目标检测、AI训练关键词&am…

2026/7/29 14:34:28 阅读更多 →
Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别: allies enemy tag图片总量:7247张训练集:5139张验证集:1425张测试集:683张标注状态:全部已标注,即拿即用数据格式:支持YOLO格式及其他格式&#…

2026/7/29 15:00:03 阅读更多 →

月新闻