flink-on-k8s-operator部署指南:从Helm Chart到生产环境的最佳实践
flink-on-k8s-operator部署指南从Helm Chart到生产环境的最佳实践【免费下载链接】flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址: https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator什么是flink-on-k8s-operatorflink-on-k8s-operator是一个Kubernetes operator用于管理Apache Flink和Beam应用程序的生命周期。它允许用户通过Kubernetes自定义资源(CR)来定义和管理Flink集群和作业极大简化了Flink在Kubernetes上的部署和运维流程。准备工作环境要求一个运行中的Kubernetes集群建议1.14版本kubectl v1.14Helm推荐v3版本go v1.12如果从源码构建验证集群信息kubectl cluster-info克隆代码仓库git clone https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator cd flink-on-k8s-operator使用Helm Chart部署Flink Operator准备Flink Operator镜像您可以使用官方发布的镜像export IMGgcr.io/flink-operator/flink-operator:latest或者根据开发者指南从源码构建自己的镜像。更新模板文件本地安装时需要cd helm-chart/flink-operator ./update_template.sh您可以设置以下环境变量来自定义脚本行为export IMGimage-name- 操作器镜像默认为flink-operator:latestexport NSnamespace-name- 安装操作器的命名空间默认为flink-operator-system添加Helm仓库helm repo add flink-operator-repo https://googlecloudplatform.github.io/flink-on-k8s-operator/安装Helm Charthelm install --name flink-operator flink-operator-repo/flink-operator --set operatorImage.name$IMG如果要安装到已存在的命名空间helm install --name flink-operator flink-operator-repo/flink-operator \ --set operatorImage.name$IMG,flinkOperatorNamespace.namemy-namespace,flinkOperatorNamespace.createfalse验证部署检查CRD是否创建kubectl get crds | grep flinkclusters.flinkoperator.k8s.io查看CRD详情kubectl describe crds/flinkclusters.flinkoperator.k8s.io检查Operator部署状态kubectl get deployments -n flink-operator-system验证Operator Pod是否运行kubectl get pods -n flink-operator-system查看Operator日志kubectl logs -n flink-operator-system -l appflink-operator --all-containers成功部署后您应该能看到类似以下的日志INFO setup Starting manager INFO controller-runtime.certwatcher Starting certificate watcher INFO controller-runtime.controller Starting workers {controller: flinkcluster, worker count: 1}创建示例Flink集群创建Flink会话集群kubectl apply -f config/samples/flinkoperator_v1beta1_flinksessioncluster.yaml创建Flink作业集群kubectl apply -f config/samples/flinkoperator_v1beta1_flinkjobcluster.yaml验证集群状态kubectl get flinkclusters查看集群详细信息kubectl describe flinkclusters CLUSTER-NAME提交作业到Flink集群通过Flink Web UI提交首先创建到JobManager的端口转发kubectl port-forward svc/[FLINK_CLUSTER_NAME]-jobmanager 8081:8081然后通过浏览器访问 http://localhost:8081 提交作业。通过命令行提交flink run -m localhost:8081 examples/batch/WordCount.jar --input ./README.txt监控Flink集群和作业监控Operatorkubectl logs -n flink-operator-system -l appflink-operator --all-containers -f --tail1000监控Flink作业查看作业提交状态和日志kubectl describe jobs CLUSTER-NAME-job-submitter kubectl logs jobs/CLUSTER-NAME-job-submitter -f使用Prometheus监控创建启用Prometheus指标导出器的Flink集群和PodMonitorkubectl apply -f examples/prometheus/flink_metric_cluster.yaml kubectl apply -f examples/prometheus/pod-monitor.yaml生产环境最佳实践部署多个Operator实例在多租户集群中可以为每个命名空间部署专用的Operatormake deploy \ IMGoperator-image \ FLINK_OPERATOR_NAMESPACEnamespace-to-deploy-operator \ RESOURCE_PREFIXkuberntes-resource-name-prefix \ WATCH_NAMESPACEnamespace-to-watch管理Savepoints请参考Savepoints指南了解如何使用Operator管理Savepoints。更新Flink集群和作业可以通过更新FlinkCluster自定义资源来更新Flink作业和集群。例如kubectl apply -f examples/update/wordcount-1.9.2.yaml kubectl apply -f examples/update/wordcount-1.9.3.yaml检查更新历史kubectl get controllerrevision kubectl get controllerrevision REVISION-NAME -o yaml控制日志行为可以使用spec.logConfig字段完全控制log4j和logback配置示例配置见log_config.yaml。控制Pod安全性和权限可以在FlinkCluster规范中设置PodSecurityContexttaskManager: ... securityContext: runAsUser: 9999 runAsGroup: 1000 fsGroup: 2000挂载外部卷如果您的部署需要更大的存储容量或更快的状态后端访问可以使用TaskManager配置中的volumeClaimTemplates选项taskManager: ... volumeClaimTemplates: - metadata: name: flink-storage spec: accessModes: [ ReadWriteOnce ] resources: requests: storage: 10Gi volumeMounts: - name: flink-storage mountPath: /opt/flink/storage卸载Operator卸载Helm Charthelm delete flink-operator删除CRD谨慎操作kubectl delete crd flinkclusters.flinkoperator.k8s.io注意删除CRD将导致所有FlinkCluster CR和相关的Kubernetes资源被终止因此应谨慎删除。总结通过Helm Chart部署flink-on-k8s-operator是在Kubernetes上管理Flink集群的便捷方式。本文介绍了从环境准备到生产环境最佳实践的完整流程帮助您快速上手并正确配置Flink Operator。如需更多详细信息请参考项目的官方文档。【免费下载链接】flink-on-k8s-operator[DEPRECATED] Kubernetes operator for managing the lifecycle of Apache Flink and Beam applications.项目地址: https://gitcode.com/gh_mirrors/fli/flink-on-k8s-operator创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

gh_mirrors/gr/grpc-tutorial监控与日志:打造可观测的gRPC服务

gh_mirrors/gr/grpc-tutorial监控与日志:打造可观测的gRPC服务

gh_mirrors/gr/grpc-tutorial监控与日志:打造可观测的gRPC服务 【免费下载链接】grpc-tutorial gRPC tutorial for Japanese readers 项目地址: https://gitcode.com/gh_mirrors/gr/grpc-tutorial gh_mirrors/gr/grpc-tutorial是一个面向日语读者的gRPC教程项…

2026/11/17 5:40:31 阅读更多 →
快速上手Vuetensils:零基础也能掌握的Vue组件库入门指南

快速上手Vuetensils:零基础也能掌握的Vue组件库入门指南

快速上手Vuetensils:零基础也能掌握的Vue组件库入门指南 【免费下载链接】vuetensils 🍴 A tasty toolset for Vue.js 🛠 - Lightweight, functional components to boost your next project. 项目地址: https://gitcode.com/gh_mirrors/vu…

2026/10/27 9:26:44 阅读更多 →
openftp4数据格式详解:轻松解析IP|时间戳|Banner三元素

openftp4数据格式详解:轻松解析IP|时间戳|Banner三元素

openftp4数据格式详解:轻松解析IP|时间戳|Banner三元素 【免费下载链接】openftp4 A list of all FTP servers in IPv4 that allow anonymous logins. 项目地址: https://gitcode.com/gh_mirrors/op/openftp4 openftp4是一个收集全球允许匿名登录的IPv4 FTP服…

2026/11/16 1:59:41 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻