云原生容器编排【免费下载链接】chartsBitnami Helm Charts项目地址https://gitcode.com/GitHub_Trending/charts30/charts点击查看免费下载Apache Spark 是面向大规模数据处理、机器学习与实时流计算的高性能计算引擎支持 Java、Python、Scala 与 R 等多种语言 API。Bitnami 出品的sparkHelm Chart当前版本 10.0.x对应 Spark 4.0.0在 bitnami/spark 的 CHANGELOG 中完整记录了从 2019 年 0.0.1 初版至今的演进脉络。本文以该 CHANGELOG 为核心骨架结合 values.yaml、statefulset-master.yaml、statefulset-worker.yaml、networkpolicy-master.yaml、hpa-worker.yaml 等仓库源码梳理这个 Chart 如何从基础编排逐步走向安全默认、可观测、可弹性的生产级方案并给出可直接落地的部署、配置与运维指引。读完本文你将能够读懂该 Chart 每次大版本升级背后的技术动机熟练配置 master/worker 双 StatefulSet 架构、TLS/RPC 加密、NetworkPolicy、HPA/PDB、Prometheus 监控等关键能力掌握通过spark-submit向集群提交作业的完整流程。版本时间线一个 Helm Chart 的六年演进从 CHANGELOG.md 可以清晰看到该 Chart 的版本节奏2020 年完成 Helm v2 到 v3 与apiVersion: v2的适配4.0.02021 年补齐自签证书与 reverse proxy 支持2022 年完成 Chart standarization 全面重构6.0.02023–2024 年集中投放安全能力PSA restricted、NetworkPolicy、PDB、readOnlyRootFilesystem、资源预置2025 年推出可选 worker 与依赖更新。下面按主版本号分段梳理。早期奠基0.x–3.x2019–20200.0.12019-06-28首个 Spark Helm Chart 提交确立了 Chart 的基础形态。1.0.02019-07-17实现重大功能变更并同步 bump 主版本号此后沿用语义化版本约定。3.0.02020-09-02引入bitnami/common子 Chart 并更新组件版本开始复用公共模板库。4.0.02020-11-10将 Chart 适配为apiVersion: v2Helm 3 时代为后续标准化铺路。这一阶段的核心价值在于把 Spark master/worker 跑在 Kubernetes 上这件事标准化后续所有能力都建立在 v2 Chart 与公共模板之上。标准化与功能扩展5.x–6.x2021–20225.4.0为 worker StatefulSet 增加podManagementPolicy参数可配置OrderedReady或Parallel。5.5.0支持自动生成证书autoGenerated certs让 TLS 开箱可用。5.6.0增加runAsGroup支持5.7.0引入 diagnostic mode诊断模式禁用探针并覆盖启动命令便于排障。5.9.0当security.ssl.enabled时开放 HTTPS 端口。6.0.02022-04-26完成 Chart 全面标准化Chart standarization模板结构、参数命名统一到 Bitnami 规范。6.2.0为 Spark Chart 引入 init 支持脚本initScripts。6.3.0支持镜像 digestimage.digest实现不可变镜像引用。6.4.0支持service.headless.annotations。从 6.0.0 起这个 Chart 与 Bitnami 其他 200 图表共用同一套 common 模板约定这也是为什么后续版本迭代几乎全部是向公共能力对齐。安全加固密集期7.x–9.x2023–2025这是 CHANGELOG 中信息密度最高的一段几乎每一行都对应一个安全或高可用特性7.1.0在 master 与 worker StatefulSet 中支持extraVolumeClaimTemplates额外 PVC 模板可用于挂载作业数据。8.1.0支持PSA restricted 策略Pod Security Admission 受限模式。8.2.0完善podSecurityContext与containerSecurityContext的核心安全上下文runAsNonRoot、capabilities 等。8.3.0将 service-account token 的自动挂载移动到 pod 声明处统一管理8.3.1将seLinuxOptions置空以兼容 OpenShift。8.4.0启用NetworkPolicy默认创建。8.5.0增加allowExternalEgress以兼容 Istio 场景修复网络策略破坏 Service Mesh 的问题。8.6.0加入resource preset资源预置支持。8.8.0支持readOnlyRootFilesystem只读根文件系统。8.9.0自动适配OpenShift restricted-v2 SCC。9.0.02024-03-15「Improve security defaults」——默认安全配置大幅收紧是典型的破坏性大版本。9.1.0当用户替换了原始镜像时输出告警modified images 警告。9.2.0启用PodDisruptionBudgetPDB。9.2.6默认 StorageClass 改用全局参数global.defaultStorageClass。9.2.12修复extraEgress从 master 误应用到 worker 的问题。9.3.0检测非标准镜像Detect non-standard images并补充 Backup Restore 与 Prometheus metrics 文档段落。9.4.0Spark optional worker——worker 变为可选项worker.enabled允许仅部署 master 的场景。这些变更的源码证据可以直接在 statefulset-master.yaml 中看到默认runAsNonRoot: true、privileged: false、readOnlyRootFilesystem: true、allowPrivilegeEscalation: false、capabilities.drop: [ALL]、seccompProfile.type: RuntimeDefault——这正是 9.0.0 安全默认值在模板上的落点。当前主线10.x202510.0.0随依赖更新发布10.0.1–10.0.3为依赖引用更新与修复。当前 Chart.yaml 中version: 10.0.4、appVersion: 4.0.0镜像为docker.io/bitnami/spark:4.0.0-debian-12-r20依赖common2.x。架构与部署master/worker 双 StatefulSet 模型部署架构Chart 默认部署两个工作负载组件资源类型默认副本职责spark-masterStatefulSet1集群调度中心提供 Web UI8080与集群通信端口7077spark-workerStatefulSet2worker.replicaCount执行作业的计算节点两个 StatefulSet 共用同一个 headless ServiceserviceName指向{{ release }}-headless见 statefulset-master.yaml并通过app.kubernetes.io/component: master|worker标签区分。从 9.4.0 起 worker 为可选组件worker.enabled见 statefulset-worker.yaml若只需调度端或使用外部计算资源可将worker.enabled设为false。快速安装前置条件Kubernetes 1.23、Helm 3.8.0见 README.md。使用 OCI 仓库安装helm install my-release oci://registry-1.docker.io/bitnamicharts/spark升级与卸载helm upgrade my-release oci://registry-1.docker.io/bitnamicharts/spark helm uninstall my-release核心参数一览来自 values.yaml镜像与全局参数参数默认值说明image.registry/image.repositorydocker.io/bitnami/spark镜像仓库与仓库名image.tag4.0.0-debian-12-r20镜像标签生产环境建议使用不可变标签image.digest镜像 digest设置后覆盖 tag6.3.0 引入image.pullPolicyIfNotPresent拉取策略global.imageRegistry全局镜像仓库会覆盖依赖镜像配置global.defaultStorageClass全局默认 StorageClass9.2.6 起取代旧的global.storageClassclusterDomaincluster.local集群域名hostNetworkfalse启用后同时将 dnsPolicy 设为ClusterFirstWithHostNet5.3.0 引入Master 参数参数默认值说明master.enabledtrue是否部署 master StatefulSetmaster.containerPorts.http/.https/.cluster8080/8480/7077master 的 HTTP/HTTPS/集群通信端口master.configOptions以-Dxy形式追加 master JVM 配置注入SPARK_MASTER_OPTSmaster.daemonMemoryLimitmaster 守护进程内存上限SPARK_DAEMON_MEMORYmaster.existingConfigmap挂载自定义配置spark-env.sh/spark-defaults.conf到/bitnami/spark/conf/master.resourcesPresetsmall资源预置none/nano/micro/small/medium/large/xlarge/2xlarge8.6.0 引入master.resources{}显式资源 requests/limits生产环境推荐使用master.pdb.createtrue创建 master 的 PDB9.2.0 引入Worker 参数参数默认值说明worker.enabledtrue是否部署 worker9.4.0 引入worker.replicaCount2worker 数量启用 HPA 后为最小副本数worker.memoryLimit/worker.coreLimitworker 可用的最大内存/核心数worker.podManagementPolicyOrderedReadyStatefulSet 管理策略5.4.0 引入worker.autoscaling.enabledfalse启用 HPA见下节提交作业spark-submit集群就绪后从 NOTES.txt 可以看到三种访问模式下的提交方式。以默认 ClusterIP 为例进入 worker pod 内提交官方示例作业export EXAMPLE_JAR$(kubectl exec -ti --namespace NAMESPACE my-release-worker-0 -- find examples/jars/ -name spark-example*\.jar | tr -d \r) kubectl exec -ti --namespace NAMESPACE my-release-worker-0 -- spark-submit --master spark://my-release-master-svc:7077 \ --class org.apache.spark.examples.SparkPi \ $EXAMPLE_JAR 5注意从集群外部提交时service.type需设为NodePort或LoadBalancer且--master必须指向 Service 的 IP 与端口否则应用将无法解析 masterNOTES.txt。外网场景下可将 service 暴露后执行kubectl run --namespace NAMESPACE my-release-client --rm --tty -i --restartNever \ --image docker.io/bitnami/spark:4.0.0-debian-12-r20 \ -- spark-submit --master spark://$SUBMIT_IP:$SUBMIT_PORT \ --class org.apache.spark.examples.SparkPi \ --deploy-mode cluster \ $EXAMPLE_JAR 1000安全体系从可用到安全默认CHANGELOG 中 8.x–9.x 的密集安全提交最终沉淀为当前版本的安全默认值。可以在 statefulset-master.yaml 与 values.yaml 中逐一核对containerSecurityContext: enabled: true runAsUser: 1001 runAsGroup: 1001 runAsNonRoot: true privileged: false readOnlyRootFilesystem: true allowPrivilegeEscalation: false capabilities: drop: [ALL] seccompProfile: type: RuntimeDefault1. 非 root 与只读根文件系统8.2.0 / 8.8.0 / 9.0.0容器以 UID 1001 非 root 运行根文件系统只读禁用特权提升并丢弃全部 capabilities——这是 9.0.0「Improve security defaults」的核心。为此模板把所有需要写出的路径都挂载为 emptyDir 子路径/tmp、/opt/bitnami/spark/conf、/opt/bitnami/spark/tmp、/opt/bitnami/spark/logs、/opt/bitnami/spark/work见 statefulset-master.yaml。2. 与 PSA / OpenShift 的兼容适配8.1.0 / 8.3.1 / 8.9.0 / 9.2.14PSA restricted8.1.0 起默认安全上下文满足受限策略要求。OpenShift restricted-v2 SCC8.9.0 起自动适配通过global.compatibility.openshift.adaptSecurityContext可选auto/force/disabled控制auto模式下检测到 OpenShift 集群会自动移除runAsUser、runAsGroup、fsGroup交由平台注入默认 ID见 values.yaml。模板中统一调用common.compatibility.renderSecurityContext渲染安全上下文见 statefulset-master.yaml。3. 网络策略8.4.0 / 8.5.0master 与 worker 默认各生成一份 NetworkPolicypolicyTypes: Ingress/Egress。以 master 为例见 networkpolicy-master.yamlmaster.networkPolicy.enabled: true默认开启allowExternal: true表示接受任意来源连接设为false后仅允许带正确 client label 的 Pod 访问可通过ingressNSMatchLabels/ingressNSPodMatchLabels放行指定命名空间allowExternalEgress8.5.0 引入默认为true放行全部出站流量。若为falseEgress 规则会严格限制为 DNS53/UDPTCP以及到 worker/master 组件端口的定向连接——这一开关正是为了在启用 Istio 等 Service Mesh 时避免误伤代理流量extraIngress/extraEgress可追加自定义规则8.x 期间修复了extraEgress误挂载到 master 的问题见 9.2.12。4. 传输与存储加密5.5.0 / 5.9.0 / 6.xsecurity段提供多层加密详见 values.yaml参数默认值说明security.rpc.authenticationEnabledfalse开启 RPC 认证注入SPARK_RPC_AUTHENTICATION_ENABLED与 secret 中的密钥security.rpc.encryptionEnabledfalse开启 RPC 加密security.storageEncryptionEnabledfalse本地存储加密security.ssl.enabledfalse开启 HTTPS Web UImaster 端口切换为 8480security.ssl.autoGeneratedfalse自动生成自签 PEM 证书security.ssl.existingSecret使用已有 Secret内含spark-keystore.jks与spark-truststore.jkssecurity.ssl.protocolTLSv1.2SSL 协议启用 SSL 时StatefulSet 会注入init-certsinitContainer若使用自动生成证书则用opensslkeytool将 PEM 转换为 JKS keystore/truststore 并写入/opt/bitnami/spark/conf/certs见 statefulset-master.yaml若提供现有 JKS 文件则直接复制。所有密码从spark.passwordsSecretName指向的 Secret 中读取避免明文落盘。5. 镜像完整性6.3.0 / 9.1.0 / 9.3.0 / 10.0.ximage.digest让镜像引用可复现6.3.09.1.0 起替换默认镜像时会输出警告9.3.0 起会检测非标准镜像10.0.x 则持续跟随上游依赖与安全更新若使用未经签名的镜像可设置global.security.allowInsecureImages跳过校验见 values.yaml。高可用与弹性PDB、HPA 与调度策略PodDisruptionBudget9.2.0 引入master 与 worker 的 PDB 均默认创建pdb.create: true模板见 pdb-worker.yaml。两者均未设置minAvailable时默认maxUnavailable: 1保证节点维护时最多中断 1 个副本worker: pdb: create: true minAvailable: # 与 maxUnavailable 二选一 maxUnavailable: # 都为空时默认 1基于 CPU/内存的 Worker HPA1.0.x 即有经 6.1.x 适配 API 版本worker.autoscaling.enabled: true后hpa-worker.yaml 会生成指向 worker StatefulSet 的 HorizontalPodAutoscalerworker: autoscaling: enabled: true minReplicas: 1 maxReplicas: 10 targetCPU: 60 targetMemory: # 可选按内存利用率扩容HPA 的apiVersion通过common.capabilities.hpa.apiVersion按集群能力自动选择6.1.x 系列提交的修复点。调度与放置亲和性master/worker.podAntiAffinityPreset默认soft软反亲和尽量分散可设hard强制不同节点nodeAffinityPreset按节点标签匹配完全自定义则直接写affinity会覆盖全部 preset。topologySpreadConstraints、nodeSelector、tolerations、schedulerName均支持6.1.8 曾修复 tolerations 默认值问题。hostAliases5.1.0 引入可在 Pod 内注入自定义 hosts 条目。可观测性Spark 原生指标接入 Prometheus指标暴露4.2.0 引入将metrics.enabled设为true后master/worker 容器注入SPARK_METRICS_ENABLEDtrue见 statefulset-master.yaml并在 Pod 上打上 Prometheus 抓取注解metrics: enabled: true masterAnnotations: prometheus.io/scrape: true prometheus.io/path: /metrics/ prometheus.io/port: 8080 workerAnnotations: prometheus.io/scrape: true prometheus.io/path: /metrics/ prometheus.io/port: 8080PodMonitor 与告警规则若集群安装了 Prometheus Operator含 CRD可启用metrics: podMonitor: enabled: true interval: 30s scrapeTimeout: additionalLabels: {} extraMetricsEndpoints: [] # 监控 worker 上运行的作业 prometheusRule: enabled: false rules: [] # 自定义 PromQL 告警规则对应的 podmonitor.yaml 与 prometheusrule.yaml 模板在metrics.*开关开启后生成资源需要注意这些 CRD 需预先存在于集群否则 Helm 渲染会报no matches for kind PodMonitor in version monitoring.coreos.com/v1。更完整的 Prometheus 部署可参考本仓库的 bitnami/prometheus 与 bitnami/kube-prometheus。自定义与排障自定义配置按 README.md 的做法创建包含spark-env.sh可选附带spark-defaults.conf的 ConfigMap然后通过master.existingConfigmap/worker.existingConfigmap引用配置会被挂载到/bitnami/spark/conf/。此外initScripts/initScriptsCM/initScriptsSecret6.2.0 引入首启脚本挂载到/docker-entrypoint-initdb.d/extraEnvVars/extraEnvVarsCM/extraEnvVarsSecret注入额外环境变量extraVolumes/extraVolumeMounts/extraVolumeClaimTemplates7.1.0 引入挂载额外存储sidecars/initContainers自定义边车与初始化容器extraDeploy随 release 一并部署任意附加资源。诊断模式5.7.0 引入当 Pod 启动异常时可开启诊断模式排查所有探针被禁用启动命令被覆盖为sleep infinity随后进入容器手动复现启动脚本diagnosticMode: enabled: true command: [sleep] args: [infinity]kubectl exec --namespace NAMESPACE -ti my-release-master-0 -- bash /opt/bitnami/scripts/spark/entrypoint.sh /opt/bitnami/scripts/spark/run.sh这一模式在 NOTES.txt 中也有对应说明。探针配置master 与 worker 均提供 liveness/readiness/startup 三类探针及custom*Probe覆盖入口。9.0.4 曾将 liveness 与 readiness 探针分离liveness 用 TCP 探测、readiness 用 HTTP GET/以更精确反映组件状态见 statefulset-master.yaml。升级注意事项与最佳实践大版本变更需审计默认值9.0.0 收紧安全默认值非 root、只读根文件系统、禁用特权提升属于破坏性变更8.x 引入 NetworkPolicy、9.2.0 引入 PDB 同样会改变集群行为。升级前应结合 CHANGELOG 逐条核对。生产环境使用不可变镜像标签image.tag固定到具体版本当前为4.0.0-debian-12-r20避免滚动标签导致的无感知升级配合image.digest可获得更强可复现性。显式声明资源resourcesPreset适合快速起步生产环境建议按负载显式配置master.resources与worker.resources并为 HPA 提供稳定的 CPU 指标。Worker 数量按需设计固定负载可调worker.replicaCount波动负载可开启worker.autoscaling并配合 PDB 保证维护窗口可用性。内外网提交路径不同集群内提交使用 master Service 名外部提交必须将 service 暴露为 NodePort/LoadBalancer并将--master指向对应地址。安全基线默认即达标当前版本的安全上下文、NetworkPolicy、只读根文件系统等默认已满足 PSA restricted 的多数要求可直接作为企业内部安全基线的参考模板。围绕 bitnami/spark/CHANGELOG.md 梳理可见这个 Chart 的演进本质是容器化 Spark 的生产化从最初的编排骨架到标准化、可观测、可弹性再到安全默认——每一次版本号变化背后都是可审计的工程决策。开发者既可以直接helm install上手也可以把它的模板与安全默认值作为自建大数据平台的安全参考基线。赞分享云原生容器编排【免费下载链接】chartsBitnami Helm Charts项目地址https://gitcode.com/GitHub_Trending/charts30/charts点击查看免费下载相关推荐Bitnami ExternalDNS Helm Chart 版本演进全解析从 0.0.1 到 9.x 的功能变迁与升级指南Bitnami ExternalDNS Helm Chart 版本演进全解析从 0.0.1 到 9.x 的功能变迁与升级指南 本篇文章以 bitnami/ex云原生容器编排Bitnami Metrics Server Helm Chart 演进全解析从 0.0.1 到 7.4.x 的功能迭代与安全加固之路Bitnami Metrics Server Helm Chart 演进全解析从 0.0.1 到 7.4.x 的功能迭代与安全加固之路 本文以 bitnami云原生容器编排Bitnami Pinniped Helm Chart 版本演进全解析从部署入门到安全加固实践Bitnami Pinniped Helm Chart 版本演进全解析从部署入门到安全加固实践 Pinniped 是面向 Kubernetes 的身份服务提供云原生容器编排上一篇Cycle.js实时协作用户在线状态响应式应用的用户 presence 功能下一篇SmolLM-360M-openmind终极小型语言模型完全指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考