Kubernetes生产环境部署与核心配置实战指南

1. 项目背景与核心价值在云原生技术领域Kubernetes简称k8s已经成为容器编排的事实标准。从业十年间我见证了k8s从最初的Borg论文概念发展到如今支撑全球数百万应用的庞大生态。k8s十年签证这个比喻形象地描述了掌握k8s核心技能对技术人职业生涯的长期价值——就像获得了一张在云原生领域畅通无阻的长期通行证。实际工作中一个完整的k8s生产环境部署往往涉及20核心组件和100配置参数。新手常会陷入部署成功但生产不可用的困境这正是我们需要系统化掌握k8s的原因。下面我将从集群搭建、组件配置到生产实践分享真正经得起十年考验的k8s核心知识体系。2. 集群搭建从零到生产就绪2.1 基础设施选型要点生产级k8s集群的硬件配置需要遵循3-2-1原则3个控制平面节点确保etcd集群高可用2个以上工作节点根据业务负载动态扩展1套独立的网络存储推荐Ceph或NFS# 节点最低配置示例生产环境 控制节点4核CPU/8GB内存/100GB磁盘 工作节点根据业务需求建议8核CPU起特别注意Ubuntu 22.04是目前对k8s兼容性最好的Linux发行版其内置的5.15内核完美支持cgroup v2和eBPF等新特性。2.2 关键组件部署实战使用kubeadm部署时需要特别注意以下参数kubeadm init \ --control-plane-endpoint CLUSTER_DNS:6443 \ --pod-network-cidr10.244.0.0/16 \ --service-cidr10.96.0.0/12 \ --upload-certs网络插件选择建议Flannel最适合新手但功能简单Calico生产首选支持网络策略Cilium未来趋势基于eBPF技术3. 核心组件深度配置3.1 CoreDNS优化方案默认的双副本部署确实存在单点风险。生产环境建议apiVersion: apps/v1 kind: Deployment metadata: name: coredns spec: replicas: 3 # 根据集群规模调整 strategy: rollingUpdate: maxUnavailable: 1 template: spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: k8s-app operator: In values: [kube-dns] topologyKey: kubernetes.io/hostname3.2 ConfigMap与Secret最佳实践安全敏感配置必须使用Secret# 创建通用Secret kubectl create secret generic db-creds \ --from-literalusernameadmin \ --from-literalpasswordS!B\*d$zDsb # 挂载到Pod volumeMounts: - name: creds-volume mountPath: /etc/credentials readOnly: true血泪教训曾因在ConfigMap中明文存储数据库密码导致安全事故现在所有敏感信息必须走Secret并启用加密存储--encryption-provider-config。4. 典型工作负载部署4.1 有状态服务PostgreSQL部署apiVersion: apps/v1 kind: StatefulSet metadata: name: postgres spec: serviceName: postgres replicas: 3 volumeClaimTemplates: - metadata: name: pgdata spec: accessModes: [ ReadWriteOnce ] storageClassName: ceph-rbd resources: requests: storage: 100Gi template: spec: containers: - name: postgres image: postgres:14 ports: - containerPort: 5432 volumeMounts: - name: pgdata mountPath: /var/lib/postgresql/data resources: limits: memory: 4Gi cpu: 24.2 GPU资源调度方案对于AI训练场景resources: limits: nvidia.com/gpu: 2配合节点标签实现分片调度kubectl label nodes gpu-node-1 gpu-typea100 kubectl label nodes gpu-node-2 gpu-typev1005. 生产环境关键配置5.1 资源限制与配额管理内存限制必须设置resources: requests: memory: 256Mi cpu: 250m limits: memory: 512Mi cpu: 500m集群级配额示例apiVersion: v1 kind: ResourceQuota metadata: name: team-quota spec: hard: pods: 100 requests.cpu: 20 requests.memory: 100Gi limits.cpu: 40 limits.memory: 200Gi5.2 网络策略实战只允许前端访问API服务apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: api-allow-frontend spec: podSelector: matchLabels: app: api-server policyTypes: - Ingress ingress: - from: - podSelector: matchLabels: app: frontend ports: - protocol: TCP port: 80806. 运维监控体系搭建6.1 核心监控指标必须监控的黄金指标节点资源利用率CPU/Mem/DiskPod重启次数API Server延迟etcd写入延迟网络丢包率推荐Prometheus采集配置- job_name: kubernetes-pods kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true6.2 日志收集方案EFK栈部署要点# Fluentd配置片段 source type tail path /var/log/containers/*.log pos_file /var/log/fluentd-containers.log.pos tag kubernetes.* read_from_head true parse type json time_format %Y-%m-%dT%H:%M:%S.%NZ /parse /source7. 故障排查手册7.1 常见问题速查表故障现象排查命令解决方案Pod一直Pendingkubectl describe pod name检查资源配额和节点污点服务无法访问kubectl get endpoints验证Service selector匹配镜像拉取失败kubectl get events检查imagePullSecretsDNS解析超时kubectl exec -it pod -- nslookup kubernetes.default检查CoreDNS副本数7.2 必须掌握的调试命令# 查看kubelet日志 journalctl -u kubelet -f # 检查证书有效期 openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -dates # 网络连通性测试 kubectl run -it --rm debug --imagenicolaka/netshoot -- bash8. 版本升级策略采用滚动升级方案先升级kubeadm控制平面kubeadm upgrade apply v1.28.0逐个drain工作节点kubectl drain node --ignore-daemonsets升级kubelet和kubectlapt-get update apt-get install -y kubelet1.28.0-00 kubectl1.28.0-00解除节点保护kubectl uncordon node十年经验证明保持k8s版本在N-2范围内当前最新1.28则运行1.26能获得最佳稳定性与新特性平衡。