环境说明本文基于银河麒麟高级服务器操作系统 V10 SP3 2403x86_64搭建 Kubernetes 集群部署规模为1 master 1 node。组件版本Kubernetesv1.33.7containerdcontainerd.io 1.6.33CNICalico v3.25.0说明文中的 IP、主机名、token 均为实验环境信息生产环境请按实际规划调整。一、引言1. 文档概述Kubernetes简称 K8s是用 8 代替 8 个字符“kubernete”而成的缩写。它是一个开源的、用于管理云平台中多个主机上的容器化应用系统。Kubernetes 的目标是让部署容器化应用简单且高效并提供应用部署、规划、更新、维护的一种机制。经常有需求要搭建 K8s 集群本手册基于银河麒麟高级服务器操作系统 V10 SP3 2403x86搭建 K8s 集群部署规模为 1 master 1 node。2. 适用范围本手册面向具有 Linux 操作系统使用经验的用户及相关技术人员等。二、部署前准备工作1. 环境准备硬件环境项目说明系统安装方式UKUI GUI 右侧全选CPUHygon Dhyana Processor内存8G磁盘100GB网络互联网数量2 台软件环境项目说明银河麒麟高级服务器操作系统V10 SP3 2403 Build20/20240426Kubernetesv1.33.7运行时containerd.io-1.6.33-3.1.el7CNI 插件Calico v3.25.02. 获取配置源额外准备 2 个 yum 源。1配置 docker-ce 源cat /etc/yum.repos.d/docker-ce.repo[docker-ce-stable] nameDocker CE Stable - $basearch baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable enabled1 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-stable-debuginfo] nameDocker CE Stable - Debuginfo $basearch baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/stable enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-stable-source] nameDocker CE Stable - Sources baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/source/stable enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-test] nameDocker CE Test - $basearch baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/test enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-test-debuginfo] nameDocker CE Test - Debuginfo $basearch baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/test enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-test-source] nameDocker CE Test - Sources baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/source/test enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-nightly] nameDocker CE Nightly - $basearch baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/nightly enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-nightly-debuginfo] nameDocker CE Nightly - Debuginfo $basearch baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/debug-$basearch/nightly enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg [docker-ce-nightly-source] nameDocker CE Nightly - Sources baseurlhttps://mirrors.aliyun.com/docker-ce/linux/centos/7/source/nightly enabled0 gpgcheck1 gpgkeyhttps://mirrors.aliyun.com/docker-ce/linux/centos/gpg2配置 Kubernetes 源cat /etc/yum.repos.d/kubernetes.repo[kubernetes] nameKubernetes baseurlhttps://pkgs.k8s.io/core:/stable:/v1.33/rpm/ enabled1 gpgcheck1 gpgkeyhttps://pkgs.k8s.io/core:/stable:/v1.33/rpm/repodata/repomd.xml.key3. 获取部署包下载 Calico 镜像包链接百度网盘 请输入提取码百度网盘为您提供文件的网络备份、同步和分享服务。空间大、速度快、安全稳固支持教育网加速支持手机端。注册使用百度网盘即可享受免费存储空间https://pan.baidu.com/s/1tH9sKMpx1RrWHeV2T--gkw提取码1111获取以下 3 个镜像包cni.tarkube-controllers.tarnode.tar注意百度网盘链接可能失效建议将镜像包提前下载到本地或内部制品库。三、部署步骤1. 系统配置准备 2 台服务器部署 K8s可以是物理服务器也可以是虚拟机。本手册使用 2 台虚拟机搭建集群先安装操作系统文档不演示再完成以下系统配置。角色主机名IP控制节点master192.168.122.188工作节点node192.168.122.1891修改各主机的主机名hostnamectl set-hostname master # 控制节点 hostnamectl set-hostname node # 工作节点2修改各主机的 /etc/hosts 文件vim /etc/hosts192.168.122.188 master 192.168.122.189 node3关闭防火墙systemctl disable --now firewalld.service systemctl status firewalld.service4关闭 SELinuxsed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config getenforce5禁用 swap 分区vim /etc/fstab将 swap 这行禁用然后执行mount -a swapoff -a6开启端口转发与网桥流量过滤规则新建/etc/sysctl.d/k8s.conf文件在文件末尾添加如下内容vim /etc/sysctl.d/k8s.confnet.bridge.bridge-nf-call-ip6tables 1 net.bridge.bridge-nf-call-iptables 1 net.ipv4.ip_forward 1新建/etc/modules-load.d/k8s.conf文件添加以下内容vim /etc/modules-load.d/k8s.confoverlay br_netfilter执行命令让其生效modprobe overlay modprobe br_netfilter sysctl -p /etc/sysctl.d/k8s.conf注意如果出现报错需要先加载模块br_netfilter再使内核参数生效。7拷贝 yum 源将前面准备的 2 个 yum 源拷贝到各节点/etc/yum.repos.d/目录。ls /etc/yum.repos.d/2. 安装运行时1安装 containerd 运行时yum remove -y docker-runc # 先卸载麒麟的 runc 工具 yum install -y containerd.io # 安装 containerd 运行时 systemctl enable --now containerd.service # 设置服务开机自启动 systemctl status containerd.service # 查看服务状态 containerd -v2调整运行时最大文件数将运行时的最大文件数改成1048576默认1073741816。sed -i s/LimitNOFILEinfinity/LimitNOFILE1048576/ /usr/lib/systemd/system/containerd.service systemctl daemon-reload systemctl restart containerd.service cat /proc/$(systemctl status containerd.service | grep PID | awk {print $3})/limits | grep open files3生成 containerd 默认配置文件containerd config default | sudo tee /etc/containerd/config.toml给 containerd 运行时配置镜像加速地址将sandbox_image行改成registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.10检查并重启grep sandbox_image /etc/containerd/config.toml systemctl restart containerd.service4配置 crictl 文件yum install cri-tools -y tee /etc/crictl.yaml /dev/null EOF runtime-endpoint: unix:///run/containerd/containerd.sock image-endpoint: unix:///run/containerd/containerd.sock EOF用crictl images查看是否生效crictl images3. 安装 K8s 组件1安装 kubelet、kubeadm、kubectlyum install -y kubelet kubeadm kubectl systemctl enable --now kubelet kubelet --help | grep infra注意此时 kubelet 缺少证书处于无法启动状态待集群初始化完成后可恢复正常。2初始化集群只在 master 节点执行kubeadm init \ --image-repositoryregistry.cn-hangzhou.aliyuncs.com/google_containers \ --service-cidr10.96.0.0/12 \ --pod-network-cidr10.244.0.0/16 \ --control-plane-endpoint192.168.122.188:6443 \ --upload-certs当出现以下标识表明集群初始化成功Your Kubernetes control-plane has initialized successfully!若初始化失败先清理集群信息检查错误后再重新初始化kubeadm reset # 清理集群3添加集群访问鉴权mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config此时 kubelet 服务已恢复正常systemctl status kubelet检查集群初始化完成但节点处于 NotReady 状态这是缺少 CNI 插件导致的。本环境使用 Calico v3.25 插件。kubectl get nodes kubectl get pods -A4. 安装 CNI 插件1下载 calico.yaml 配置wget https://docs.projectcalico.org/v3.25/manifests/calico.yaml上传前面获取的 Calico 部署包到 master 节点ls x86/2导入 cni.tar、kube-controllers.tar、node.tar 三个镜像包ctr -n k8s.io images import cni.tar ctr -n k8s.io images import kube-controllers.tar ctr -n k8s.io images import node.tar crictl images3安装 CNI 插件kubectl apply -f calico.yaml检查 Calico 组件状态kubectl get pods -A kubectl get nodesCalico 相关组件已经 Runningmaster 节点恢复 Ready 状态。5. 添加 node 节点在 node 节点执行 join 命令将节点加入 K8s 集群。建议在 master 节点重新生成 join 命令避免使用文档中固定的过期 tokenkubeadm token create --print-join-command在 node 节点执行生成的 join 命令格式类似kubeadm join 192.168.122.188:6443 \ --token token \ --discovery-token-ca-cert-hash sha256:hash添加完成后待 Calico 等组件调度完成查看节点状态kubectl get nodes -o wide四、附录排错提示sysctl -p报bridge-nf-call-ip6tables不存在先加载br_netfilter模块modprobe br_netfilter sysctl -p /etc/sysctl.d/k8s.conf初始化完成后节点显示 NotReady这是正常现象通常是缺少 CNI 插件。安装 Calico 后节点会恢复 Ready。kubeadm join提示 token 过期在 master 节点重新生成kubeadm token create --print-join-command版本一致性检查本文使用 Kubernetes v1.33.7安装完成后可通过以下命令确认kubectl get nodes kubeadm version kubelet --version containerd -v如果这篇文章对你有帮助欢迎点赞、收藏、评论交流。部署过程中如果遇到问题可以把报错信息贴到评论区。