JuiceFS 如何部署到 K3s 集群从 CSI 安装到 PVC 存储卷创建【免费下载链接】juicefsJuiceFS is a distributed POSIX file system built on top of Redis and S3.项目地址: https://gitcode.com/GitHub_Trending/ju/juicefs这篇文章以官方教程 Use JuiceFS on K3s 为依据目标是在 K3s 集群上完成一条完整链路安装 JuiceFS CSI Driver创建绑定 JuiceFS 文件系统的 StorageClass再创建一个 PVC并通过实际挂载的 Pod 验证 JuiceFS 卷可用。整条路径为“准备集群 → 安装 CSI Driver → 创建 StorageClass → 创建 PVC 并验证挂载”。准备K3s 集群的硬件要求与搭建K3s 对硬件的最低要求很低文档给出的数值如下内存512MB 以上推荐 1GB 以上CPU1 核如果是生产集群文档建议每节点至少 4 核、8GB 内存起步。部署 server 节点在一台常规 Linux 发行版的机器上使用 K3s 官方脚本部署 server 节点。该脚本会下载并安装 K3s需要 root 权限部署成功后 K3s 服务自动启动同时会安装 kubectl 等工具curl -sfL https://get.k3s.io | sh -部署完成后用下面的命令查看节点状态。以下输出为文档示例主机名、版本以实际环境为准判断标准是 STATUS 为Ready$ sudo kubectl get nodes NAME STATUS ROLES AGE VERSION k3s-s1 Ready control-plane,master 28h v1.21.4k3s1然后从 server 节点取出node-tokenworker 节点接入时需要用到sudo -u root cat /var/lib/rancher/k3s/server/node-token部署 worker 节点在 worker 节点上执行以下命令其中K3S_URL改为 server 节点的 IP 或域名默认端口6443K3S_TOKEN改为上一步从 server 节点取到的node-token。示例中的 IP 与 token 是文档里的示例值必须替换为自己的实际值curl -sfL https://get.k3s.io | K3S_URLhttp://192.168.1.35:6443 K3S_TOKENK1041f7c4fabcdefghijklmnopqrste2ec338b7300674f::server:3d0ab12800000000000000006328bbd80 sh -worker 加入后回到 server 节点确认两个节点均为Ready文档示例输出$ sudo kubectl get nodes NAME STATUS ROLES AGE VERSION k3s-s1 Ready control-plane,master 28h v1.21.4k3s1 k3s-n1 Ready none 28h v1.21.4k3s1安装 JuiceFS CSI DriverK3s 上安装 CSI Driver 的方法与标准 Kubernetes 一致可参考 Use JuiceFS on Kubernetes支持通过 Helm 或 kubectl 安装。本文按文档使用 kubectl执行以下命令安装kubectl apply -f https://raw.githubusercontent.com/juicedata/juicefs-csi-driver/master/deploy/k8s.yaml创建 Secret 与 StorageClass把下面的内容保存为配置文件例如juicefs-sc.yaml。注意stringData中的metaurl、bucket为文档示例值实际使用时要替换为自己 JuiceFS 文件系统的配置your-access-key-id和your-access-key-secret是占位符需要替换为你对象存储的 AccessKey ID 与 Secret AccessKeyapiVersion: v1 kind: Secret metadata: name: juicefs-sc-secret namespace: kube-system type: Opaque stringData: name: test metaurl: redis://juicefs.afyq4z.0001.use1.cache.amazonaws.com/3 storage: s3 bucket: https://juicefs-test.s3.us-east-1.amazonaws.com access-key: your-access-key-id secret-key: your-access-key-secret --- apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: juicefs-sc provisioner: csi.juicefs.com reclaimPolicy: Retain volumeBindingMode: Immediate parameters: csi.storage.k8s.io/node-publish-secret-name: juicefs-sc-secret csi.storage.k8s.io/node-publish-secret-namespace: kube-system csi.storage.k8s.io/provisioner-secret-name: juicefs-sc-secret csi.storage.k8s.io/provisioner-secret-namespace: kube-systemstringData部分用于设置 JuiceFS 文件系统的相关信息系统会基于你指定的这些信息创建文件系统。如果文件系统是提前创建好的只需要填写name和metaurl其他项可以删除或留空。部署并查看存储类状态以下输出为文档示例kubectl apply -f juicefs-sc.yaml$ sudo kubectl get sc NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE local-path (default) rancher.io/local-path Delete WaitForFirstConsumer false 28h juicefs-sc csi.juicefs.com Retain Immediate false 28h看到 provisioner 为csi.juicefs.com的juicefs-sc条目说明存储类已部署成功。文档同时提醒一个存储类关联一个 JuiceFS 文件系统可以按需创建多个存储类但要注意配置文件中同名存储类会引发冲突。创建 PVC 并验证 JuiceFS 卷挂载文档的验证方式是部署一个使用 JuiceFS PVC 的 NGINX Deployment。把下面的内容保存为deployment.yaml后部署apiVersion: v1 kind: PersistentVolumeClaim metadata: name: web-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 10Pi storageClassName: juicefs-sc --- apiVersion: apps/v1 kind: Deployment metadata: name: nginx-run labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: linuxserver/nginx ports: - containerPort: 80 volumeMounts: - mountPath: /config name: web-data volumes: - name: web-data persistentVolumeClaim: claimName: web-pvcsudo kubectl apply -f deployment.yaml部署完成后先检查 Pod 状态两个副本均为Running才算通过以下输出为文档示例$ sudo kubectl get pods NAME READY STATUS RESTARTS AGE nginx-run-7d6fb7d6df-qhr2m 1/1 Running 0 28h nginx-run-7d6fb7d6df-5hpv7 1/1 Running 0 24h然后进入任意一个 Pod 执行df -Th查看文件系统的挂载状态以下输出为文档示例文件系统名、容量与已用量以实际环境为准$ sudo kubectl exec nginx-run-7d6fb7d6df-qhr2m -- df -Th Filesystem Type Size Used Avail Use% Mounted on overlay overlay 20G 3.2G 17G 17% / tmpfs tmpfs 64M 0 64M 0% /dev tmpfs tmpfs 2.0G 0 2.0G 0% /sys/fs/cgroup JuiceFS:jfs fuse.juicefs 1.0P 174M 1.0P 1% /config /dev/sda1 ext4 20G 3.2G 17G 17% /etc/hosts shm tmpfs 64M 0 64M 0% /dev/shm输出中类型为fuse.juicefs、挂载在/config即 Deployment 中 PVC 的 mountPath的那一行就是 JuiceFS 文件系统已成功挂载到容器内的证据。文档以此作为“集群中的 Pod 已成功配置并使用 JuiceFS 持久化数据”的判定依据。可选通过 Service 与 Ingress 从浏览器验证K3s 默认预装了 traefik-ingress。如果你希望通过浏览器直观确认服务可访问可以按文档补充两个配置文件。service.yamlapiVersion: v1 kind: Service metadata: name: nginx-run-service spec: selector: app: nginx ports: - name: http port: 80ingress.yaml通过 Ingress 规则中定义的/web路径暴露服务apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: nginx-run-ingress annotations: traefik.ingress.kubernetes.io/router.entrypoints: web spec: rules: - http: paths: - pathType: Prefix path: /web backend: service: name: nginx-run-service port: number: 80sudo kubectl apply -f service.yaml sudo kubectl apply -f ingress.yaml部署完成后使用同一局域网内的机器访问任意一个集群节点的/web路径即可看到 NGINX 欢迎页面文档截图这一步是文档中的附加验证手段不属于 CSI 安装到 PVC 创建的主路径df -Th的挂载结果已经足以证明 PVC 生效。结果确认与文档给出的替代路径按上面的步骤完成后验收结果是两个nginx-runPod 处于Running状态Pod 内df -Th能看到fuse.juicefs类型挂载在 PVC 的 mountPath 上JuiceFS 存储卷已在 K3s 集群中可用。文档示例中的存储类设置为reclaimPolicy: Retain、volumeBindingMode: ImmediatePVC 请求容量为10Pi这些值来自文档示例按自身环境调整即可。如果只需要在 Pod 内简单使用 JuiceFS、没有隔离与权限控制要求Use JuiceFS on Kubernetes 中还介绍了hostPath方案先在所有 worker 节点安装并挂载 JuiceFS再在 Pod 中用 hostPath 卷挂载子目录。该方式更简单、排障更容易但所有 Pod 共享同一宿主机挂载点且新增节点时必须先完成 JuiceFS 的初始化挂载文档建议按自身情况评估后再选择。【免费下载链接】juicefsJuiceFS is a distributed POSIX file system built on top of Redis and S3.项目地址: https://gitcode.com/GitHub_Trending/ju/juicefs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考