从训练到上线只需一次git push一、为什么ML部署这么难如果说训练模型是数据科学的“从0到1”那么把模型部署到生产环境、稳定地跑起来并提供服务就是“从1到100”的鸿沟。我见过太多团队在Jupyter Notebook里跑出了漂亮的准确率却在部署阶段陷入泥潭环境不一致、依赖冲突、版本管理混乱、回滚困难……核心痛点在于环境一致性本地训练用的Python 3.9 scikit-learn 1.2.3生产环境却可能是Python 3.11 scikit-learn 1.3.0模型加载直接报错交付流程碎片化手动打包模型文件 → scp上传服务器 → 手动重启服务 → 发现端口冲突难以回滚新模型上线后效果反而变差想切回旧版本却发现找不到上一次的镜像缺乏可观测性线上模型出问题了不知道是推理延迟飙升还是内存泄漏解决思路很简单把模型当作应用来交付。用Docker封装环境用Kubernetes编排部署用GitLab CI串联整个流程。三个工具配合实现“代码提交即部署”的自动化流水线。正如《Machine Learning Platform Engineering》中所说Docker、Kubernetes和CI/CD是ML平台的基础设施它们虽然不是ML专用的但却是规模化运行ML系统的必需品。二、整体架构一次git push之后发生了什么先看一张宏观图理解各个组件如何协作┌─────────────────────────────────────────────────────────────────┐ │ 开发者 git push → GitLab触发Pipeline │ └─────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────┐ │ Stage 1: Build Test │ │ ├── 运行单元测试 / 模型验证 │ │ ├── 构建Docker镜像包含模型 FastAPI服务 │ │ └── 推送到私有镜像仓库如Docker Hub / Harbor │ └─────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────┐ │ Stage 2: Deploy to K8s (Test环境) │ │ ├── 使用Helm更新values.yaml中的镜像Tag │ │ └── helm upgrade --install 部署到测试集群 │ └─────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────┐ │ Stage 3: 人工审批 (Production) │ │ └── 测试环境验证通过 → 手动触发生产发布 │ └─────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────┐ │ Stage 4: Deploy to K8s (Production环境) │ │ └── 使用生产环境values部署滚动更新保证零停机 │ └─────────────────────────────────────────────────────────────────┘这套架构在业界有成熟的参考实践。一个典型的MLOps项目会使用GitLab CI完成代码构建、Docker镜像打包再通过Kubernetes YAML清单或Helm Chart完成自动化部署。整个过程的核心原则是每次部署都基于同一个镜像只是不同环境使用不同的配置。三、Docker给AI模型装上“移动集装箱”Docker解决的是环境一致性问题。把模型文件、依赖库、服务代码全部打包进镜像在任何有Docker的机器上都能跑出相同结果。3.1 项目目录结构ml-model-deploy/ ├── model/ │ └── iris_model.pkl # 训练好的模型文件 ├── app/ │ ├── __init__.py │ └── main.py # FastAPI服务入口 ├── requirements.txt # Python依赖 ├── Dockerfile # 镜像构建文件 ├── kubernetes/ │ ├── deployment.yaml # K8s Deployment │ ├── service.yaml # K8s Service │ └── ingress.yaml # K8s Ingress可选 ├── helm-chart/ # Helm Chart更优雅的方式 │ ├── Chart.yaml │ ├── values.yaml │ └── templates/ │ ├── deployment.yaml │ └── service.yaml └── .gitlab-ci.yml # GitLab CI流水线定义3.2 FastAPI模型服务代码# app/main.pyfromfastapiimportFastAPI,HTTPExceptionfrompydanticimportBaseModelimportjoblibimportnumpyasnpimportosimportlogging logging.basicConfig(levellogging.INFO)loggerlogging.getLogger(__name__)appFastAPI(titleIris Classifier API,version1.0.0)# 加载模型在容器启动时完成MODEL_PATHos.getenv(MODEL_PATH,/app/model/iris_model.pkl)try:modeljoblib.load(MODEL_PATH)logger.info(fModel loaded successfully from{MODEL_PATH})exceptExceptionase:logger.error(fFailed to load model:{e})modelNoneclassIrisFeatures(BaseModel):sepal_length:floatsepal_width:floatpetal_length:floatpetal_width:floatclassPredictionResponse(BaseModel):prediction:intprobabilities:listmodel_version:strapp.get(/health)asyncdefhealth_check():K8s存活探针和就绪探针return{status:healthy,model_loaded:modelisnotNone}app.post(/predict,response_modelPredictionResponse)asyncdefpredict(features:IrisFeatures):ifmodelisNone:raiseHTTPException(status_code503,detailModel not loaded)datanp.array([[features.sepal_length,features.sepal_width,features.petal_length,features.petal_width]])try:predmodel.predict(data)[0]probamodel.predict_proba(data)[0].tolist()returnPredictionResponse(predictionint(pred),probabilitiesproba,model_versionos.getenv(MODEL_VERSION,v1))exceptExceptionase:logger.error(fPrediction failed:{e})raiseHTTPException(status_code500,detailstr(e))3.3 Dockerfile分阶段构建缩小镜像体积# Dockerfile FROM python:3.11-slim AS builder WORKDIR /build COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt -t /deps FROM python:3.11-slim WORKDIR /app # 从builder阶段复制依赖 COPY --frombuilder /deps /usr/local/lib/python3.11/site-packages # 复制应用代码和模型 COPY app/ ./app/ COPY model/ ./model/ # 创建非root用户运行服务安全加固 RUN useradd -m -u 1000 mluser chown -R mluser:mluser /app USER mluser ENV MODEL_PATH/app/model/iris_model.pkl ENV MODEL_VERSIONv1 EXPOSE 8000 CMD [uvicorn, app.main:app, --host, 0.0.0.0, --port, 8000]requirements.txt示例fastapi0.104.1 uvicorn[standard]0.24.0 joblib1.3.2 numpy1.26.2 scikit-learn1.3.2 pydantic2.5.03.4 本地测试Docker镜像# 构建镜像dockerbuild-tmy-registry/iris-classifier:v1.0.# 运行容器dockerrun-d-p8000:8000--nameiris-test my-registry/iris-classifier:v1.0# 测试健康检查curlhttp://localhost:8000/health# 测试预测接口curl-XPOST http://localhost:8000/predict\-HContent-Type: application/json\-d{sepal_length:5.1,sepal_width:3.5,petal_length:1.4,petal_width:0.2}四、Kubernetes让模型服务永不掉线Docker解决了“跑起来”的问题Kubernetes解决的是“高可用地跑”的问题自动重启、滚动更新、水平扩缩容、服务发现。4.1 Deployment清单定义Pod模板# kubernetes/deployment.yamlapiVersion:apps/v1kind:Deploymentmetadata:name:iris-classifiernamespace:ml-prodlabels:app:iris-classifierspec:replicas:3# 保持3个副本运行strategy:type:RollingUpdate# 滚动更新零停机rollingUpdate:maxSurge:1# 更新时最多新增1个PodmaxUnavailable:0# 更新时不允许Pod不可用selector:matchLabels:app:iris-classifiertemplate:metadata:labels:app:iris-classifierannotations:prometheus.io/scrape:trueprometheus.io/path:/metricsprometheus.io/port:8000spec:containers:-name:classifierimage:my-registry/iris-classifier:v1.0# 会被CI动态替换ports:-containerPort:8000env:-name:MODEL_VERSIONvalue:v1.0-name:LOG_LEVELvalue:INFOresources:requests:memory:256Micpu:250mlimits:memory:512Micpu:500mlivenessProbe:# 存活探针容器挂了就重启httpGet:path:/healthport:8000initialDelaySeconds:10periodSeconds:10readinessProbe:# 就绪探针流量只发给就绪的PodhttpGet:path:/healthport:8000initialDelaySeconds:5periodSeconds:54.2 Service清单暴露服务# kubernetes/service.yamlapiVersion:v1kind:Servicemetadata:name:iris-classifier-svcnamespace:ml-prodspec:selector:app:iris-classifierports:-port:80targetPort:8000type:ClusterIP# 集群内部访问Ingress对外暴露4.3 用Helm统一管理配置直接维护YAML文件的问题是测试环境和生产环境用不同的镜像Tag、不同的副本数需要反复改文件。Helm Chart通过模板化解决这个问题。helm-chart/values.yaml# 测试环境 values-test.yamlreplicaCount:2image:repository:my-registry/iris-classifiertag:v1.0pullPolicy:IfNotPresentservice:type:ClusterIPport:80resources:requests:memory:256Micpu:250mlimits:memory:512Micpu:500m# 生产环境 values-prod.yamlreplicaCount:5image:repository:my-registry/iris-classifiertag:v1.0pullPolicy:Alwaysservice:type:ClusterIPport:80resources:requests:memory:512Micpu:500mlimits:memory:1Gicpu:1000m部署命令# 部署到测试环境helm upgrade--installiris-classifier ./helm-chart\-fhelm-chart/values-test.yaml\--setimage.tagv1.0# 部署到生产环境helm upgrade--installiris-classifier ./helm-chart\-fhelm-chart/values-prod.yaml\--setimage.tagv1.0五、GitLab CI串起完整交付流水线最后一块拼图是自动化。每次代码提交GitLab CI自动完成测试→构建镜像→推送到仓库→更新Kubernetes部署。5.1 配置GitLab CI变量在GitLab项目 Settings → CI/CD → Variables中配置变量名用途示例值DOCKER_REGISTRY镜像仓库地址docker.io/myusernameDOCKER_USERNAME仓库用户名myusernameDOCKER_TOKEN仓库访问Tokendckr_pat_xxxxxK8S_NAMESPACEK8s命名空间ml-prod5.2.gitlab-ci.yml完整定义# .gitlab-ci.ymlstages:-test-build-deploy-test-deploy-prodvariables:IMAGE_NAME:${DOCKER_REGISTRY}/iris-classifierIMAGE_TAG:${CI_COMMIT_SHORT_SHA}# 用commit hash作为镜像Tag# 缓存pip依赖加速构建cache:paths:-.venv/# Stage 1: 测试 test:stage:testimage:python:3.11-slimscript:-pip install-r requirements.txt-pip install pytest pytest-cov-pytest tests/--covapp--cov-reporttermartifacts:paths:-.coveragereports:coverage_report:coverage_format:coberturapath:coverage.xmlonly:-merge_requests-main# Stage 2: 构建镜像 build:stage:buildimage:docker:latestservices:-docker:dind# Docker-in-Docker用于构建镜像before_script:-docker login-u ${DOCKER_USERNAME}-p ${DOCKER_TOKEN}${DOCKER_REGISTRY}script:# 构建并推送镜像-docker build-t ${IMAGE_NAME}:${IMAGE_TAG}.-docker tag ${IMAGE_NAME}:${IMAGE_TAG}${IMAGE_NAME}:latest-docker push ${IMAGE_NAME}:${IMAGE_TAG}-docker push ${IMAGE_NAME}:latestafter_script:-docker logoutonly:-main# 只有main分支才构建镜像# Stage 3: 部署到测试环境 deploy-test:stage:deploy-testimage:bitnami/kubectl:latestbefore_script:# 配置kubectl访问测试集群通过GitLab变量传入kubeconfig-mkdir-p $HOME/.kube-echo $KUBECONFIG_TEST|base64-d$HOME/.kube/configscript:# 使用helm升级部署-helm upgrade--install iris-classifier ./helm-chart/--namespace ml-test--set image.tag${IMAGE_TAG}--set replicaCount2-f ./helm-chart/values-test.yaml# 等待部署完成-kubectl-n ml-test rollout status deployment/iris-classifier--timeout120senvironment:name:testurl:https://test-iris.example.comonly:-mainwhen:manual# 手动触发部署测试环境可根据需求改为自动# Stage 4: 部署到生产环境需审批 deploy-prod:stage:deploy-prodimage:bitnami/kubectl:latestbefore_script:-mkdir-p $HOME/.kube-echo $KUBECONFIG_PROD|base64-d$HOME/.kube/configscript:-helm upgrade--install iris-classifier ./helm-chart/--namespace ml-prod--set image.tag${IMAGE_TAG}--set replicaCount5-f ./helm-chart/values-prod.yaml-kubectl-n ml-prod rollout status deployment/iris-classifier--timeout120senvironment:name:productionurl:https://iris.example.comonly:-mainwhen:manual# 生产环境发布必须人工确认5.3 流水线执行效果当你完成上述配置后每次git push到main分支测试阶段自动运行如果测试失败流水线提前终止防止坏代码进入后续阶段构建阶段用Git commit SHA给镜像打Tag如iris-classifier:a1b2c3d保证每次提交对应唯一镜像测试部署阶段将新镜像部署到测试环境自动执行健康检查生产部署需要手动点击play按钮触发降低误操作风险实际生产中许多团队还会在构建阶段加入镜像安全扫描如Trivy和代码质量检查如SonarQube等环节进一步提升交付质量。六、进阶从单模型到大规模模型管理当模型数量从1个增长到100个时这套模式仍然适用但需要补充一些能力1. 模型版本管理将训练好的模型文件存储在对象存储如S3/MinIO中路径包含版本号如s3://models/iris/v20260118/。Kubeflow Pipeline在训练完成后自动将模型注册到Model Registry并打上版本标签。2. 配置驱动的模型定义用JSON/YAML文件描述每个模型的训练数据来源、流水线版本、超参数等信息CI系统读取这些配置后触发对应的训练和部署任务。3. GitOps持续同步使用Argo CD这样的工具它会持续监控Git仓库中部署配置的变化自动将集群状态同步到Git中声明的状态。当你的Helm Chart配置如镜像Tag在Git中被更新时Argo CD会在几分钟内完成实际的K8s部署实现“Git是唯一真实来源”。4. 模型监控与自动重训部署Prometheus收集推理延迟、请求量等指标配合Grafana构建监控大盘。当模型精度或数据分布发生漂移时触发自动重训流水线。七、写在最后从“手动复制模型文件”到“一次git push全自动交付”转变的核心不在于多写了一堆YAML文件而在于将模型当作有生命周期的软件产物来对待。Docker解决了环境一致性的物理基础Kubernetes提供了稳定运行的空间CI/CD串联了从代码到服务的完整通道。三个关键经验镜像即部署单元每次构建产生一个不可变的镜像Tag用commit hash而非latest保证可追溯配置与代码分离Helm values区分环境同一镜像在不同环境使用不同配置人工闸门保护生产测试环境自动部署生产环境需人工审批多一道防线这套实践我已经在多个AI项目中验证无论你用的是scikit-learn、PyTorch还是TensorFlow流程都是通用的。开始动手吧——从一个简单的模型服务开始跑通整条流水线再做扩展。