OpenMLOps部署攻略：将机器学习模型通过Seldon转化为REST API服务

OpenMLOps部署攻略将机器学习模型通过Seldon转化为REST API服务【免费下载链接】OpenMLOps项目地址: https://gitcode.com/gh_mirrors/op/OpenMLOpsOpenMLOps是一个强大的开源机器学习运维平台能够帮助开发者轻松实现机器学习模型的部署与管理。本文将详细介绍如何利用OpenMLOps中的Seldon组件将训练好的机器学习模型快速转化为REST API服务让你的模型能够高效地对外提供预测能力。OpenMLOps与Seldon打造完整的模型部署流程在现代机器学习项目中将训练好的模型部署到生产环境并提供API服务是至关重要的一环。OpenMLOps作为一个全面的MLOps解决方案集成了多种工具来简化这一过程其中Seldon扮演着将模型转化为REST API服务的关键角色。从上图的OpenMLOps架构图中可以清晰地看到Seldon位于整个流程的末端负责将训练好的模型以API服务的形式提供给客户端系统。它能够与上游的MLFlow模型管理、Prefect工作流编排等组件无缝协作形成一个完整的模型部署流水线。准备工作获取模型URI在开始部署之前首先需要获取存储在MLFlow中的模型URI。这个URI通常具有以下形式MLFlow_artifact_root/experiment_id/run_id/artifacts/model_artifact_name你可以通过MLFlow UI来获取这个URI。进入你的实验运行页面在Artifacts部分可以找到模型的存储路径。此外也可以通过代码的方式获取with mlflow.start_run() as run: # 训练模型的相关代码... mlflow.sklearn.log_model(my_custom_model, ...) model_uri mlflow.get_artifact_uri(my_custom_model)创建Seldon部署配置文件Seldon使用Kubernetes的自定义资源定义CRD来配置模型部署。以下是一个基本的Seldon部署配置文件示例apiVersion: machinelearning.seldon.io/v1alpha2 kind: SeldonDeployment metadata: name: DEPLOYMENT_NAME spec: predictors: - name: predictor graph: children: [] implementation: MLFLOW_SERVER modelUri: YOUR_MODEL_URI name: prediction replicas: 1 traffic: 100 componentSpecs: - spec: containers: - name: prediction livenessProbe: initialDelaySeconds: 60 failureThreshold: 100 periodSeconds: 5 successThreshold: 1 httpGet: path: /health/ping port: http scheme: HTTP readinessProbe: initialDelaySeconds: 60 failureThreshold: 100 periodSeconds: 5 successThreshold: 1 httpGet: path: /health/ping port: http scheme: HTTP在这个配置文件中你需要替换DEPLOYMENT_NAME为你的部署名称YOUR_MODEL_URI为上一步获取的模型URI。配置文件中还设置了存活探针livenessProbe和就绪探针readinessProbe以确保模型服务的稳定性。由于安装conda依赖可能需要较长时间这里将failureThreshold设置为较高的值避免Kubernetes过早终止容器。部署模型到Seldon完成配置文件后就可以将模型部署到Seldon了。你可以通过kubectl命令直接部署也可以利用Prefect来编排部署流程实现更灵活的部署管理。使用Prefect自动化部署OpenMLOps中的Prefect组件可以帮助你自动化模型部署流程。以下是一个使用Prefect部署模型的任务示例task def deploy_model(model_uri: str, namespace: str seldon): logger prefect.context.get(logger) logger.info(fDeploying model {model_uri} to environment {namespace}) config.load_incluster_config() custom_api client.CustomObjectsApi() dep yaml.safe_load(seldon_deployment) dep[spec][predictors][0][graph][modelUri] model_uri try: resp custom_api.create_namespaced_custom_object( **CUSTOM_RESOURCE_INFO, namespacenamespace, bodydep, ) logger.info(Deployment created. status%s % resp[status][state]) except: logger.info(Updating existing model) existing_deployment custom_api.get_namespaced_custom_object( **CUSTOM_RESOURCE_INFO, namespacenamespace, namedep[metadata][name], ) existing_deployment[spec][predictors][0][graph][modelUri] model_uri resp custom_api.replace_namespaced_custom_object( **CUSTOM_RESOURCE_INFO, namespacenamespace, nameexisting_deployment[metadata][name], bodyexisting_deployment, )这个任务会尝试创建一个新的部署如果部署已存在则更新现有的部署。你可以将这个任务集成到Prefect流程中实现模型的自动部署。通过Prefect UI手动触发部署如果你希望在部署前先检查模型性能也可以通过Prefect UI手动触发部署。首先创建一个带参数的Prefect流程from prefect import Parameter with Flow(deploy-wine-quality-model-manual, storagestorage, run_configrun_config) as flow: model_uri_parameter Parameter(model_uri) deploy_model(model_uri_parameter, namespaceseldon)然后在Prefect UI中你可以手动输入模型URI并触发部署流程。访问模型REST API服务当Seldon部署成功后Ambassador会自动创建一个公共端点用于访问模型服务。这个URL的格式如下Ambassador_public_URL/seldon/seldon/Seldon_deployment_name/api/v0.1/predictions你可以使用curl命令或Python的requests库来测试这个API服务。以下是一个使用Python请求模型预测的示例data {data: {ndarray: [[7.3, 0.35, 0.24, 2.0, 0.067, 28.0, 48.0, 0.99576, 3.43, 0.54, 10.0]]}} endpoint https://mlops.example.com/seldon/seldon/wines-classifier/api/v0.1/predictions token get_prefect_token() r requests.post( endpoint, jsondata, headers{Authorization: fBearer {token}}, timeout600 ) print(r.json())运行这段代码后你将得到模型返回的预测结果Seldon高级部署策略Seldon不仅支持基本的模型部署还提供了多种高级部署策略帮助你更安全、更灵活地管理模型版本。金丝雀部署Canary Rollouts金丝雀部署允许你将一部分流量路由到新模型测试其在生产环境中的表现。要实现金丝雀部署只需在SeldonDeployment资源中添加以下注解seldon.io/ambassador-weight:weight_value: 设置新模型接收的流量权重0-100seldon.io/ambassador-service-name:existing_deployment_name: 指定要作为金丝雀部署基础的现有部署名称例如以下注解将25%的流量路由到新模型metadata: annotations: seldon.io/ambassador-weight: 25 seldon.io/ambassador-service-name: existing-deployment影子部署Shadow Deployments影子部署允许你将请求同时发送到现有模型和新模型但只使用现有模型的响应。这可以帮助你在不影响生产流量的情况下测试新模型。要实现影子部署添加以下注解seldon.io/ambassador-shadow:true: 将部署标记为影子部署seldon.io/ambassador-service-name:existing_deployment_name: 指定要附加的现有部署名称调试Seldon部署问题在部署过程中可能会遇到各种问题。以下是一些常用的调试命令帮助你排查Kubernetes集群中的Seldon部署问题。查看Seldon部署kubectl get seldondeployments --all-namespaces kubectl get deployments -n seldon查看Pod状态kubectl get pods -n seldon获取Pod日志kubectl logs -n seldon pod_name --all-containers查看集群事件kubectl get events --all-namespaces删除部署如果需要重新部署可以先删除现有的Seldon部署kubectl delete seldondeployment deployment_name -n seldon总结通过OpenMLOps中的Seldon组件你可以轻松地将机器学习模型转化为REST API服务并利用金丝雀部署、影子部署等高级策略来安全地管理模型版本。结合Prefect的工作流编排能力你可以构建一个完整的模型部署流水线实现从训练到部署的自动化流程。希望本文能够帮助你快速掌握OpenMLOps和Seldon的模型部署方法。如果你想了解更多细节可以参考项目中的官方文档docs/components/seldon/usage.rst 和 tutorials/deploy-model-seldon.md。开始使用OpenMLOps让你的机器学习模型部署变得更加简单、高效【免费下载链接】OpenMLOps项目地址: https://gitcode.com/gh_mirrors/op/OpenMLOps创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考