1、企业级大模型部署概述1.1 为什么要部署企业部署大模型不是为了解决“能不能用”而是必须把敏感数据和服务的控制权牢牢掌握在自己手里。要想数据安全就需要实现私有化的部署。这里包括大语言模型、嵌入模型、重排序模型以及多模态模型等。第三方API企业级部署安全合规敏感数据泄漏数据掌握在企业手中成本预算高频调用成本不可控成本可预测服务器购买/租赁和运维成本能力可控黑箱与版本漂移推理性能、模型版本可定制可靠性延迟、吞吐不可控内网低延迟、弹性扩缩容自由调整吞吐量运维治理模型服务透明不利于定位故障模型服务可观测支持故障定位和治理注版本漂移是指第三方更改版本系统行为发生不可控变化1.2 技术架构应用层使用 Dify 构建大模型应用提供统一的 Web UI 和 API 接口模型推理层使用独立的推理框架托管大模型vLLM / SGLang / Ollama / HuggingFace TEI相应的大模型Qwen / LLaMA / Baichuan运行在云 GPU 服务器提供高性能推理服务连接方式通过标准 OpenAI-compatible API 进行调用调用路径从上到下这种架构的优势在于技术解耦模型可独立升级、替换应用开发不依赖具体模型实现有利于运营治理统一入口标准OpenAI-compatible API调用可以做统一鉴权、限流、审计等推理层可以被独立运维单独监测QPSQuery Per Second、TTFTTime To First Token、TPSToken Per Second、GPU利用率等指标1.3 框架选型1.3.1 推理引擎① 本地开发 / 个人使用最快跑起来、最少运维核心目标是上手简单、快速验证但通常不擅长多租户/高并发/多卡集群部署。Ollama由Ollama Inc.公司开发是部署大模型最简单的方式但推理效率低不适合高并发场景。llama.cpp由Georgi Gerganov个人开发的开源项目纯C/C实现的LLaMA模型推理库。尤其适合 CPU/边缘设备/低成本部署。结论企业级部署不考虑Ollama和llama.cpp。② 高并发推理引擎这类引擎使用门槛稍高但可以充分发挥GPU性能适合企业高并发场景。vLLM来自加州大学伯克利分校的 Sky Computing 实验室采用了PagedAttention、P/D分离等多种优化策略追求极致推理性能支持英伟达GPU、AMD GPU和华为昇腾等多种硬件平台支持多卡并行推理。主要支持LLM部署。SGLang也是在Sky Computing 实验室诞生同样采用了类似的优化策略不同的是SGLang面向应用编排/结构化生成对同一个应用多次调用请求的场景做了优化底层通过合并、复用、调度优化等策略减少模型实际进行的推理次数进一步提升推理性能。HuggingFace TEIText Embedding InferenceHuggingface官方推出的工具包专为高效部署嵌入模型设计。结论通常vLLM的性能就足够支撑企业高并发场景调用了。1.3.2 模型托管平台这类平台把模型当成服务管理起来底层可以配置不同的推理引擎。XinferenceXorbits Inference杭州未来速度科技有限公司的大模型管理和推理服务平台致力于打造一体化解决方案。支持LLM、Embedding、Rerank等多种模型托管。1.3.3 选型大语言模型可以用vLLM、SGLang、或者XinferencevLLM引擎部署。嵌入模型可以用Huggingface TEI和Xinference部署。重排序模型目前调研的产品除了Ollama和llama.cpp只有Xinference支持这类模型的部署。最终选型选定XInference平台作为模型托管与推理服务框架部署大语言模型、嵌入模型和重排序模型。原因如下① 接口统一可以向外提供统一的API接口像大模型厂商那样一个链接管理多个模型。② 针对LLM结合vLLM引擎部署LLM可以获得极高的推理性能。③ 针对嵌入模型和重排序模型嵌入模型和重排序模型只需要一次前向和逐token生成的大语言模型相比资源开销要小得多因此对性能要求不高。XInference也支持这两种模型部署这样我们可以用一个平台管理所有模型运维成本低。1.3.4 整体调用关系整体图示如下问题这个项目中只把Dify安装在了Docker中。XInference直接部署在GPU服务器没有在Docker中。为什么首先说XInference是可以部署到Docker中的。但是XInference中模型使用需要消耗大量GPU而Docker中默认是使用CPU不能使用GPU。所以方案1XInference不安装在Docker中方案2XInference安装在Docker中但是需要额外安装其他的软件支持GPU的调用。这里使用方案1只将Dify安装到docker中XInference不安装到docker中。2、Dify平台私有化部署2.1 Dify平台的介绍(复习)Dify 作为一个综合性的 LLM 应用开发平台内置了构建现代生成式 AI 应用所需的几乎所有关键技术栈。它的具体功能如下基于Agent架构构建智能体应用基于RAG构建私有知识库应用基于Workflow构建智能工作流应用Dify 是当今最优雅、门槛最低、最受欢迎、效果最好的大模型开发平台之一。无论是经验丰富的程序员还是初涉AI领域的团队如产品经理、运营人员都能够快速、高效地搭建并运营生产级别的生成式 AI 应用。官网https://dify.ai/zh文档说明https://github.com/langgenius/dify/blob/main/README_CN.md说明访问Dify官网需要魔法科学上网2.2 租赁Dify服务器腾讯云企业用户可以选择租用云服务器或者在本地的服务器中部署Dify。因为Dify所需的资源很小一个轻量级的服务器足以支持运行。我们需要租赁一个云服务器去运行Dify服务腾讯云。官网https://cloud.tencent.com/① 基础配置https://buy.cloud.tencent.com/cvm如果是企业中使用或者个人资金充裕且业务稳定的话可以选择长租使用。期望优惠的话可以选择竞价实例。竞价实例在性能和稳定性上与按量计费模式没有差别。竞价实例只要有人租长期的服务器就有可能把你的服务器踢掉实例被竞价释放也是有解决办法的后续会去讲。地域选择没有要求自己根据需要选即可。实例配置根据自己需求选择无具体要求。这里我选择4核8GB。镜像选择CentOS、Ubuntu都可以这里使用了Ubuntu。选择后点击下一步。② 设置网络和主机拉满带宽上限新建安全组把常用的端口都开启命名实例设置密码进行下一步这里我的密码设置为abc_1234开通③ 登录(使用Xshell或finalshell或windTerm)finalshell下载网站https://www.hostbuf.com/t/988.html创建好了通过这个公网IP端口使用22账号ubuntu密码使用你设置的密码。使用你的远程连接工具XShell 或 final shell 连接即可。XShell界面如下2.3 部署Docker部署dify平台需要基于docker环境而腾讯云新建的云平台上默认是没有docker的。接着需要在腾讯云租用的服务器中部署Docker。什么是DockerDocker是一种容器化技术相较于传统的通过虚拟机技术实现的虚拟化方案来说Docker是⼀种更加轻量级的虚拟化解决方案。**它可以将应用程序及其依赖项打包成一个独立的容器并在不同的环境中运行。**通过Docker容器 开发者可以轻松地构建、部署和运行应用程序而无需担心环境配置和依赖问题。使用Docker的好处一次构建到处运行你在自己电脑上开发测试好的程序打成 Docker 镜像后可以保证在生产服务器上跑起来的效果一模一样。再也不会出现“在我电脑上是好的啊”这种问题。环境隔离你可以同时运行一个项目的 Python 2 版本和 Python 3 版本它们互不影响。快速部署与扩展因为容器非常轻量你可以瞬间启动成百上千个一样的容器来应对高流量比如双十一抢购。简化配置环境配置都写在了“材料包”镜像里新人接手项目时不需要花几天时间配环境直接一条命令就能让程序跑起来。场景假设你开发了一个网站。传统方式你需要给运维人员一份长长的《环境配置手册》“请先安装 CentOS 7然后安装 Python 3.8.2再安装 Nginx 1.18.0配置如下……”。步骤繁琐极易出错。Docker 方式你直接把整个网站和环境打包成一个 Docker 镜像。运维人员只需要执行一句简单的命令docker run [你的镜像名]一个完整、可运行的网站环境就在一秒内启动了。按照下面的指令一步一步进行操作#更新软件包sudoaptupdatesudoaptupgrade# 如果出现需要更新内核两次回车后执行sudoreboot#安装docker依赖sudoaptinstallsoftware-properties-commonsudoapt-getinstallca-certificatescurlgnupg lsb-release#添加Docker官方GPG密钥curl-fsSLhttp://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg|sudoapt-keyadd-#添加Docker软件源输入后根据提示按Entersudoadd-apt-repositorydeb [archamd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu$(lsb_release-cs)stable#安装docker输入后根据提示输入 y sudoapt-getinstalldocker-ce docker-ce-cli containerd.io --fix-missing执行sudo apt upgrade的时候会出现这个界面按回车即可之后如果在这个界面卡住按几下回车即可。安装完毕启动docker并查看状态sudosystemctl startdockersudosystemctl statusdocker如图所示即为启动成功看到running状态说明docker已经正常启动注意安装过程中如果报错如下可以按如下操作步骤执行步骤关键检查点/操作预期结果/说明1. 验证Docker安装状态运行 sudo systemctl status docker确认Docker服务当前的状态和错误日志。2. 检查并取消服务屏蔽执行 sudo systemctl unmask docker.service解决服务被意外“屏蔽”导致无法启动的问题。3. 检查依赖服务状态运行 systemctl list-dependencies docker.service.如果containerd服务异常尝试启动它sudo systemctl start containerd查看Docker依赖的服务如containerd是否正常。如果启动失败进入第4步4. 修复containerd关键步骤执行① sudo apt-get update② sudo apt-get install --reinstall containerd.io重新安装Docker的核心运行时依赖。如果以上步骤均无效可以考虑彻底清理Docker及其相关组件后重新安装。这是解决文件损坏或版本冲突的可靠方法。彻底卸载Dockersudoapt-getpurge docker-ce docker-ce-cli containerd.iosudorm-rf/var/lib/dockersudorm-rf/var/lib/containerd2.4 部署Dify官网https://github.com/langgenius/dify文档https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose安装 Dify 之前, 请确保你的机器已满足最低安装要求CPU 2 CoreRAM 4 GiB① 下载注意新版本Dify本地部署可能会出现各种兼容问题强烈推荐0.15.5版本稳定功能效果一致在/opt下创建一个dify目录用于存储dify源码cd /opt sudo mkdir dify #用于存储dify源码包方式1离线下载包(推荐)离线下载源码包科学上网下载地址https://github.com/langgenius/dify/releases/tag/0.15.5注意网不好同学已经提前下载好放在课程资料中利用远程连接工具比如XFTP将dify源码包传递到服务器 /opt/dify文件夹中并解压即可上传可能失败因为默认ubuntu用户权限不足解决办法如下# 方式1赋予指定用户指定目录的完全权限使用777# 在Ubuntu终端xshell执行sudo chmod -R 777 /目标目录的完整路径sudochmod-R777/opt/dify# 方式2先将文件上传到您的用户主目录如 /home/ubuntu这个目录通常有写入权限# 然后使用XShell或终端通过命令移动文件sudo mv /home/ubuntu/文件名 /目标/path/进行解压#进入dify目录,在opt目录下执行 cd ./dify #解压 sudo tar -zxvf dify-0.15.5.tar.gz cd /opt/dify/dify-0.15.5 pwd # 输出 /opt/dify/dify-0.15.5方式2Gitee下载如果使用github下载过慢还可以使用码云Gitee或镜像网站替代 GitHub 直接下载利用国内服务器加速。操作步骤1注册码云账号https://gitee.com 。2在码云新建仓库选择「导入GitHub仓库」粘贴https://github.com/langgenius/dify.git的链接 。3导入完成后使用码云生成的仓库地址克隆sudogitclone https://gitee.com/你的用户名/dify.git这里大家也可以直接使用我的链接sudogitclone https://gitee.com/shkstart/dify.git② 使用docker启动Dify进入 Dify 源代码的 Docker 目录cd /opt/dify/dify-0.15.5/docker复制环境配置文件sudocp.env.example .env启动 Docker 容器根据你系统上的 Docker Compose 版本选择合适的命令来启动容器。你可以通过docker compose version命令检查版本详细说明请参考 Docker 官方文档如果版本是 Docker Compose V2使用以下命令课程对应版本sudodockercompose up-d如果版本是 Docker Compose V1使用以下命令sudodocker-composeup-d说明Docker 会自动帮你拉取需要的镜像 → 创建容器 → 按顺序启动所有服务 → 后台运行。运行命令后你应该会看到类似以下的输出显示所有容器的状态和端口映射注意第一次拉取镜像时间可能会很[] Running 11/11 ✔ Network docker_ssrf_proxy_network Created ✔ Network docker_default Created ✔ Container docker-redis-1 Started ✔ Container docker-ssrf_proxy-1 Started ✔ Container docker-sandbox-1 Started ✔ Container docker-web-1 Started ✔ Container docker-weaviate-1 Started ✔ Container docker-db-1 Started ✔ Container docker-api-1 Started ✔ Container docker-worker-1 Started ✔ Container docker-nginx-1 Started最后检查是否所有容器都正常运行sudo docker compose ps在这个输出中你应该可以看到包括 3 个业务服务api / worker / web以及 6 个基础组件weaviate / db / redis / nginx / ssrf_proxy / sandbox。停止Dify运行#一键关停所有相关容器干净不残留 docker compose down同步环境变量配置重要如果.env.example文件有更新请务必同步修改你本地的.env文件。检查.env文件中的所有配置项确保它们与你的实际运行环境相匹配。你可能需要将.env.example中的新变量添加到.env文件中并更新已更改的任何值。③ 常见问题解决问题1安装 Dify常见问题和解决方案sudo docker compose up -d执行失败大概率会由于网络问题或镜像缺失问题发生报错。进行镜像源的配置sudovi/etc/docker/daemon.json添加下面的配置{registry-mirrors:[https://docker.unsee.tech,https://dockerpull.org,https://docker.1panel.live,https://dockerhub.icu,https://docker.m.daocloud.io,https://docker.nju.edu.cn,https://registry.docker-cn.com,https://docker.mirrors.ustc.edu.cn,https://hub-mirror.c.163.com,https://mirror.baidubce.com,https://5tqw56kt.mirror.aliyuncs.com,https://docker.hpcloud.cloud,http://mirrors.ustc.edu.cn,https://docker.chenby.cn,https://docker.ckyl.me,http://mirror.azure.cn,https://hub.rat.dev]}或{registry-mirrors:[https://mbirror.ccs.tencentyun.com]}保存然后在终端重新启动一下docker# 重新登陆需要输入密码systemctl daemon-reload systemctl restartdocker重新执行sudodockercompose up-d开始正常下载了问题2可能出现报错报错如下于是根据报错信息检查sudovi/etc/apparmor.d/tunables/home.d/ubuntu删除掉报错信息中第七行的多余字符即可重新运行成功④ 访问你可以先前往管理员初始化页面设置设置管理员账户# 服务器环境http://your_server_ip/install#your_server_ip即为配置的腾讯云服务器地址如图所示为成功访问进行注册登陆即可注意如果一直无法加载进去则需要重启docker再次尝试⑤ 设置镜像为避免案例中的竞价实例被释放可以在控制台中的快照中设置快照策略即使被释放了也能保存快照从而快速恢复再次进入定期快照策略可发现已设置成功2.5 配置在线大模型如果想调用线上的LLM则可以用Dify选择线上的模型运营商。比如说可以在模型运营商中选择Deepseek。DeepSeek官网地址https://www.deepseek.com/在官网获取自己的API即可配置后使用在这里我们可以使用提供的在线大模型运营商但是为了考虑到可能存在的数据安全问题所以我们自己部署XInference进而部署私有的大模型。3、模型部署3.1 租赁GPU服务器AutoDLAutoDL介绍这里我们选用AutoDL平台租赁服务器。这是一款面向开发者和企业的云计算平台主要提供高性价比的GPU算力资源支持AIGC、深度学习、云游戏、渲染测绘、元宇宙、HPC等应用。平台地址https://www.autodl.com/AutoDL服务器的资源比较紧俏且比较贵一台机器开机一个小时平均花费2元建议一般早上开始工作的时候开机在结束一天工作的时候关机。大家选择显卡的时候选择能够安装pytorch2.12,python3.10以及cuda11.8的显卡就行除了30和40系列显卡还可以选择vGPU-32G性价比拉满和vGPU-48贵但是效率高① 配置服务器镜像选择服务器这里可以选择西北B区的单卡4090作为我们的服务器我们需要租赁一台服务器部署Xinference。注意在AutoDL平台上只提供了6006端口进行开放。注意1、这里推荐“西北地区”因为会提供公网ip其它地区不确定。2、GPU推荐 RTX409030903080等其它显卡可能会出现后续不兼容情况。3、5090不推荐创新架构兼容性比较差选择镜像版本② XShell连接登录复制该服务器的登录指令通过远程连接工具进行登录测试连接默认的用户名root连接成功③ 开启学术资源加速为下载一些外网的资源比如Github、HuggingFace等需要在当前终端中开启学术资源加速免不了我们要在这个系统上安装一些软件。这些软件可能来自于如下的红框的位置。默认是下载不了的。那么就需要魔法或科学上网。这里我们称为学术加速。https://www.autodl.com/docs/network_turbo/将框选住的一行复制到终端输入即可source/etc/network_turbo3.2 部署XInference1.准备conda环境① 创建conda环境AutoDL的系统盘大小为30GB数据盘大小为50GBconda的默认工作路径在系统盘下Xinference全家桶需要的空间比较大可能导致系统盘被占满因此通过将环境文件放在数据盘下。注意如果创建环境这一步始终出现问题建议先排查是不是5090然后多做尝试超过3次直接换一台服务器就好不然只会浪费时间只要创建环境激活环境没有问题后续出现问题的概率就比较小了大家可以先不急于测试先把每个模型都下载下来更推荐使用命令行的形式下载。注意智川云如果有问题可以直接问客服只要能建立连接就按照教程步骤走就行autodl 算力云 conda create-p/root/autodl-tmp/conda_envs/xinfer_envpython3.10智川云 conda create-p/root/rivermind-data/conda_envs/xinfer_envpython3.10② 初始化conda环境conda initbashsource~/.bashrc③ 激活conda环境conda deactivate autodl算力云 conda activate /root/autodl-tmp/conda_envs/xinfer_env 智川云 conda activate /root/rivermind-data/conda_envs/xinfer_env④ 验证conda是否创建成功python和pip命令的路径在conda环境文件下则创建成功。whichpythonwhichpip2.部署XInferenceAutoDL学术加速默认用阿里云作为PyPi源镜像中不包含XInference全家桶的num2words会报错所以将清华源作为备用源。pipinstallxinference[vllm,embedding,rerank,transformers]1.16.0\--extra-index-url https://pypi.tuna.tsinghua.edu.cn/simple可以把安装服务放在后台nohuppipinstallxinference[vllm,embedding,rerank,transformers]1.16.0--extra-index-url https://pypi.tuna.tsinghua.edu.cn/simplexinfer_install.log213.启动XInference服务端在此之前执行pipinstallsentence_transformers4.0.0pipinstallsentence-transformers4.0.0-ihttps://pypi.tuna.tsinghua.edu.cn/simpleXINFERENCE_MODEL_SRCmodelscope xinference-local--host0.0.0.0--port6006XINFERENCE_MODEL_SRCmodelscope的作用是将默认的模型仓库从Huggingface更换为魔搭。–host指定监听网卡0.0.0.0表示监听所有网卡的请求–port指定服务端口默认99974.访问XInference WebUI① 查看AutoDL自定义服务地址AutoDL的云GPU服务器默认会将6006和6008映射为服务XInference服务端监听了6006端口访问对应链接即可访问Xinference的WebUI。② 访问Xinference的WebUI3.3 部署LLM1.部署① 云端模型我们可以让XInference平台帮我们从模型仓库下载并启动模型前提是该模型被官方收录并支持。以Qwen3-0.6B为例参考官方文档https://inference.readthedocs.io/zh-cn/latest/models/builtin/llm/qwen3.htmlXinference把模型分成了很多模型族每个模型族都包含一系列不同规模的模型通过不同的属性配置区分。Qwen3-0.6B的模型族为qwen3配置如上图所示。新起一个连接窗口激活conda环境conda activate /root/autodl-tmp/conda_envs/xinfer_env开启学术加速source/etc/network_turbo启动命令如下xinference launch\--model-engine transformers\--model-name qwen3\--size-in-billions 0_6\--model-format pytorch\--quantizationnone\--model-uid Qwen3-0.6B\--gpu_memory_utilization0.6\--max_model_len1024\--endpointhttp://localhost:6006--model-engine vllm底层推理引擎--model-name qwen3模型族--size-in-billions 0_6模型规模以10亿为单位--model-format pytorch权重文件格式--quantization none是否量化--model-uid Qwen3-0.6B模型uid用于在Xinference中唯一区分模型可以省略由系统生成--gpu_memory_utilization 0.3vllm参数模型占用GPU显存的百分比--max_model_len 1024vllm参数模型支持的上下文长度--endpointXinference服务端入口此时服务端可以看到模型正在下载。模型部署完成② 本地模型文件如果模型权重已被预下载到本地可以执行以下命令。xinference launch\--model-engine transforms\--model-name qwen3\--size-in-billions 0_6\--model-format pytorch\--quantizationnone\--model-path{your_model_dir}\--model-uid Qwen3-0.6B\--gpu_memory_utilization0.6\--max_model_len1024\--endpointhttp://localhost:6006--model-path模型权重本地存储路径。2.测试① 查看模型部署情况xinference list\--endpointhttp://localhost:6006② WebUI③ 发送请求curlhttp://localhost:6006/v1/chat/completions-HContent-Type: application/json-d{ model: qwen3, messages: [ {role: system, content: 你是个乐于助人的助理。}, {role: user, content: 你好啊} ] }响应如下3.4 部署Embedding模型1.部署① 云端模型xinference launch\--model-name bge-small-zh-v1.5\--model-type embedding\--endpointhttp://localhost:6006--model-name模型名称--model-type模型类型正在下载部署完成② 本地文件xinference launch\--model-name bge-small-zh-v1.5\--model-type embedding\--model-path${your_model_path}\--endpointhttp://localhost:6006--model-path模型下载路径2.测试① 查看模型部署情况xinference list\--endpointhttp://localhost:6006② WebUI③ 发送请求curlhttp://localhost:6006/v1/embeddings\-HContent-Type: application/json\-d{ model: bge-base-zh-v1.5, input: 这是一个用于测试的中文句子 }响应如下3.5 部署Rerank模型1.部署xinference launch\--model-name bge-reranker-base\--model-type rerank\--endpointhttp://localhost:6006正在下载部署完成2.测试① 查看模型部署情况xinference list\--endpointhttp://localhost:6006② WebUI③ 发送请求curlhttp://localhost:6006/v1/rerank\-HContent-Type: application/json\-d { model: bge-reranker-base, query: Apple, documents: [ 鸡蛋, 苹果, iphone, 香蕉 ], instruction: 基于查询结果重排序, top_n: 4 } 响应如下3.6 Dify对接XInference1. 安装XInference插件搜索Xinference安装插件安装完成后即可看到XInference2. 添加LLM在XInference插件下可以看到模型则配置成功3. 添加Embedding模型4. 添加Rerank模型