后端人工智能模型推理服务集群管理可观测性【免费下载链接】gpustackA GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.项目地址https://gitcode.com/gh_mirrors/gp/gpustack点击查看免费下载本文介绍如何将 GPUStack 中本地部署的大语言模型LLM、Embedding 向量模型与 Rerank 重排序模型接入 MaxKB从而为 MaxKB 知识库问答提供完全私有化的模型能力。读完本文你将掌握从模型部署、API 访问信息获取、MaxKB 部署与模型配置到创建知识库与发布 AI Agent 的完整闭环流程并理解/v2/rerank端点为何需要启用 Generic Proxy 的底层原理。集成方案总览MaxKB 是开源的智能知识库问答系统支持接入大语言模型、Embedding 模型和 Rerank 模型用于构建基于私有知识库的 AI 助手。GPUStack 作为统一的 GPU 集群管理与模型服务平台为 MaxKB 提供三个关键角色对话模型负责根据检索到的知识生成回答如qwen3.5-35b-a3bEmbedding 模型负责将知识库文档切分后的片段向量化供语义检索使用如qwen3-embedding-4bRerank 模型负责对检索结果进行重排序提升答案相关性如qwen3-reranker-4b。三者配合MaxKB 才能完成知识入库 → 语义检索 → 重排序 → 大模型生成的完整知识问答链路。第一步在 GPUStack 中部署模型进入部署页面在 GPUStack UI 中导航到Deployments部署页面点击Deploy Model部署模型按钮即可开始部署所需的模型。GPUStack 内置模型目录model-catalog.yaml其中收录了 Qwen3 系列 Embedding 与 Reranker 模型可直接从目录选择无需手工填写 Hugging Face 模型 ID。本指南以三个模型为例模型用途备注qwen3.5-35b-a3b对话生成Chat混合专家架构激活参数约 3.5B适合作为知识问答的生成模型qwen3-embedding-4b文本向量化Embedding多语言 Embedding 模型支持指令调优instruction tuningqwen3-reranker-4b相关性重排序Rerank对候选文档片段按与查询的相关性打分排序说明Embedding 与 Reranker 类模型推理资源占用较小通常会由 GPUStack 调度到与推理后端如 vLLM兼容的 GPU 节点上。从 GPUStack 调度器对模型类别的处理看参见 vllm_resource_fit_selector.pyEmbedding 与 Reranker 模型在资源适配上有专门的处理逻辑可放心部署。依次完成以下部署qwen3.5-35b-a3b在 Deploy Model 中选择该模型确认推理后端与显存配置后点击部署qwen3-embedding-4b作为 Embedding 模型部署qwen3-reranker-4b作为 Rerank 模型部署。在 Playground 中验证模型模型部署完成后建议先在 GPUStack 的Playground模型测试台中分别验证三个模型是否能正常响应确认推理服务正常后再进行 MaxKB 对接。第二步获取模型访问信息MaxKB 需要通过 OpenAI 兼容接口访问 GPUStack 上的模型因此需要从 GPUStack 获取三项关键信息Base URL、Model Name 与 API Key。获取 Base URL 与 Model Name在 GPUStack 左侧边栏打开Routes模型路由页面在对应模型路由右侧点击More actions menu更多操作菜单选择API Access InfoAPI 访问信息。记录以下信息Base URL Model Name API Key其中 Base URL 的格式为http://your-gpustack-url/v1即 GPUStack 对外提供的 OpenAI 兼容 API 入口。GPUStack 的 API 网关对/v1下的/chat/completions、/embeddings等 OpenAI 风格路径做统一路由参见 gateway/utils.py 中openai_model_prefixes的定义这也是 MaxKB 能直接填写该地址的原因。示例Base URL: http://your-gpustack-url/v1 Model Name: qwen3.5-35b-a3b qwen3-embedding-4b qwen3-reranker-4b API Key: gpustack_xxxxxxxxxxxxx创建 API Key提示如果还没有 API Key可以按照 GPUStack UI 中的引导提示创建一个 API Key。API Key 以gpustack_前缀开头是 MaxKB 访问 GPUStack 模型接口的凭证请妥善保管。第三步部署 MaxKBMaxKB 官方提供 Docker 镜像可通过一条命令完成部署docker run -d \ --name maxkb \ --restart always \ -p 8080:8080 \ -v ~/.maxkb:/opt/maxkb \ 1panel/maxkb参数说明参数含义--name maxkb容器名称--restart always容器异常退出后自动重启保证服务可用性-p 8080:8080将容器内 8080 端口映射到宿主机 8080 端口-v ~/.maxkb:/opt/maxkb将数据卷挂载到宿主机~/.maxkb目录持久化知识库与配置启动成功后访问http://your-server:8080即可进入 MaxKB 登录页面。默认登录凭证admin / MaxKB123..首次登录后请按照页面提示修改默认密码避免默认凭证暴露带来的安全风险。第四步在 MaxKB 中接入 GPUStack 模型添加对话模型在 MaxKB UI 顶部的导航栏中点击Model模型进入模型管理页面。点击Add Model添加模型配置模型信息配置要点如下Base Model基础模型必须与 GPUStack 中部署的模型名称完全一致即qwen3.5-35b-a3bAPI URL接口地址填写http://your-gpustack-url/v1API Key接口密钥填写在 GPUStack 中创建的 API Key。注意API URL和API Key两个输入框会在输入 Base Model 并按下回车键之后才出现这是 MaxKB 根据模型名称自动识别供应商类型后的正常交互流程按顺序填写即可。添加 Embedding 与 Rerank 模型用同样的方法依次添加另外两个模型qwen3-embedding-4bEmbedding 模型qwen3-reranker-4bRerank 模型在配置该模型时需要开启 Generic Proxy通用代理。为什么 Rerank 模型必须开启 Generic Proxy原因是 MaxKB 调用 Rerank 模型时使用的是以下端点/v2/rerank这与标准 OpenAI 接口路径不同。GPUStack 的 API 网关专门为 Rerank 端点做了版本兼容处理在 gateway/utils.py 中/rerank路径被声明了additional_versions[/v2]即同时支持/v1/rerank与/v2/rerank两种访问形式请求会由 rerank.py 中的POST /rerank路由接收并代理转发到对应模型实例。开启 Generic Proxy 后MaxKB 才能正确访问/v2/rerank端点完成重排序调用。校验模型列表三个模型全部配置完成后应能在模型列表中看到它们第五步创建知识库在 MaxKB 中导航到Knowledge知识页面点击Create创建选择Web Knowledge网页知识库类型。输入一个文档 URL 或其他数据源地址MaxKB 会自动爬取并解析页面内容然后使用已配置的 Embedding 模型将其向量化存入知识库。爬取完成后的知识库状态提示除了 Web KnowledgeMaxKB 还支持文档上传等其他知识库类型均可复用 GPUStack 提供的 Embedding 模型完成向量化。第六步创建并发布 AI Agent进入Agent智能体页面点击Create创建新建一个智能体。为智能体配置Chat model对话模型选择qwen3.5-35b-a3bKnowledge base知识库选择上一步创建的知识库Retrieval settings检索设置配置召回数量、相似度阈值等检索参数Rerank 模型会在此环节对召回片段重排序。配置完成后点击Publish发布激活智能体。第七步开始对话打开智能体的聊天界面即可开始与基于知识库的 AI 助手交互此时助手可以基于已连接的知识库与 GPUStack 上部署的模型回答与知识库内容相关的问题——对话生成由 LLM 完成语义检索由 Embedding 模型支撑相关性优化由 Rerank 模型负责整个问答链路完全运行在本地 GPU 集群上无需依赖外部模型服务。常见问题排查现象可能原因处理建议MaxKB 添加模型后测试报错API URL 或 API Key 填写错误核对http://your-gpustack-url/v1与gpustack_开头的 API KeyRerank 模型调用失败未启用 Generic Proxy在模型配置中开启 Generic Proxy确保可访问/v2/rerank端点知识库向量化失败Embedding 模型未部署或未在 MaxKB 中配置先在 GPUStack Playground 验证 Embedding 模型可用再确认 MaxKB 已添加对应模型问答检索结果相关性差Rerank 模型未生效或检索参数不当确认 Rerank 模型已配置并检查检索设置中的召回数量与阈值总结通过 GPUStack MaxKB 的组合可以在本地 GPU 集群上构建一套完整的私有化知识库问答系统GPUStack 负责模型部署、路由与 OpenAI 兼容 API 暴露MaxKB 负责知识库管理、检索增强与 Agent 编排。本指南涉及的三个模型角色Chat / Embedding / Rerank与/v2/rerank端点适配是集成成败的关键按照本文步骤逐一配置即可快速上线。赞分享后端人工智能模型推理服务集群管理可观测性【免费下载链接】gpustackA GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-demand SSH-accessible GPU instances.项目地址https://gitcode.com/gh_mirrors/gp/gpustack点击查看免费下载相关推荐PrivateGPT完整部署指南构建本地AI知识库的实用教程PrivateGPT完整部署指南构建本地AI知识库的实用教程 PrivateGPT为企业级用户提供了安全可靠的本地AI知识库解决方案通过智能文档解析和向量检人工智能大模型RAG本地部署LLM 网关后端如何快速搭建企业级AI知识库MaxKB从零开始的完整指南如何快速搭建企业级AI知识库MaxKB从零开始的完整指南 在数字化转型加速的今天企业对智能知识管理的需求日益迫切。MaxKB作为一款强大易用的开源企业级智能人工智能大模型AI AgentRAG工具调用后端前端知识库Android照片管理革命从杂乱到有序的智能解决方案Android照片管理革命从杂乱到有序的智能解决方案 在数字时代我们的手机相册往往充斥着成千上万张杂乱无章的照片。重要时刻被淹没在大量相似图片中隐私照片缺后端人工智能模型推理服务集群管理可观测性上一篇4个关键步骤让老款Mac重获新生OpenCore Legacy Patcher完整指南下一篇如何快速掌握REFramework面向新手的RE引擎游戏改造终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考