云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载导读在 Olares 中本地大模型以模型实例的形式运行模型文件由推理引擎基座应用负责拉取与校验推理服务由引擎进程提供。当你在启动台打开模型实例后模型控制台Model Console中的Model状态始终没有变为Ready或Engine状态始终没有变为Running时说明模型下载、文件校验或引擎启动链路中某个环节被卡住。本文将以 Olares 模型控制台的状态模型为骨架分阶段讲解如何定位卡点、修正环境变量与资源配额、释放显存和磁盘空间并在必要情况下收集日志交由支持渠道分析。读完本文你将掌握一套可复现的模型未就绪 / 引擎未运行 / 状态无变化三级排查流程并理解MODEL_SOURCE、MODEL_NAME、ENGINE_ARGS、REQUIRED_GPU_MEMORY等关键变量在底层如何决定模型能否正常上线。模型控制台的两个核心状态在 Olares 中一个模型实例能否对外提供服务取决于两个相互依赖的状态见 llm-base-apps 监控章节Model模型文件是否下载完成并通过校验。文件下载并校验完成后显示Ready。Engine推理服务是否成功启动。推理服务上线后显示Running。二者的先后关系是确定的引擎无法为一个文件尚未就绪的模型提供服务。因此排查时必须遵循先模型、后引擎的顺序。第一步确认卡在哪个阶段从启动台打开模型实例在状态Status页查看服务状态Service status。根据你看到的现象可以快速判断问题落在哪条链路上你看到的状态说明Model未显示Ready模型文件仍在下载或下载与校验过程未能完成。Model已显示Ready但Engine未显示Running模型文件已经可用但推理服务无法使用当前配置或资源启动。模型应用在应用市场或设置中显示为已停止Olares 无法为应用预留启动所需资源或应用此前被手动停止。这张表格对应了两种完全不同的故障域前者是文件层问题网络、磁盘、来源格式后者是进程层问题引擎参数、显存配额、应用生命周期。下面分别处理。模型未就绪文件层排查当Model未显示Ready按以下顺序排查保持模型实例运行并等待。如果模型仍在下载请勿关闭实例。大型模型文件尤其是 27B 以上量级的 GGUF 或 safetensors 权重可能需要较长时间才能下载完成中途关闭会中断下载。确认网络可达性与磁盘空间确认 Olares 可以访问模型来源Hugging Face、Ollama 库等。确认磁盘有足够可用空间。如果存储空间不足参考释放 Olares 磁盘空间先删除不再使用的模型再谨慎清理未引用的容器镜像olares-cli doctor images --unused可列出未被标准工作负载引用的镜像。核对环境变量格式。如果实例由引擎基座应用创建请按照对应引擎的格式检查MODEL_SOURCE和MODEL_NAME详见下文关键环境变量的格式要求。修正后重新应用配置。如果你在设置应用[模型应用]管理环境变量中修正了变量请保存更改并点击应用Apply然后等待模型控制台更新状态。环境变量修改不会即时生效需要平台重新调度应用后才反映到状态。重要约束实例运行期间请勿删除尚未下载完成的模型文件否则可能导致应用状态与已存储文件不一致反而让后续恢复变得更复杂。引擎未运行进程层排查当Model已显示Ready而Engine未显示Running时先等待模型就绪。模型文件未就绪时引擎无法提供模型服务这是前置条件。检查实例配置重点核对三项MODEL_NAME是否与配置的模型一致。注意MODEL_NAME需要严格遵循对应引擎的命名推导规则见下文写错模型名会导致引擎加载不到文件。ENGINE_ARGS是否使用所选引擎要求的语法。不同引擎参数风格完全不同llama.cpp 使用-c这类短参数vLLM 使用--max-model-lenSGLang 使用--context-lengthOllama 则通过OLLAMA_*环境变量形式传入。引擎的REQUIRED_GPU_MEMORY值是否超过可用资源。该值定义了实例启动所需的最小 GPU 显存如果显存配额不足调度器无法为实例预留资源。恢复已停止的应用。如果应用处于已停止状态请从应用市场我的 Olares或设置应用中恢复应用。处理显存不足。如果 Olares 提示显存不足参考GPU 应用安装或恢复后处于暂停状态在显存分片Olares 1.12.5或容量切分Olares 1.12.6模式下需要先释放其他应用占用的显存配额再恢复目标应用。回到模型控制台确认最终状态。只有Model显示Ready且Engine显示Running后才能继续连接客户端应用。关键环境变量的格式要求模型实例的下载与启动完全由环境变量驱动。以下格式要求来自使用 Ollama、vLLM、llama.cpp 和 SGLang 运行本地大模型的配置章节排查时请对照自己的实例逐项比对。llama.cpp 引擎基座GGUF 文件MODEL_SOURCEhf://repo --include file.gguf。如需下载多个文件用逗号分隔每个条目。示例模型页面https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF对应MODEL_SOURCE为hf://unsloth/Qwen3.6-35B-A3B-GGUF --include Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf。MODEL_NAME从MODEL_SOURCE推导格式为repo:quantization每个实例只能带一种量化。对应上述来源MODEL_NAME为unsloth/Qwen3.6-35B-A3B-GGUF:UD-Q4_K_XL。ENGINE_ARGS上下文长度-c为必填项多个参数用空格分隔。例如-c 65536或-c 65536 -ngl all。LLAMACPP_REQUIRED_GPU_MEMORY实例启动所需的最小 GPU 显存单位为 MB 或 Gi如20Gi。在时间分片或独占模式下设为小于显卡总显存在显存分片模式下设为小于剩余显存在 CPU 模式下设为0。Ollama 引擎基座模型标签MODEL_SOURCEollama://model:size-tag。示例ollama://qwen3.5:2b。MODEL_NAME取ollama://之后的字符串即qwen3.5:2b。ENGINE_ARGS通过 Ollama 环境变量形式传入如OLLAMA_CONTEXT_LENGTH8192或OLLAMA_CONTEXT_LENGTH8192 OLLAMA_KV_CACHE_TYPEq8_0。OLLAMA_REQUIRED_GPU_MEMORY例如8Gi或8192Mi规则同 llama.cpp。vLLM / SGLang 引擎基座safetensors 权重MODEL_SOURCE选择包含.safetensors权重文件的仓库格式为hf://repo。示例hf://Qwen/Qwen3.5-2B。MODEL_NAME取hf://之后的字符串即Qwen/Qwen3.5-2B。ENGINE_ARGSvLLM 示例--max-model-len 65536SGLang 示例--context-length 65536。上下文长度为必填项。VLLM/SGLANG_REQUIRED_GPU_MEMORY规则同上。所有引擎共用MODEL_MODEChat 或 Embedding与MODEL_SUPPORTSVision、Tools、Thinking嵌入模型选 None两个变量它们决定该实例在 Router 中暴露的能力类型。若MODEL_MODE选择 Embedding 而引擎按 Chat 模型启动客户端连接阶段也会出现问题。状态一直没有变化进阶处理与日志收集如果模型和引擎的状态长时间停滞先注意以下红线请勿删除应用命名空间、Application 资源或共享引擎服务。这些操作可能影响其他模型实例并增加恢复难度。多个模型实例可能共享同一套引擎基座服务删除共享资源会波及所有实例。记录必要信息在寻求支持前请先记录以下信息Olares 版本和模型应用版本。引擎基座类型以及该应用是预构建模型还是克隆实例克隆实例在 Market 或 Settings 中会显示From template标签。Model和Engine的完整状态。模型来源和引擎参数注意移除令牌或凭据MODEL_SOURCE中若包含私有仓库可能含有访问令牌。问题开始的时间以及此前刚进行过的更改例如刚修改过环境变量、更新过 GPU 模式、调整过显存分配。导出应用日志前往应用市场我的 Olares日志下载应用操作日志。应用日志记录了环境变量变更、下载进度、引擎启动命令与失败原因是定位ENGINE_ARGS语法错误或显存分配失败的关键证据。收集系统诊断信息如果需要提供更多上下文参考收集诊断信息通过 SSH 连接到 Olares 主机Olares One 上 SSH 用户为olaresssh olares{local_ip_address}。运行sudo olares-cli logs --output-dir $HOME/olares-logs该命令会收集 Olares 系统、Kubernetes、容器、内核和网络的近期诊断信息并在最后一行输出压缩包完整路径。如果问题刚发生不久可加--since 3h等时间范围参数减小压缩包体积。使用scp olares{local_ip_address}:~/olares-logs/olares-logs-{timestamp}.tar.gz .下载到本地再通过私密支持渠道共享日志压缩包。相关指南使用 Ollama、vLLM、llama.cpp 和 SGLang 运行本地大模型——引擎基座应用的选择、实例创建与环境变量完整配置。连接 AI 应用与模型服务——模型就绪后客户端如何通过 Router 连接本地模型。GPU 应用安装或恢复后处于暂停状态——显存分片/容量切分模式下释放显存的具体操作。内存不足或没有释放——暂停应用后内存未释放时的处理方式。释放 Olares 磁盘空间——删除不再使用的模型与未引用容器镜像。收集诊断信息——使用olares-cli logs收集系统日志。赞分享云原生后端运维【免费下载链接】TerminusOpen-Source Personal Cloud OS for Always-On Agents项目地址https://gitcode.com/gh_mirrors/terminus2/Terminus点击查看免费下载相关推荐Olares 模型控制台故障排查模型无法就绪或推理引擎无法启动Model / Engine Not ReadyOlares 模型控制台故障排查模型无法就绪或推理引擎无法启动Model / Engine Not Ready 本指南面向在 Olares开源个人云操作云原生后端运维OpenHuman 本地模型 Ollama 不可达或模型未安装怎么排查与修复OpenHuman 本地模型 Ollama 不可达或模型未安装怎么排查与修复 你打开 OpenHuman 桌面应用的 Settings → AI Skill人工智能AI Agent多智能体Agent 编排工具调用桌面应用AudioCraft 故障排查完全指南从安装、模型加载到生成推理的常见错误与修复方案AudioCraft 故障排查完全指南从安装、模型加载到生成推理的常见错误与修复方案 AudioCraft 是 MetaFacebook ResearchAI 技能人工智能大模型深度学习上一篇MXNet 梯度压缩Gradient Compression实战与原理降低分布式训练通信开销下一篇3步构建全链路视频处理KrillinAI智能翻译配音实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考