SGLang框架运行本地部署的qwen3.5:9b模型
一、WSL2以管理员身份打开终端输入wsl进入Ubuntu输入以下命令1、回到根目录cd ~2、激活sglang-env虚拟环境source sglang-env/bin/activate3、发现虚拟环境嵌套了退出 conda base 环境conda deactivate二、安装SGLang1、设置国内镜像源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple2、安装SGLangsglang [all] 包体积很大包含 cuda 依赖下载 编译会比较久耐心等待如果报错了就去问AI吧会帮你一步步解决的pip install sglang[all] -i https://pypi.tuna.tsinghua.edu.cn/simple3、验证安装出现下面的信息即代表完成python -m sglang.launch_server --help三、开始运行模型1、从魔搭社区下载模型文件*.safetensors或AWQ格式比较推荐2、运行下面的命令启动模型sglang serve --model-path /mnt/e/vllm/models/Qwen--Qwen3.5-9B/snapshots/master --host 0.0.0.0 --port 30000 --context-length 131072 --kv-cache-dtype fp8_e4m3 --mem-fraction-static 0.85 --trust-remote-code注/mnt/e/vllm/models/Qwen--Qwen3.5-9B/snapshots/master是模型文件所在的位置也就是E盘的vllm/models/Qwen--Qwen3.5-9B/snapshots/master拿到地址就可以调用模型了

相关新闻

工业级安全锥识别系统:YOLOv8融合改进与边缘部署实战

工业级安全锥识别系统:YOLOv8融合改进与边缘部署实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/15 5:32:26 阅读更多 →
私有化部署ShareLaTeX:构建高效中文LaTeX协作平台

私有化部署ShareLaTeX:构建高效中文LaTeX协作平台

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/14 23:51:17 阅读更多 →
嵌入式开发板完整使用流程:从工具链到烧录启动全解析

嵌入式开发板完整使用流程:从工具链到烧录启动全解析

1. 项目概述:从“板子通电”到“代码跑起来”的完整闭环开发板不是玩具,也不是教学演示的摆设——它是一整套嵌入式系统工程的最小可运行载体。你手里的那块印着丝印、插着排针、连着USB线的电路板,背后串联着工具链选型、交叉编译逻辑、内存…

2026/9/14 19:22:29 阅读更多 →

最新新闻

Flutter鸿蒙适配中的端云协同自动化验证:基于spec测试驱动的实践

Flutter鸿蒙适配中的端云协同自动化验证:基于spec测试驱动的实践

最近团队在搞 Flutter 端的鸿蒙适配,正好碰上了一个老大难问题:端云协同场景下的自动化验证到底怎么搞。Flutter 在三端(Android/iOS/鸿蒙)的渲染管线差异、Platform Channel 的通信机制差异、再加上云端服务的时间复杂度和网络不…

2026/9/21 19:01:44 阅读更多 →
ca1707源码速查手册:3步定位核心逻辑与避坑指南

ca1707源码速查手册:3步定位核心逻辑与避坑指南

ca1707源码速查手册:3步定位核心逻辑与避坑指南 官方文档动辄几百页,翻到眼睛发花还是找不到关键逻辑,这是很多开发者读源码时的共同噩梦。面对 ca1707 这种复杂模块,直接看官方 Wiki 往往效率极低,因为缺乏上下文关联。…

2026/9/21 19:01:44 阅读更多 →
qq群广告代发实战项目新手避坑指南

qq群广告代发实战项目新手避坑指南

qq群广告代发实战项目新手避坑指南 看了一堆教程还是不会写项目?别急,这恰恰是新手避坑的第一步。很多人卡在“懂原理”到“能落地”之间,其实就是缺了实战拆解。以qq群广告代发这种高频场景为例,它看似简单,实则涉及高并发、反爬机制、消息队列等核…

2026/9/21 19:01:44 阅读更多 →
有趣的图片进阶用法

有趣的图片进阶用法

5个有趣图片处理坑,搞懂高频面试题原理 面试被问原理答不上来,这种尴尬你遇到过吗? 明明代码能跑,但面试官一问底层,脑子瞬间空白。 这其实是 高频面试题 里的重灾区,尤其是涉及 有趣的图片 处理时。 很多学员觉得图片处理就是调库,…

2026/9/21 19:01:44 阅读更多 →
汽车导航系统免费下载源码跑不通?3个实战项目级优化技巧

汽车导航系统免费下载源码跑不通?3个实战项目级优化技巧

汽车导航系统免费下载源码跑不通?3个实战项目级优化技巧 手里那份 汽车导航系统免费下载 的源码,是不是刚拷到本地, npm install…

2026/9/21 19:01:44 阅读更多 →
Teleport 集群路由(Cluster Routing)深入解析:从证书签发到跨集群直连的实现原理

Teleport 集群路由(Cluster Routing)深入解析:从证书签发到跨集群直连的实现原理

Teleport 集群路由(Cluster Routing)深入解析:从证书签发到跨集群直连的实现原理 【免费下载链接】teleport The easiest, and most secure way to access and protect all of your infrastructure. 项目地址: https://gitcode.com/gh_mirr…

2026/9/21 19:00:44 阅读更多 →

日新闻

agents-generator 决策矩阵全解析:从项目检测到 AGENTS.md 规则生成的 16 步判定流程

agents-generator 决策矩阵全解析:从项目检测到 AGENTS.md 规则生成的 16 步判定流程

agents-generator 决策矩阵全解析:从项目检测到 AGENTS.md 规则生成的 16 步判定流程 【免费下载链接】agentic-awesome-skills AAS Core is the local, agent-first control plane for complete catalog discovery, agent-owned selection, stack validation, and …

2026/9/21 0:00:01 阅读更多 →
gin-vue-admin 前端工具函数全景指南:src/utils 复用规范与源码级解析

gin-vue-admin 前端工具函数全景指南:src/utils 复用规范与源码级解析

gin-vue-admin 前端工具函数全景指南:src/utils 复用规范与源码级解析 【免费下载链接】gin-vue-admin 🚀ViteVue3Gin拥有AI辅助的基础开发平台,企业级业务AI开发解决方案,内置mcp辅助服务,内置skills管理,…

2026/9/21 0:00:01 阅读更多 →
Wox 全功能插件开发实战指南:基于 Python / Node.js 宿主与 WebSocket 的持久化插件体系

Wox 全功能插件开发实战指南:基于 Python / Node.js 宿主与 WebSocket 的持久化插件体系

桌面应用AI 应用插件系统 【免费下载链接】Wox A cross-platform launcher that simply works 项目地址: https://gitcode.com/gh_mirrors/wo/Wox 点击查看 免费下载 全功能插件(Full-featured Plugin)是 Wox 三类插件实现方式中能力最完整的…

2026/9/21 0:00:01 阅读更多 →

周新闻

Flutter for OpenHarmony游戏卡片渐变背景实战:从原理到性能优化

Flutter for OpenHarmony游戏卡片渐变背景实战:从原理到性能优化

直接铺开项目本身吧。这几个月我一直在折腾一件事:用Flutter给OpenHarmony做一款游戏集合类的App,说白了就是把若干小游戏塞进一个壳里,用统一入口分发。这个方向本身不算新鲜,真正让我花了不少心思的,是首页那堆游戏卡…

2026/9/21 3:13:20 阅读更多 →
Word表格编号全攻略:从列表编号到题注交叉引用

Word表格编号全攻略:从列表编号到题注交叉引用

写Word文档,最让人头疼的往往是那些“看起来不起眼”的小问题。比如表格编号这事:今天在表后面多加了两个空白行,明天给客户交稿前发现整个章节的编号全部错位,光是挨个改序号就能耗掉大半个下午。我前阵子帮人整理一份上百页的技…

2026/9/21 2:19:36 阅读更多 →
从第一个站到第二个站:独立开发者的静态网站选型与落地实践

从第一个站到第二个站:独立开发者的静态网站选型与落地实践

1. 项目概述1.1 核心需求解析做独立开发者这几年,说实话,第一个网站上线的那天晚上我兴奋得没睡着。但等它跑了半年,流量惨淡、功能臃肿、代码自己都懒得看第二遍之后,我才慢慢琢磨明白一个道理:第一个网站是练手&…

2026/9/21 4:51:05 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能分类:[AI/大模型]细分主题:AI 增强型 CI/CD 流水线自动化与 GitOps 实践:Agent 工作流、工具调用与任务拆解:从原型到生产的验收清单很多团队在尝试用大…

2026/9/21 15:36:51 阅读更多 →
容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场分类:[工程技术]细分主题:Kubernetes 生产环境运维与排障实战:可复制的项目复盘模板与决策记录大部分团队的事故复盘报告,最后都变成了躺在 Confluence 或钉…

2026/9/21 15:36:51 阅读更多 →
容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步分类:[工程技术]细分主题:Docker 容器化技术与镜像安全管理:核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用(包含 Web 接口、后台…

2026/9/19 23:35:34 阅读更多 →