Atlas专为DGX Spark优化的Rust引擎,启动是真的快,但小问题也多
视频链接Atlas专为DGX Spark优化的Rust引擎启动是真的快但小问题也多_哔哩哔哩_bilibili专为DGX Spark优化的Rust引擎启动是真快Qwen3.6-35B: 88-102 tok/s比vLLM/SGLang快1.7-2.5x但支持模型有限不过DGX上面能跑的也基本都有了仓库 Avarok-Cybersecurity/atlas部署方式官方提供的quickstartexport HF_ENDPOINThttps://hf-mirror.com curl -fsSL https://atlasinference.io/quickstart.sh | sh脚本会自动检测 sparkrun如缺失则通过 uvx 安装手动安装# 安装 sparkrun uvx sparkrun setup install # 列出官方 Atlas 配方 sparkrun recipe list --registry atlas # 运行指定配方默认端口 8888 sparkrun run atlas/qwen3.6-35b-a3b-fp8-mtp sparkrun run atlas/qwen3.5-35b-a3b-nvfp4问题Error response from daemon: No such container: sparkrun_7b2387b7d510768a_49960de5880e_soloCluster: sparkrun_7b2387b7d510768a_49960de5880e Serve command: spark serve Qwen/Qwen3.6-35B-A3B-FP8 --port 8888 --host 0.0.0.0 --gpu-memory-utilization 0.88 --max-seq-len 262144 --kv-cache-dtype bf16 --max-batch-size 2 --kv-high-precision-layers auto --scheduling-policy slai --max-prefill-tokens 32768 --oom-guard-mb 1024 --ssm-cache-slots 256 --mtp-quantization bf16 --enable-prefix-caching --speculative [6/6] Post-launch hooks — skipped Error response from daemon: No such container: sparkrun_7b2387b7d510768a_49960de5880e_solodocker 手动运行docker run --rm \ --network host --gpus all --ipchost \ -v ~/.cache/huggingface:/root/.cache/huggingface \ avarok/atlas-gb10:latest \ serve Qwen/Qwen3.6-35B-A3B-FP8 \ --port 8888 \ --max-seq-len 65536 \ --kv-cache-dtype fp8 \ --kv-high-precision-layers auto \ --gpu-memory-utilization 0.90 \ --scheduling-policy slai \ --enable-prefix-caching \ --speculative \ --num-drafts 2 \ --tool-call-parser qwen3_coder确认是否运行curl http://localhost:8888/v1/models问题提示没有指定--hostssparkrun run atlas/qwen3.5-35b-a3b-nvfp4 --hosts localhostAtlas 官网之前漏了 --hosts localhost后来已修复测试可以达到53 tps另外由于也开放了 OpenAI-compatible APIhttp://localhost:8888/v1所以试了下用CC switch计入CC可以进行agentic task但是表现还是没有特别如意还出现了复读机的现象还有一些warnning和参数待后面一点点摸索了占用内存也高

相关新闻

MongoDB 8.0——时间序列

MongoDB 8.0——时间序列

时间序列1、时间序列介绍2、创建和查询时间序列集合2.1、创建时间序列集合2.2、在时间序列集合中插入测量值2.3、查询时间序列集合2.4、在时间序列集合上运行聚合3、列出数据库中的时间序列集合4、设置时间序列集合的自动删除5、设置时间序列数据的粒度6、向时间序列集合添加从…

2026/9/25 13:17:05 阅读更多 →
一行注解搞定权限和审计:注解式 RBAC 的工程实践

一行注解搞定权限和审计:注解式 RBAC 的工程实践

这是背单词小程序「优词记 Pro」技术复盘的收尾篇。前六篇聊了架构、路由、代码生成、SQL 重构和构建踩坑,今天讲后台管理里最容易写脏的两个横切关注点——权限控制和操作日志——以及怎么用注解把它们变成「加一行声明」的事。问题:权限逻辑怎么放都别…

2026/9/24 7:49:05 阅读更多 →
session文件包含详解 加ctf实战练习

session文件包含详解 加ctf实战练习

大家可以 在自己的靶场中导入代码先自己试一下 具体代码在文章中 了解session 可以先根据尝试包含到SESSION文件,在根据文件内容寻找可控变量,在构造payload插入到文件中,最后包含即可。 利用条件: 找到Session内的可控变量 …

2026/9/11 22:16:20 阅读更多 →

最新新闻

七星卫通技术专业吗

七星卫通技术专业吗

从北斗卫星导航系统完成全球组网,到天通一号卫星移动通信系统建成,国产卫星通信产业从追赶到并跑,从单点突破到体系成型,走过了十余年的攻坚旅程。在这片关乎信息安全、关乎极端场景通信保障的蓝海中,北京七星卫通科技…

2026/9/25 22:58:20 阅读更多 →
太阳能电池板缺陷检测数据集构建与YOLOv8训练避坑指南

太阳能电池板缺陷检测数据集构建与YOLOv8训练避坑指南

简介:太阳能电池板缺陷检测数据集面向计算机视觉研究者与新能源质检开发者,提供2624张300300像素8位灰度图像,覆盖44个太阳能模块的功能性与缺陷电池样本,缺陷包含内在类型(裂纹、断栅、污染等)与外在退化类…

2026/9/25 22:58:20 阅读更多 →
UNSW-NB15网络攻击检测毕设源码实战:从环境配置到部署排坑

UNSW-NB15网络攻击检测毕设源码实战:从环境配置到部署排坑

简介:面向计算机相关专业毕业设计、课程设计与入门实践的机器学习项目资源,围绕 UNSW-NB15 数据集提供网络攻击检测的完整算法实现。数据集涵盖多种现代攻击流量,项目基于经典监督学习思路,集中展示决策树二分类、逻辑回归与 KNN …

2026/9/25 22:58:20 阅读更多 →
OpenClaw-China-Docker微信官方插件接入教程:如何把AI助手装进微信聊天

OpenClaw-China-Docker微信官方插件接入教程:如何把AI助手装进微信聊天

OpenClaw-China-Docker微信官方插件接入教程:如何把AI助手装进微信聊天 【免费下载链接】openclaw-china-docker OpenClaw 的中国IM平台整合Docker版本,预装并配置了飞书、钉钉、QQ机器人、企业微信等主流中国IM软件的插件,让您可以快速部署一…

2026/9/25 22:58:20 阅读更多 →
LDA主题模型关键词提取实战:从分词到gensim调参与避坑指南

LDA主题模型关键词提取实战:从分词到gensim调参与避坑指南

简介:面向文本挖掘与自然语言处理学习者打造的LDA主题建模资源包,聚焦利用潜在狄利克雷分配模型完成关键词与主题词提取,适合需要理解主题模型原理、动手实现文本分析的初学者及研究者,也可应用于新闻聚类、舆情分析与文档主题挖掘…

2026/9/25 22:58:20 阅读更多 →
Nasiko A2A Registry 设计解析:把“Agent 发现“本身做成一个 A2A Agent

Nasiko A2A Registry 设计解析:把“Agent 发现“本身做成一个 A2A Agent

【免费下载链接】nasiko Developer Control Plane for your AI Agents 项目地址: https://gitcode.com/gh_mirrors/na/nasiko 点击查看 免费下载 在 Nasiko(Developer Control Plane for your AI Agents)中,Agent 之间的通信、发…

2026/9/25 22:57:20 阅读更多 →

日新闻

AI元人文:从工具使用到思维重构的深度探索

AI元人文:从工具使用到思维重构的深度探索

最近半年我一直在琢磨一件事:AI元人文到底是什么?说白了,就是“用元视角重新审视人与AI的关系”,也在“探索AI如何反向逼着我们发现自己的思考边界”。标题里的“元探索”,在我看就是一层套一层的追问——当你用AI解决…

2026/9/25 0:00:41 阅读更多 →
Python+CNN车牌识别实战:从数据预处理到模型训练与部署

Python+CNN车牌识别实战:从数据预处理到模型训练与部署

简介:基于Python与卷积神经网络的车牌识别项目,面向计算机视觉初学者及智能交通开发者,目标是帮助用户掌握从数据预处理、模型构建到实际部署的完整流程。压缩包共25个文件,包含jpg/png图像样本、py训练脚本、md说明文档、dat数据…

2026/9/25 0:00:41 阅读更多 →
Vim基础操作全攻略:保存退出、模式切换与高频命令实战

Vim基础操作全攻略:保存退出、模式切换与高频命令实战

1. 项目概述1.1 核心需求解析今天聊聊Vim。写这个题目的原因是:几乎每个后端开发者、运维人员、数据工程师某天都会遇到一个场景——深夜加班,服务器登录界面只有黑底白字,编辑器只有vi/vim,你必须在五分钟内完成一次配置修改并保…

2026/9/25 0:00:41 阅读更多 →

周新闻

Flutter for OpenHarmony游戏卡片渐变背景实战:从原理到性能优化

Flutter for OpenHarmony游戏卡片渐变背景实战:从原理到性能优化

直接铺开项目本身吧。这几个月我一直在折腾一件事:用Flutter给OpenHarmony做一款游戏集合类的App,说白了就是把若干小游戏塞进一个壳里,用统一入口分发。这个方向本身不算新鲜,真正让我花了不少心思的,是首页那堆游戏卡…

2026/9/25 19:27:14 阅读更多 →
Word表格编号全攻略:从列表编号到题注交叉引用

Word表格编号全攻略:从列表编号到题注交叉引用

写Word文档,最让人头疼的往往是那些“看起来不起眼”的小问题。比如表格编号这事:今天在表后面多加了两个空白行,明天给客户交稿前发现整个章节的编号全部错位,光是挨个改序号就能耗掉大半个下午。我前阵子帮人整理一份上百页的技…

2026/9/25 11:15:26 阅读更多 →
从第一个站到第二个站:独立开发者的静态网站选型与落地实践

从第一个站到第二个站:独立开发者的静态网站选型与落地实践

1. 项目概述1.1 核心需求解析做独立开发者这几年,说实话,第一个网站上线的那天晚上我兴奋得没睡着。但等它跑了半年,流量惨淡、功能臃肿、代码自己都懒得看第二遍之后,我才慢慢琢磨明白一个道理:第一个网站是练手&…

2026/9/25 20:29:09 阅读更多 →

月新闻

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能

持续集成 流水线自动化与 声明式交付 实践:原型怎样变成可用功能分类:[AI/大模型]细分主题:AI 增强型 CI/CD 流水线自动化与 GitOps 实践:Agent 工作流、工具调用与任务拆解:从原型到生产的验收清单很多团队在尝试用大…

2026/9/25 20:29:43 阅读更多 →
容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场

容器编排 生产环境运维与排障实战:复盘记录怎样真正派上用场分类:[工程技术]细分主题:Kubernetes 生产环境运维与排障实战:可复制的项目复盘模板与决策记录大部分团队的事故复盘报告,最后都变成了躺在 Confluence 或钉…

2026/9/25 20:29:31 阅读更多 →
容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步

容器 容器化技术与镜像安全管理:核心链路应该先拆哪一步分类:[工程技术]细分主题:Docker 容器化技术与镜像安全管理:核心链路的逐步实现与关键代码取舍面对一个积累了五六年历史包袱的单体架构应用(包含 Web 接口、后台…

2026/9/25 19:27:26 阅读更多 →