Atlas专为DGX Spark优化的Rust引擎,启动是真的快,但小问题也多
视频链接Atlas专为DGX Spark优化的Rust引擎启动是真的快但小问题也多_哔哩哔哩_bilibili专为DGX Spark优化的Rust引擎启动是真快Qwen3.6-35B: 88-102 tok/s比vLLM/SGLang快1.7-2.5x但支持模型有限不过DGX上面能跑的也基本都有了仓库 Avarok-Cybersecurity/atlas部署方式官方提供的quickstartexport HF_ENDPOINThttps://hf-mirror.com curl -fsSL https://atlasinference.io/quickstart.sh | sh脚本会自动检测 sparkrun如缺失则通过 uvx 安装手动安装# 安装 sparkrun uvx sparkrun setup install # 列出官方 Atlas 配方 sparkrun recipe list --registry atlas # 运行指定配方默认端口 8888 sparkrun run atlas/qwen3.6-35b-a3b-fp8-mtp sparkrun run atlas/qwen3.5-35b-a3b-nvfp4问题Error response from daemon: No such container: sparkrun_7b2387b7d510768a_49960de5880e_soloCluster: sparkrun_7b2387b7d510768a_49960de5880e Serve command: spark serve Qwen/Qwen3.6-35B-A3B-FP8 --port 8888 --host 0.0.0.0 --gpu-memory-utilization 0.88 --max-seq-len 262144 --kv-cache-dtype bf16 --max-batch-size 2 --kv-high-precision-layers auto --scheduling-policy slai --max-prefill-tokens 32768 --oom-guard-mb 1024 --ssm-cache-slots 256 --mtp-quantization bf16 --enable-prefix-caching --speculative [6/6] Post-launch hooks — skipped Error response from daemon: No such container: sparkrun_7b2387b7d510768a_49960de5880e_solodocker 手动运行docker run --rm \ --network host --gpus all --ipchost \ -v ~/.cache/huggingface:/root/.cache/huggingface \ avarok/atlas-gb10:latest \ serve Qwen/Qwen3.6-35B-A3B-FP8 \ --port 8888 \ --max-seq-len 65536 \ --kv-cache-dtype fp8 \ --kv-high-precision-layers auto \ --gpu-memory-utilization 0.90 \ --scheduling-policy slai \ --enable-prefix-caching \ --speculative \ --num-drafts 2 \ --tool-call-parser qwen3_coder确认是否运行curl http://localhost:8888/v1/models问题提示没有指定--hostssparkrun run atlas/qwen3.5-35b-a3b-nvfp4 --hosts localhostAtlas 官网之前漏了 --hosts localhost后来已修复测试可以达到53 tps另外由于也开放了 OpenAI-compatible APIhttp://localhost:8888/v1所以试了下用CC switch计入CC可以进行agentic task但是表现还是没有特别如意还出现了复读机的现象还有一些warnning和参数待后面一点点摸索了占用内存也高

相关新闻

MongoDB 8.0——时间序列

MongoDB 8.0——时间序列

时间序列1、时间序列介绍2、创建和查询时间序列集合2.1、创建时间序列集合2.2、在时间序列集合中插入测量值2.3、查询时间序列集合2.4、在时间序列集合上运行聚合3、列出数据库中的时间序列集合4、设置时间序列集合的自动删除5、设置时间序列数据的粒度6、向时间序列集合添加从…

2026/11/8 13:05:53 阅读更多 →
一行注解搞定权限和审计:注解式 RBAC 的工程实践

一行注解搞定权限和审计:注解式 RBAC 的工程实践

这是背单词小程序「优词记 Pro」技术复盘的收尾篇。前六篇聊了架构、路由、代码生成、SQL 重构和构建踩坑,今天讲后台管理里最容易写脏的两个横切关注点——权限控制和操作日志——以及怎么用注解把它们变成「加一行声明」的事。问题:权限逻辑怎么放都别…

2026/11/7 11:35:07 阅读更多 →
session文件包含详解 加ctf实战练习

session文件包含详解 加ctf实战练习

大家可以 在自己的靶场中导入代码先自己试一下 具体代码在文章中 了解session 可以先根据尝试包含到SESSION文件,在根据文件内容寻找可控变量,在构造payload插入到文件中,最后包含即可。 利用条件: 找到Session内的可控变量 …

2026/11/3 3:17:50 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/9 14:01:10 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/9 14:56:39 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/10 2:03:25 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/9 14:01:10 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/9 7:45:06 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/9 14:01:11 阅读更多 →

日新闻

周新闻

月新闻