Atlas专为DGX Spark优化的Rust引擎,启动是真的快,但小问题也多
视频链接Atlas专为DGX Spark优化的Rust引擎启动是真的快但小问题也多_哔哩哔哩_bilibili专为DGX Spark优化的Rust引擎启动是真快Qwen3.6-35B: 88-102 tok/s比vLLM/SGLang快1.7-2.5x但支持模型有限不过DGX上面能跑的也基本都有了仓库 Avarok-Cybersecurity/atlas部署方式官方提供的quickstartexport HF_ENDPOINThttps://hf-mirror.com curl -fsSL https://atlasinference.io/quickstart.sh | sh脚本会自动检测 sparkrun如缺失则通过 uvx 安装手动安装# 安装 sparkrun uvx sparkrun setup install # 列出官方 Atlas 配方 sparkrun recipe list --registry atlas # 运行指定配方默认端口 8888 sparkrun run atlas/qwen3.6-35b-a3b-fp8-mtp sparkrun run atlas/qwen3.5-35b-a3b-nvfp4问题Error response from daemon: No such container: sparkrun_7b2387b7d510768a_49960de5880e_soloCluster: sparkrun_7b2387b7d510768a_49960de5880e Serve command: spark serve Qwen/Qwen3.6-35B-A3B-FP8 --port 8888 --host 0.0.0.0 --gpu-memory-utilization 0.88 --max-seq-len 262144 --kv-cache-dtype bf16 --max-batch-size 2 --kv-high-precision-layers auto --scheduling-policy slai --max-prefill-tokens 32768 --oom-guard-mb 1024 --ssm-cache-slots 256 --mtp-quantization bf16 --enable-prefix-caching --speculative [6/6] Post-launch hooks — skipped Error response from daemon: No such container: sparkrun_7b2387b7d510768a_49960de5880e_solodocker 手动运行docker run --rm \ --network host --gpus all --ipchost \ -v ~/.cache/huggingface:/root/.cache/huggingface \ avarok/atlas-gb10:latest \ serve Qwen/Qwen3.6-35B-A3B-FP8 \ --port 8888 \ --max-seq-len 65536 \ --kv-cache-dtype fp8 \ --kv-high-precision-layers auto \ --gpu-memory-utilization 0.90 \ --scheduling-policy slai \ --enable-prefix-caching \ --speculative \ --num-drafts 2 \ --tool-call-parser qwen3_coder确认是否运行curl http://localhost:8888/v1/models问题提示没有指定--hostssparkrun run atlas/qwen3.5-35b-a3b-nvfp4 --hosts localhostAtlas 官网之前漏了 --hosts localhost后来已修复测试可以达到53 tps另外由于也开放了 OpenAI-compatible APIhttp://localhost:8888/v1所以试了下用CC switch计入CC可以进行agentic task但是表现还是没有特别如意还出现了复读机的现象还有一些warnning和参数待后面一点点摸索了占用内存也高

相关新闻

MongoDB 8.0——时间序列

MongoDB 8.0——时间序列

时间序列1、时间序列介绍2、创建和查询时间序列集合2.1、创建时间序列集合2.2、在时间序列集合中插入测量值2.3、查询时间序列集合2.4、在时间序列集合上运行聚合3、列出数据库中的时间序列集合4、设置时间序列集合的自动删除5、设置时间序列数据的粒度6、向时间序列集合添加从…

2026/8/4 11:12:09 阅读更多 →
一行注解搞定权限和审计:注解式 RBAC 的工程实践

一行注解搞定权限和审计:注解式 RBAC 的工程实践

这是背单词小程序「优词记 Pro」技术复盘的收尾篇。前六篇聊了架构、路由、代码生成、SQL 重构和构建踩坑,今天讲后台管理里最容易写脏的两个横切关注点——权限控制和操作日志——以及怎么用注解把它们变成「加一行声明」的事。问题:权限逻辑怎么放都别…

2026/8/5 12:25:04 阅读更多 →
session文件包含详解 加ctf实战练习

session文件包含详解 加ctf实战练习

大家可以 在自己的靶场中导入代码先自己试一下 具体代码在文章中 了解session 可以先根据尝试包含到SESSION文件,在根据文件内容寻找可控变量,在构造payload插入到文件中,最后包含即可。 利用条件: 找到Session内的可控变量 …

2026/8/5 8:40:46 阅读更多 →

最新新闻

基于Qt与系统输入模拟实现FNF游戏自动化演奏的实战指南

基于Qt与系统输入模拟实现FNF游戏自动化演奏的实战指南

最近在逛B站和YouTube时,经常看到一些《Friday Night Funkin‘》(FNF)的精彩手元视频,尤其是那些高难度Mod的Full Combo(FC)录像,观赏性极强。其中,使用《QT》和《Rewired》这类工具…

2026/8/5 13:09:52 阅读更多 →
PNG图片位深度转换实战:从原理到Web优化与兼容性处理

PNG图片位深度转换实战:从原理到Web优化与兼容性处理

1. 从一次“诡异”的图片显示问题说起 那天,一个做UI设计的朋友火急火燎地找我,说他们开发团队遇到了一个怪事:设计师导出的PNG图标,在开发环境的网页上显示得清晰锐利,但一到测试服务器上,图片边缘就出现…

2026/8/5 13:09:52 阅读更多 →
12个实战技巧:大幅节省AI助手Token消耗,提升使用效率

12个实战技巧:大幅节省AI助手Token消耗,提升使用效率

在使用 ChatGPT、Codex、Claude Code、Gemini 等 AI 助手进行代码生成、问题解答或日常对话时,你是否经常遇到这样的窘境:对话进行到一半,突然提示“上下文长度超限”或“Token 不足”?尤其是在处理复杂项目、长文档分析或多轮深度…

2026/8/5 13:09:52 阅读更多 →
丙午年六月廿三古今沟渠

丙午年六月廿三古今沟渠

丙午年六月廿三古今沟渠 声声蝉声寻秋风,朵朵云朵入心相。 万叶柳条隔岸翔,千树翠伞望空凉。 浪卷绿意观涛耕,斜影水墨听禅浆。 兵将何时能解甲,官民哪处无别娘?

2026/8/5 13:09:52 阅读更多 →
从R-CNN到现代目标检测:理解区域提议与CNN特征提取的核心范式

从R-CNN到现代目标检测:理解区域提议与CNN特征提取的核心范式

1. 从AlexNet到R-CNN:目标检测的范式革命2012年,当AlexNet在ImageNet图像识别大赛上以压倒性优势夺冠时,整个计算机视觉领域都感受到了深度学习的冲击波。但当时,一个更复杂、更贴近实际应用的问题——目标检测,依然被…

2026/8/5 13:09:52 阅读更多 →
2026年Garmin手表全解析:各场景最佳之选、选购要点、常见问题及最新消息

2026年Garmin手表全解析:各场景最佳之选、选购要点、常见问题及最新消息

Garmin手表全解析:各场景最佳之选、选购要点、常见问题及最新消息 Garmin在户外运动爱好者中极受欢迎,为不同需求的人提供各种运动手表,价格从200美元到2000美元不等。其智能手表以精准定位、成熟生态系统和长续航能力脱颖而出,还…

2026/8/5 13:08:52 阅读更多 →

日新闻

Java缓存框架:JetCache

Java缓存框架:JetCache

TOC 一、简介 JetCache 是一个 Java 缓存抽象框架,为不同的缓存解决方案提供了统一的使用方式。 它提供的注解比 Spring Cache 更加强大。 JetCache 的注解支持原生 TTL、两级缓存以及在分布式环境中的自动刷新功能,同时你也可以通过代码直接操作 Cach…

2026/8/5 0:00:43 阅读更多 →
AD 铺铜设置十字连接,过孔全连接,新版AD的简单设置

AD 铺铜设置十字连接,过孔全连接,新版AD的简单设置

需求:通孔焊盘 十字花;过孔 Via 实心直连;贴片焊盘按需设置 AD 测试版本AD24 很多工程师踩坑:全部统一十字,导致接地过孔阻抗高、大电流发热! 一、快捷键打开规则 PCB 界面按下:D R 展开…

2026/8/5 0:00:43 阅读更多 →
AI素描转换技术深度拆解(2024最新论文+工业级落地代码):从Stable Diffusion ControlNet到LoRA微调全链路解析

AI素描转换技术深度拆解(2024最新论文+工业级落地代码):从Stable Diffusion ControlNet到LoRA微调全链路解析

更多请点击: https://kaifayun.com 第一章:AI生成素描效果 AI生成素描效果是计算机视觉与风格迁移技术融合的典型应用,其核心在于将彩色照片或RGB图像转换为具有手绘质感、明暗对比强烈、边缘清晰的单色素描图像。该过程通常依赖于深度学习模…

2026/8/5 0:00:43 阅读更多 →

周新闻

最大流算法详解:从水管网络到Ford-Fulkerson与Dinic实战

最大流算法详解:从水管网络到Ford-Fulkerson与Dinic实战

1. 从水管网络到最大流:一个核心问题的诞生想象一下,你是一个城市供水系统的总工程师。你的城市有多个水源(水库),需要通过一个复杂的地下管道网络,将水输送到各个居民区。每条管道都有其最大通水能力&…

2026/8/4 13:24:41 阅读更多 →
基于Springboot的企业门户网站(源码+LW+调试文档+讲解)

基于Springboot的企业门户网站(源码+LW+调试文档+讲解)

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台…

2026/8/4 11:41:39 阅读更多 →
MATLAB xcorr函数详解:从互相关原理到四大实战应用

MATLAB xcorr函数详解:从互相关原理到四大实战应用

1. 从一次信号“找茬”说起:为什么我们需要互相关几年前,我在处理一组声学传感器数据时遇到了一个棘手的问题。我有两个麦克风记录了一段相同的音频信号,理论上它们接收到的声音波形应该非常相似,只是由于麦克风位置不同&#xff…

2026/8/5 10:20:36 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/4 13:38:24 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/4 11:09:16 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/4 13:38:40 阅读更多 →