用4台Mac Studio跑671B大模型:exo本地AI集群部署指南
用4台Mac Studio跑671B大模型exo本地AI集群部署指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo把多台Mac和Linux机器组成一个本地AI集群自动把大模型切分到各台机器上推理。适合拥有两台以上Apple Silicon设备、想在家里部署200B以上参数模型的人。解决什么问题单机装不下传统多机越加越慢最直观的问题是显存DeepSeek V3.1 671B8-bit权重超过600GB任何单台消费级设备都装不下。但多机TCP的老办法是个坑——机器加得越多反而越慢。仓库基准里llama.cppTCP从单机的20.4 t/s掉到4机的15.2 t/sexo走雷雳RDMA后方向反过来从单机19.5 t/s升到4机31.9 t/s。上手体验macOS应用一分钟源码三步macOS上最短的路径是直接装官方应用需要macOS Tahoe 26.2或更高brew install --cask exo应用会请求修改系统设置并安装一个网络配置描述文件允许即可。同一网络上的其他机器会自动互相发现、加入集群不需要手动填地址。走源码则是固定三步克隆仓库、构建dashboard、启动git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo/dashboard npm install npm run build cd .. uv run exo启动后浏览器打开http://localhost:52415仪表盘和API都在这直接建模型实例就能对话。API细节在 docs/api.md。看懂内部结构谁负责推理谁负责切分内部分工是两层。每台机器上跑一个workersrc/exo/worker/ 下的MLX引擎负责推理其中 auto_parallel 会根据实时拓扑图结合每台机器的剩余显存和每条链路的带宽自动算出模型怎么切src/exo/master/ 负责集群协调和模型放置决策。这就是仪表盘里看到的拓扑图每条虚线是两台机器之间的物理链路图上直接标注了显存占用、温度和功耗。数据验证RDMA比TCP快多少以下数字来自仓库内置的4× M3 Ultra Mac Studio512GB 雷雳5全互联、Tensor Parallel配置下的实测Jeff Geerling的测试对比对象是llama.cppTCPQwen3 235B A22B4节点exo 31.9 t/sllama.cpp 15.2 t/sDeepSeek V3.1 671B4节点exo 32.5 t/sllama.cpp 14.6 t/sKimi K2 Thinking 1T A32B4节点exo 28.3 t/sllama.cpp 16.4 t/s注意一个细节单机时exo21.1略慢于llama.cpp14.8除外此处以4节点为准优势主要体现在多机扩展上——节点越多与TCP的差距越大而不是勉强能跑。常见坑位与快速排查RDMA集群的3个高频问题节点互相发现不了多半是macOS版本不一致RDMA要求所有设备版本完全相同连beta编号都要一样另外确认已在恢复模式终端执行过 rdma_ctl enable 并重启仅macOS 26.2及以上支持。Mac Studio可用端口少紧邻网口的那个雷雳5口不能用于RDMA线缆必须是TB5规格且集群成员要两两直连的全互联拓扑星型接法不行。Linux用户期待GPU加速exo目前在Linux上只跑CPUGPU支持还在开发中等不急的先上macOS。它适合谁有边界的选型建议适合手里有两台以上Apple Silicon设备尤其带雷雳5的M4 Pro/Max、M3 Ultra、想本地跑前沿大模型、又不想采购GPU服务器的人API兼容OpenAI Chat Completions、Claude Messages和Ollama格式接现有客户端基本零改造。不适合只有一台机器组不了集群需要Linux上NVIDIA GPU推理的暂只跑CPU打算用普通千兆交换机组网就期待RDMA性能的——RDMA必须TB5线缆直连。先跑一台机器把流程走通确认localhost:52415能出字再接入第二台看它出现在拓扑图里。想自己复现上面的数字仓库自带压测工具测试方法写在 bench/METHODOLOGY.md。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

Gym到Gymnasium迁移实战:API差异与踩坑指南

Gym到Gymnasium迁移实战:API差异与踩坑指南

简介:本资源是面向强化学习开发者与研究者的Gymnasium迁移实践指南,专为熟悉OpenAI Gym但需平滑过渡至新标准框架的Python工程师设计,解决API变更、环境重构与项目适配等核心迁移难题。压缩包共301个文件(1.81MB)&…

2026/11/5 12:34:08 阅读更多 →
奖励函数设计框架:从目标定义到人类对齐的完整实践指南

奖励函数设计框架:从目标定义到人类对齐的完整实践指南

奖励函数设计这个东西,听起来像是强化学习或者大模型对齐项目里的一个“配角”,但真正做过的人都知道,它往往是项目成败的关键。模型训练效果不好、输出不稳定、做出来的行为不符合预期,很多问题的根子不在模型结构,而…

2026/11/15 18:01:06 阅读更多 →
LVGL模拟手机交互效果:从布局、动画到触摸反馈的完整实战指南

LVGL模拟手机交互效果:从布局、动画到触摸反馈的完整实战指南

各位做嵌入式 UI 的朋友,大家好。 很长一段时间里,我对 LVGL 的印象都是“做仪表盘、做智能家居面板、做简单工控界面”,直到有一次项目验收前,客户突然提出“能不能把我们这个设备界面做得像智能手环/手机一样,滑一滑…

2026/11/16 13:02:51 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻