把多台 Mac 拼成一个分布式推理集群:exo 如何把大模型拆到多台设备上跑
把多台 Mac 拼成一个分布式推理集群exo 如何把大模型拆到多台设备上跑【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoexo 是一个开源的分布式推理项目在局域网里的每台 Mac或 Linux 机器上运行它设备会自动互相发现把一个超大模型分片到多台设备上运行并对外提供一套兼容 OpenAI 格式的 API 和 Web 控制台。这篇文章讲清楚它解决什么问题、原理是什么、怎么跑起来以及上手前需要知道哪些限制。单台机器装不下模型时多机拼集群是一种什么解法在单机上跑 2350 亿参数级别的模型最常见的问题不是速度而是内存不够。常规选择是把请求发到云端 API或者用需要手工配置网络和分片的分布式框架。exo 的做法是把配置成本降到接近零每台机器装好 exo 后直接启动设备会自动发现彼此并组成集群模型按各机器的内存和网络状况被拆到不同设备上集群对外只暴露一个 API 和一个控制台默认http://localhost:52415。官方 README 给出的数据是张量并行Tensor Parallelism即把模型权重按矩阵维度切片到多台设备并行计算下2 台设备约 1.8 倍加速4 台设备约 3.2 倍加速——也就是说加设备不只是装得下更大的模型推理本身也会变快。拓扑感知自动并行exo 怎么决定分片放哪台机器每个 exo 节点同时运行一组组件消息路由Router基于 zenoh 发布订阅协议、负责下载模型和调度推理的 Worker、决定模型放置方案的 Master、网络抖动时重新选举主节点的 Election以及对外 REST API。集群状态用事件溯源管理所有状态变更都记录为事件主节点索引后广播、各节点重放这让节点掉线后状态可以恢复。放置逻辑的核心是拓扑感知自动并行exo 实时观察集群里每台设备的内存以及每两条链路之间的带宽和延迟再据此选出一个最合适的分片方案。你不需要手工指定第几层放哪台机器。放置算法的具体实现可以看 src/exo/master/placement.py。控制台则负责把集群状态可视化哪些节点在线、哪个模型实例正在运行、各节点内存占用如何。下图是 4 台 512GB M3 Ultra Mac Studio 同时运行 DeepSeek v3.18-bit和 Kimi K24-bit时的集群视图从克隆仓库到跑起第一个本地推理集群从源码运行需要 uv、node、RustnightlymacOS 上还需要 Xcode提供编译 MLX 所需的 Metal 工具链git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo cd dashboard npm install npm run build cd .. uv run exo完成后浏览器访问http://localhost:52415即可在控制台里选模型、直接对话也可以用自己的程序调 API——exo 同时实现了 OpenAI Chat Completions、Claude Messages、OpenAI Responses 和 Ollama 四套接口现有的客户端工具可以直接指向它接口细节见 docs/api.md。macOS 用户也可以直接brew install --cask exo安装后台运行的官方 App免去编译步骤。RDMA over Thunderbolt 需要什么样的硬件普通 TCP 网络下设备间每次传数据都有明显延迟。exo 支持通过 Thunderbolt 5 走 RDMARemote Direct Memory Access允许一台机器直接读写另一台机器的内存绕开大部分内核路径官方称设备间延迟最多降低 99%。这是 macOS 26.2 新增的能力需要在恢复模式的终端里手动执行rdma_ctl enable开启。上图数据来自 Jeff Geerling 的 4×M3 Ultra Mac Studio 集群实测张量并行 RDMA同配置下 DeepSeek v3.1 671B8-bit和 Kimi K2 Thinking4-bit也能稳定运行。但 RDMA 的门槛不低仅限 Thunderbolt 5 机型M4 Pro Mac mini、M4 Max Mac Studio / MacBook Pro、M3 Ultra Mac Studio 等集群内每台设备必须用 TB5 线缆两两直连全网状所有设备的 macOS 版本必须完全一致连 beta 构建号都不能差Mac Studio 上紧挨网口的那个 TB5 口不可用使用 exo 前要知道的局限平台当前状态Apple Silicon MacM3 Ultra / M4 Pro / M4 Max / M5Tier 1 支持GPU 推理Linux目前仅 CPU 推理GPU 支持开发中见 PLATFORMS.mdWindows长期规划中也就是说高性能的现成路径基本只有 Mac 集群这一条。此外还有几点要留意macOS App 要求 macOS 26.2 以上安装时会申请修改系统设置并写入网络配置文件每台节点要有足够内存放下落在自己身上的分片否则放置会直接失败同一网络下有多套 exo 时用EXO_LIBP2P_NAMESPACE或 App 的命名空间功能把集群隔离开避免节点误加入别人的集群如果某台机器只做调度和网络转发、不参与推理可以加--no-worker参数启动。exo 还在快速迭代但多台机器变一个推理集群这条路已经接近零配置装好、开机、设备自己找到彼此。如果你手头有多台 Apple Silicon 设备又想在本地跑大模型可以先从一台单机试起再逐台加入集群。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

面对DeepSeek V4 Flash传闻,从核实到落地的完整指南

面对DeepSeek V4 Flash传闻,从核实到落地的完整指南

朋友发来一条消息:DeepSeek V4 Flash 版发布了,性能炸裂、超低成本、速度起飞。他问我,要不要先充点 API 额度试试。 我回了一句:先别急。 这不是说我不看好新版本,而是因为这类消息里,真正值得关注的往往…

2026/11/22 3:09:11 阅读更多 →
3分钟把大模型搬回家:text-generation-webui 一键下载模型速成指南

3分钟把大模型搬回家:text-generation-webui 一键下载模型速成指南

3分钟把大模型搬回家:text-generation-webui 一键下载模型速成指南 【免费下载链接】textgen Open-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private. 项目地址: https://gitcode.com/GitHub_Tren…

2026/11/22 3:09:11 阅读更多 →
LaTeX云端写作环境:开箱即用的学术排版解决方案

LaTeX云端写作环境:开箱即用的学术排版解决方案

如果你正在写学术论文、技术报告或者任何需要专业排版的文档,一定经历过这样的痛苦:Word 里调格式调到崩溃,参考文献对不上号,公式编号混乱不堪,最后交稿前发现整个文档的样式全乱了。这时候,老鸟们总会轻飘…

2026/11/16 10:14:21 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻