Exo 分布式 AI 集群:当一台 Mac 突然断电,剩下三台为什么还能跑
Exo 分布式 AI 集群当一台 Mac 突然断电剩下三台为什么还能跑【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoExo 分布式 AI 集群把多台 Apple 设备拼成一个整体让你在本地跑下单机内存装不下的大模型支持 OpenAI、Claude、Ollama 多套 API。问题是家用集群没有值班运维一台节点在推理中途失联其他节点是互相等待还是自己接管读完你会知道 exo 对节点死亡、进程崩溃、模型掉线这三类故障的分层响应方式以及每处设计取舍背后的代价。主节点断电三秒内完成重新选举无需人工介入主节点所在的机器突然断电时其余节点会不会僵住等一个永远不回来的指挥者不会——exo 的选举设计里没有初始化阶段每个节点启动时就默认自己是主集群永远不可能出现无主状态。具体实现在 src/exo/shared/election.py每个节点持有一个由时钟值、资历、已处理命令数和候选会话组成的消息比较规则是按序字典序、四元组不留平局分支。一旦侦听到连接变化——有节点加入或掉线——立刻发起一场竞选竞选超时定为 3 秒。主节点死了之后存活节点感知到连接事件几秒内新主就接管命令转发正在进行的推理会话不需要人工干预。代价是所有节点都要为竞选买单而且比较必须是严格全序——选举里平局等于脑裂exo 直接用数据结构消灭了这种可能。主节点保住了推理进程却仍可能在任何时刻暴毙。推理进程被 kill每个在途任务都会收到显式错误多节点推理里最高频的故障不是网络事故而是进程死亡OOM killer 出手、驱动崩溃、一个 runner 直接退出。推理进程被杀后任务如何续跑exo 的答案是不装死supervisor 每 5 秒轮询一次 runner 进程是否存活。机制在 src/exo/worker/runner/supervisor.py 里。发现进程死亡后它先解析退出码——负数意味着被信号杀死具体信号会写进诊断信息然后给该 runner 上每个在途任务逐个发一条 ErrorChunk客户端的流式连接拿到的是明确报错而不是无限挂起runner 状态被置为失败连同诊断数据一起上报给 master。此外还有两道看门狗prefill 60 秒、decode 5 秒用来抓进程活着但推理卡死这种更隐蔽的状态。exo 不会在原地重启一个死掉的 runner。张量并行里切分对整组设备才有效一块分片死了整个切分方案就失效——恢复单元是实例级的重新放置而不是单进程拉起。这比静默重启半加载的进程更诚实你拿到的是错误和诊断而不是一段来源可疑的续写。进程级死亡可以重放但一台整机掉网呢节点掉线与重连集群缩到单机继续推理再重新分片容错最残酷的考验不是进程崩溃而是节点掉线——四台里的某一台 Mac 直接失联原本切在四节点上的模型瞬间不可用。节点掉线后推理还能不能继续exo 的做法是把集群收缩到存活节点上先保住推理再谈恢复。tests/test_resilience.py 里有一段完整演练先跑两节点推理断开一台后实例收缩到剩下的单节点继续出词节点重新连上、集群重聚后两节点推理再次恢复。重新放置的决策由 master 基于存活拓扑和各链路的带宽延迟完成切分方案在 src/exo/master/placement.py 里重算——它把设备资源和链路特性一起当变量而不是简单按节点数平分。可观测性落在每台节点 52415 端口的 dashboard 上逐台显示负载与温度长连接靠 src/exo/api/keepalive.py 的 SSE 心跳保活避免流式任务被误判断线。四节点切分不会在只剩三台时透明地继续按四节点方案跑——在途生成会中断、实例被拆除重放。这是正确性要付的账张量并行切分在另一组设备上不存在合法续跑路径重算是唯一安全解。从单台 Mac 到 N 台你的下一步执行git clone https://gitcode.com/GitHub_Trending/exo8/exo拿到代码装好 Nix 的机器上可以直接用 nix 一键拉起 exo。同一局域网里的设备会自动互相发现不需要手工配地址如果你的 Mac 是 Thunderbolt 5 机型把机器用线直连就能启用 RDMA设备间延迟会降一个量级。启动后打开任意节点 52415 端口的 dashboard确认所有机器都出现在列表里——然后做最值钱的一个实验推理中途拔掉一台节点亲眼看集群怎么收缩、重选、再重新分片。Thunderbolt 5 上的 RDMA 正在把 Mac 间的通信从网络变成总线家用集群的瓶颈随之从带宽转向调度与恢复。放置级恢复加拓扑感知切分会很快成为本地多节点推理的标配形态。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

Spark+Hadoop+CatBoost:河南省空气质量分析与预测毕设全攻略

Spark+Hadoop+CatBoost:河南省空气质量分析与预测毕设全攻略

如果你是计算机专业的学生,正在为毕业设计选题发愁,看到“基于Spark的河南省空气质量数据分析与预测系统”这种题目时,大概率会有两种反应:一是觉得“Spark Hadoop 机器学习”这套技术栈太沉,担心自己撑不起来&#…

2026/10/26 13:23:58 阅读更多 →
Exo分布式AI集群容错实战:三道防线与一个完整闭环如何让家用集群不宕机

Exo分布式AI集群容错实战:三道防线与一个完整闭环如何让家用集群不宕机

Exo分布式AI集群容错实战:三道防线与一个完整闭环如何让家用集群不宕机 【免费下载链接】exo Run frontier AI locally. 项目地址: https://gitcode.com/GitHub_Trending/exo8/exo Exo 是一个让你用家里的 Mac、MacBook 就能搭起 AI 集群、本地运行大模型的项…

2026/10/26 13:24:02 阅读更多 →
老MV画质修复全流程:从去隔行到4K超分与字幕压制

老MV画质修复全流程:从去隔行到4K超分与字幕压制

Zendaya 的《Replay》是 2011 年的出道单曲,13 年过去再回看这支 MV,老视频的噪点、压缩伪影、隔行扫描痕迹都已经相当明显。所谓“4K 中字”,并不是简单把播放器窗口拉大,而是要把整条 MV 重走一遍修复链路:先评估源素…

2026/11/21 0:33:07 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻