Atlas 800I A2 8卡部署 MiniMax-H3:vLLM-Omni + MindIE-SD OOM排障与异步任务实践
前言本文记录一次在Atlas 800I A28×Ascend 910B3单卡 64 GB HBM上部署 MiniMax-H3 的完整过程。目标是使用 vLLM-Omni 提供 T2VA文生视频音频和 FL2VA首帧/首尾帧生视频音频服务输出 1344×768、24 FPS 的视频。过程中主要遇到了三类问题8 张 64 GB NPU 仍然在 15 秒、1344×768 请求上 OOM同步接口长时间等待服务端已经生成完成客户端却收不到 MP4同时提交两三个任务时看似“假死”但 NPU Core 使用率一直很高。最终结果15 秒、1344×768、24 FPS、50 steps 的 T2VA 请求成功完成单卡峰值 HBM 约 46 GB未再触发 OOM同时将客户端切换为异步任务接口解决了长连接断开后结果无法回传的问题。1. 参考资料MiniMax-H3 官方模型https://huggingface.co/MiniMaxAI/MiniMax-H3vLLM-OmniGitHub - vllm-project/vllm-omni: A framework for efficient model inference with omni-modality models · GitHubvLLM-Omni MiniMax-H3 NPU 配置vllm-omni/recipes/MiniMaxAI/MiniMax-H3-NPU.md at main · vllm-project/vllm-omni · GitHubMindIE-SD MiniMax-H3 A2/A3 推理文档MindIE-SD/examples/minimax-h3/infer.md-代码预览-MindIE-SD:基于昇腾硬件的稳定扩散模型推理解决方案项目 - AtomGitpacked-varlen OOM 修复 PR[Perf][Diffusion] MiniMax-H3: opt into packed varlen attention on NPU to eliminate quadratic mask materialization by brandneway · Pull Request #5891 · vllm-project/vllm-omni · GitHub2. 环境与模型目录本次验证环境项目配置服务器Atlas 800I A2NPU8×Ascend 910B364 GB HBM/卡驱动26.0.rc1PyTorch2.10.0cpuvLLM-Omni0.26 分支 已合入上游的 MiniMax-H3 修复推理模式USP8、Text Encoder TP8、VAE Patch Parallel 8显存优化Distributed Layerwise OffloadDLO注意力RainFusion后续合入 packed-varlen 修复T2VA 与 FL2VA 共享同一份模型权重Ref2VA 使用另一份权重。示例目录如下/data/model/MiniMax-H3/ ├── FL2VA └── Ref2VA本文启动的是 T2VA/FL2VA 服务export MODEL/data/model/MiniMax-H3/FL2VA如果需要 Ref2VA使用同一套容器参数将MODEL改成/data/model/MiniMax-H3/Ref2VA即可。3. 安装 MindIE-SD 算子依赖Ascend 上建议安装 MindIE-SD以获得 MiniMax-H3 所需的融合算子和 RainFusion 注意力实现。以下流程来自公开参考文档git clone https://gitcode.com/Ascend/MindIE-SD.git cd MindIE-SD # 当前场景不需要 tik_ops 时可按官方 NPU recipe 跳过该构建步骤 sed -i s|^\(\s*\)source ${current_script_dir}/build_tik_ops.sh|\1# source ${current_script_dir}/build_tik_ops.sh| build/build_ops.sh python setup.py bdist_wheel pip install dist/mindiesd-*.whl如果环境必须通过代理访问外网可通过环境变量或企业统一配置注入代理地址export http_proxyhttp://proxy.example.com:PORT export https_proxyhttp://proxy.example.com:PORT4. 8 卡后台启动脚本下面是经过验证的启动结构。启动前设置实际镜像名并根据主机内存调整--shm-size。#!/usr/bin/env bash set -euo pipefail NAMEminimax-h3-fl2va IMAGEyour-registry/vllm-omni-minimax-h3:latest MODEL/data/model/MiniMax-H3/FL2VA VIDEO_STORAGE/data/vllm-omni-videos mkdir -p ${VIDEO_STORAGE} docker rm -f ${NAME} /dev/null 21 || true docker run -d \ --name ${NAME} \ --restart unless-stopped \ --shm-size128g \ --nethost \ --privilegedtrue \ --device /dev/davinci0 \ --device /dev/davinci1 \ --device /dev/davinci2 \ --device /dev/davinci3 \ --device /dev/davinci4 \ --device /dev/davinci5 \ --device /dev/davinci6 \ --device /dev/davinci7 \ --device /dev/davinci_manager \ --device /dev/devmm_svm \ --device /dev/hisi_hdc \ -v /data/model:/data/model \ -v ${VIDEO_STORAGE}:${VIDEO_STORAGE} \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /usr/local/Ascend/driver/tools/hccn_tool:/usr/local/Ascend/driver/tools/hccn_tool \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \ -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \ -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /etc/hccn.conf:/etc/hccn.conf \ -v /root/.cache:/root/.cache \ -e ASCEND_RT_VISIBLE_DEVICES0,1,2,3,4,5,6,7 \ -e VLLM_WORKER_MULTIPROC_METHODspawn \ -e VLLM_OMNI_VIDEO_SYNC_TIMEOUT1800 \ -e VLLM_OMNI_SERVER_STORAGE__PATH${VIDEO_STORAGE} \ -e PYTHONDONTWRITEBYTECODE1 \ -e HF_HUB_OFFLINE1 \ -e TRANSFORMERS_OFFLINE1 \ -e PYTORCH_NPU_ALLOC_CONFexpandable_segments:True \ -e HCCL_NPU_SOCKET_PORT_RANGEauto \ ${IMAGE} \ bash -lc source /usr/local/Ascend/ascend-toolkit/set_env.sh exec vllm serve ${MODEL} \ --omni \ --host 0.0.0.0 \ --port 9098 \ --trust-remote-code \ --num-gpus 8 \ --usp 8 \ --ring 1 \ --text-encoder-tp-size 8 \ --enable-distributed-layerwise-offload \ --vae-parallel-mode tile \ --vae-use-tiling \ --vae-patch-parallel-size 8 \ --enable-diffusion-pipeline-profiler \ --diffusion-attention-config {\default\:{\backend\:\RAINFUSION_ATTN\,\block_sparse\:{\sparsity\:0.8,\start_step\:12}}}docker run -d表示后台运行关闭 SSH 窗口不会停止服务。--restart unless-stopped会在容器异常退出或服务器重启后自动拉起但如果手动执行docker stop容器不会立即自动启动。常用检查命令docker ps --filter nameminimax-h3-fl2va docker logs -f minimax-h3-fl2va curl -f http://127.0.0.1:9098/health npu-smi info5. 问题一8 张 64 GB NPU 为什么仍然 OOM最初的 15 秒、1344×768 请求在注意力阶段失败。报错显示某个 rank 还要一次性申请约 44.78 GiB但该卡当时只剩约 24 GiB。关键点是8 卡总显存足够不等于任意一次 rank-local 临时分配都能成功。旧实现会执行类似操作full_mask attn_mask.expand(batch, heads, q_len, kv_len).contiguous()这会在每个 rank 上物化一个近似Sq × Skv的完整注意力 mask。序列并行虽然分摊了模型和部分计算但这个巨型连续临时张量仍然是单卡分配因此总显存相加没有意义。修复方式packed-varlen mask-free attentionvLLM-Omni 上游 PR #5891 为 MiniMax-H3 的 NPU 路径增加了 packed-varlen attention使用cu_seqlens和max_seqlen描述有效 token支持 K/V 有效前缀切片不再物化完整的二次方 padding mask保留不支持该能力的 attention backend 的安全回退路径。如果使用较新的 vLLM-Omni 主线该修复已经包含在内。旧版本需要升级或在严格核对版本差异后 backport 上游提交git cherry-pick 740f45abcd2e6754d1cdded01ee9901d595ccac5不建议只删除 mask如果 backend 仍会读取 padding token可能得到静默错误。正确做法是由 backend 显式声明 mask-free packed 能力并通过契约测试验证。修复后的结果单任务验证参数任务T2VA 时长15 秒 分辨率1344×768 帧率24 FPS 采样步数50 并行USP8 Text Encoder TP8 VAE Patch Parallel 8 注意力RainFusionsparsity0.8start_step12实测结果推理成功无 OOM单卡峰值 HBM 约 46,973 MB客户端总耗时约 781 秒约 13 分钟输出为 H.264 1344×768、24 FPS带 AAC 32 kHz 立体声音频。这些数字只代表当前软硬件组合不应当视作所有 A2/A3 服务器的统一性能基线。6. 问题二同步请求已生成完成客户端为什么还一直等待POST /v1/videos/sync会一直保持 HTTP 连接直到生成、编码和整个 MP4 返回完成。长达十几分钟的连接容易受到 VPN、代理、客户端超时和网络切换影响。一次排查中服务端日志已经出现200 OK但 TCP 连接仍有较大的Send-Q持续重传且客户端不再 ACK。此时 NPU 推理已经结束真正卡住的是 MP4 回传链路。推荐使用异步视频任务 APIvLLM-Omni 已经提供完整的异步接口接口作用POST /v1/videos创建任务立即返回任务 IDGET /v1/videos/{video_id}查询状态和元数据GET /v1/videos/{video_id}/content下载已完成的 MP4GET /v1/videos列出当前服务进程保存的任务DELETE /v1/videos/{video_id}删除任务及其输出提交任务BASE_URLhttp://your-server.example.com:9098 create_response$(curl -sS -X POST ${BASE_URL}/v1/videos \ -F promptA camper van drives along a wet alpine road at dawn. \ -F width1344 \ -F height768 \ -F aspect_ratio16:9 \ -F fps24 \ -F num_inference_steps50 \ -F flow_shift12 \ -F seed1101 \ -F extra_params{task:t2va,duration:8.7,audio_flow_shift:3.0}) video_id$(echo ${create_response} | jq -r .id) echo video_id${video_id}轮询并下载while true; do status_response$(curl -sS ${BASE_URL}/v1/videos/${video_id}) status$(echo ${status_response} | jq -r .status) echo status${status} case ${status} in queued|in_progress) sleep 5 ;; completed) break ;; failed) echo ${status_response} | jq .; exit 1 ;; *) echo unexpected status; exit 1 ;; esac done curl -fL ${BASE_URL}/v1/videos/${video_id}/content -o output.mp4客户端退出后只要保存了video_id重新连接即可继续查询不会重复占用 NPU 提交同一任务。需要注意当前普通 H3 request-execution 模式下progress字段实际上通常只会从 0 变成 100应以queued、in_progress、completed、failed状态为准。另外任务元数据目前保存在服务进程内存中服务重启后 API 元数据可能丢失因此还需要把视频文件目录挂载到宿主机持久化路径。export VLLM_OMNI_SERVER_STORAGE__PATH/data/vllm-omni-videos7. 问题三两三个任务一起提交为什么感觉全部假死MiniMax-H3 当前服务配置中一个生成请求就会占满 8 张卡进行 USP8 推理。观察到单任务运行时 NPU Core 使用率经常达到 74%100%因此客户端并发不会把同一组 8 卡自动变成多路并行服务。实际表现通常是1 个请求正在运行其余请求在调度队列等待每个客户端都显示“等待”于是看起来像所有请求都卡住后续任务的端到端耗时包含前面任务的排队时间。通过 metrics 判断运行与排队数量curl -s http://127.0.0.1:9098/metrics | \ grep -E vllm_omni:(num_requests_running|num_requests_waiting)如果running1且 8 卡 AICore 持续较高通常不是假死。真正需要关注的是日志长时间没有 step 进展、NPU 利用率降为 0、容器重启、出现 OOM或者网络发送队列持续堆积。若需要真正同时生成多个视频最直接的办法是增加另一组独立的 8 卡副本同一组 8 卡已经被单任务饱和。降低分辨率、时长或 steps 可以缩短单任务耗时但会带来质量取舍。8. 首尾帧 FL2VA 请求示例MiniMax-H3 的首尾帧模式通过两个同名input_references字段按顺序上传并设置frame_indices[0,-1]curl -sS -X POST ${BASE_URL}/v1/videos \ -F promptThe subject moves naturally from the first image to the last image. \ -F fps24 \ -F num_inference_steps50 \ -F flow_shift12 \ -F seed2102 \ -F extra_params{task:fl2va,duration:8.7,frame_indices:[0,-1],audio_flow_shift:3.0} \ -F input_referencesfirst_frame.png;typeimage/png \ -F input_referenceslast_frame.png;typeimage/png提交后同样使用返回的video_id轮询和下载。9. 验证清单服务健康curl -f http://127.0.0.1:9098/health docker inspect minimax-h3-fl2va \ --format status{{.State.Status}} restart{{.RestartCount}} oom{{.State.OOMKilled}}NPU 状态npu-smi info输出文件ffprobe -v error \ -show_entries streamcodec_name,width,height,r_frame_rate \ -show_entries formatduration,size \ -of json output.mp4至少确认视频编码为 H.264分辨率和帧率正确AAC 音轨存在时长与请求接近容器没有重启或 OOM输出文件已写入宿主机持久化目录。总结8 卡总显存充足单 rank 的 44.78 GiB 连续临时分配能够成功packed-varlen 的价值是从根源上消除二次方 mask长任务应优先使用异步任务 ID、轮询和独立下载。完成 packed-varlen 修复、DLO、RainFusion 与异步任务改造后MiniMax-H3 可以在 8×910B3 的 Atlas 800I A2 上稳定完成 15 秒 768P 视频音频生成。后续优化重点可以放在真实 step 进度上报、任务元数据持久化以及多副本并发调度。

相关新闻

Claude AI Agent:融合蛋白设计与化学分析的科研工作流

Claude AI Agent:融合蛋白设计与化学分析的科研工作流

如果你在生物信息学、计算化学或药物研发一线工作,大概率经历过这种割裂状态:白天读文献,晚上写脚本,周末分析数据,下周还要排实验。文献里的知识、计算平台上的模型、实验台上的样品,本来是一条连续链路&a…

2026/10/24 5:44:16 阅读更多 →
命令行参数解析入门:从getopt到argparse与Click实战

命令行参数解析入门:从getopt到argparse与Click实战

很多人刚接触命令行工具开发时,最先遇到的就是参数解析问题。无论是写一个自动化脚本,还是做一个完整的 CLI 工具,都绕不开对 getopt 的思考:它到底怎么用?为什么总感觉不够“友好”?有没有更舒服的写法&…

2026/11/6 4:40:42 阅读更多 →
PLC编程进阶:从框架思维到状态机与功能块实战

PLC编程进阶:从框架思维到状态机与功能块实战

在自动化设备调试现场,最容易让人崩溃的不是设备本身的机构复杂度,而是 PLC 程序根本没法维护。几千步梯形图全部堆在主程序里,变量清一色 M0、M100、D0,没有功能块、没有注释,报警逻辑和动作逻辑搅在一起。改一个机械…

2026/11/15 18:38:38 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻