1. 测试环境与背景说明AMD Strix Halo平台搭载了最新的Radeon 890M集成显卡基于GFX1150架构是AMD在移动端AI计算领域的重要布局。本次测试使用的硬件配置如下CPU: AMD Ryzen AI 9 HX 370GPU: Radeon 890M (24CU)内存: 131GB DDR5系统: NixOS 26.05 (Yarara)内核版本: 6.18.5测试软件环境Ollama版本: 0.13.5 → 0.14.3对比后端: ROCm 6.1.1 vs Vulkan 1.3.275测试模型: Mistral-3-8B、Qwen3-Coder-30B等2. ROCm与Vulkan的技术差异解析2.1 ROCm的架构特点ROCm(AMD Radeon Open Compute)是AMD为GPU计算设计的开源软件栈其核心优势包括底层硬件访问通过HSA(Heterogeneous System Architecture)运行时直接管理GPU计算单元编译器支持HIP编译器可将CUDA代码转换为可在AMD GPU上运行的代码数学库优化针对矩阵运算等AI计算提供高度优化的ROCmMath库但在Strix Halo平台上我们发现以下问题msginsufficient VRAM to load any model layers msgoffloaded 0/35 layers to GPU2.2 Vulkan的通用计算能力Vulkan作为跨平台图形API其计算管线特性使其成为替代选择显存管理灵活支持主机内存与设备内存的统一视图计算着色器通过SPIR-V中间语言实现通用计算多厂商兼容不受特定硬件架构限制实测中Vulkan的表现# ollama-vulkan基准测试 total duration: 15.345436454s eval rate: 31.45 tokens/s3. 实测性能对比分析3.1 不同配置下的token生成速率我们使用以下命令进行基准测试ollama run ministral-3:8b \ 解释journalctl的功能 \ --verbose测试结果对比单位tokens/s后端类型ROCm 11.0.0ROCm 11.5.1VulkanPrompt Eval407.57402.46405.47Eval Rate13.1913.5714.28显存利用率512MB/512MB512MB/512MB442MB/512MB3.2 关键性能瓶颈分析通过amdgpu_top工具监测发现ROCm的显存限制VRAM : total 512 MiB (usable 338 MiB) CPU-Visible VRAM : total 512 MiB (usable 338 MiB)计算单元利用率ROCm: 计算单元平均负载68%Vulkan: 计算单元平均负载82%4. 深度优化尝试4.1 ROCm环境调优修改内核参数尝试增加可用显存boot.kernelParams [ ttm.pages_limit8388608 # 分配32GB虚拟显存 ];结果验证# 修改前 msgoffloaded 0/35 layers to GPU # 修改后 msgoffloaded 35/35 layers to GPU但实际性能提升有限eval rate: 12.67 → 13.49 tokens/s (仅提升6.5%)4.2 Vulkan的隐藏优势内存传输优化# Vulkan内存统计 memoryHeaps[0]: size 134134628352 (124.92 GiB) usage 7613366272 (7.09 GiB)异步计算支持vkQueueSubmit: 平均延迟0.8ms vkCmdDispatch: 平均耗时1.2ms5. 混合精度模型测试5.1 MoE模型表现测试Qwen3-Coder-30B-A3B模型后端类型Prompt RateEval RateROCm93.04 t/s28.65 t/sVulkan33.00 t/s31.45 t/s关键发现# MoE模型资源占用 VRAM usage: 1.2GB/1.5GB (with memory overcommit)5.2 量化模型对比不同量化级别的性能差异量化级别ROCm速率Vulkan速率Q4_K_M12.7 t/s14.1 t/sQ5_K_S11.2 t/s13.8 t/sQ6_K9.8 t/s12.4 t/s6. 生产环境建议基于实测数据我们建议轻量级模型部署# 推荐Vulkan配置 services.ollama { enable true; package pkgs.ollama-vulkan; acceleration vulkan; };大模型优化方案environmentVariables { HSA_OVERRIDE_GFX_VERSION 11.5.1; HCC_AMDGPU_TARGET gfx1150; OLLAMA_KV_CACHE_TYPE q8_0; };监控与调优工具# 安装性能监控工具 nix-shell -p amdgpu_top --run amdgpu_top --dump nix-shell -p nvtopPackages.amd7. 未来优化方向ROCm 7.0支持# 待解决的问题 github.com/ollama/ollama/issues/12734混合精度计算boot.kernelParams [ amdgpu.gpu_recovery1 # 启用容错计算 ];内存管理改进# 建议BIOS设置 UMA Frame Buffer Size: 4G/8G (需厂商支持)