1. 四张卡摆在面前先想清楚你到底在跑什么把A100、H800、H20、4090这四张卡放在一起比较本身就是一件很容易跑偏的事。我见过太多团队在选型会上吵得不可开交最后发现大家讨论的根本不是同一个场景有人想的是7B模型做在线客服有人想的是70B模型跑离线批量推理还有人脑子里装的是未来要微调一个百亿参数的垂类模型。这三种需求对显卡的要求差异极大用同一套标准去打分结论必然是错的。所以我的习惯是先不急着看参数表而是把问题拆成三个维度模型规模、并发量级、精度要求。这三个维度基本决定了你需要多大的显存、多高的显存带宽、以及是否必须依赖特定精度格式。大模型推理和训练不一样训练看的是算力峰值和卡间互联推理更看重显存容量、显存带宽和单位成本的吞吐。很多新手一上来就盯着TFLOPS看结果买回来发现显存不够模型根本加载不进去算力再高也是摆设。举个具体的例子。一个13B参数的模型如果用FP16精度加载光权重就要占大约26GB显存再加上KV Cache和中间激活值实际占用轻松超过30GB。这时候一张24GB显存的4090就直接出局了不管你多喜欢它的性价比。反过来如果你跑的是7B模型加INT8量化权重只占7GB左右4090的24GB显存绰绰有余这时候它的价格优势就非常明显。所以选卡的第一步永远是先把你的模型显存账算清楚。我一般会建议团队做一个简单的表格把候选模型的参数量、目标精度、预估并发数、单次请求的上下文长度都列出来然后粗算显存需求。这个动作花不了半小时但能避免后面几个月的返工。下面这张表是我常用的显存估算参考注意这只是权重部分的粗略值实际部署还要留出至少30%的余量给KV Cache和运行时开销。模型参数量FP16权重显存INT8权重显存INT4权重显存7B约14GB约7GB约3.5GB13B约26GB约13GB约6.5GB34B约68GB约34GB约17GB70B约140GB约70GB约35GB这张表一摆出来很多争论就自动消失了。70B模型想用单卡跑FP16目前市面上没有一张卡能独立承载必须多卡或者量化。34B模型FP16单卡也很勉强INT8则刚好卡在边界上。真正能在单卡上舒服跑FP16的基本就是13B及以下。这个结论跟具体选哪张卡无关是数学决定的。2. 四张卡的硬指标拆解与真实定位2.1 A100老将的底气与尴尬A100是2020年发布的产品放到2026年看确实算老将了。但它的地位依然稳固原因很简单80GB的HBM2e显存和超过2TB/s的显存带宽这两个指标在推理场景里比算力峰值重要得多。大模型推理是典型的显存带宽瓶颈型任务每生成一个token都要把整个模型权重读一遍带宽直接决定了token生成速度。A100的带宽优势让它在长上下文、大模型场景下依然能打。但A100的尴尬在于两点。第一是价格即便到了2026年二手市场的A100 80GB依然不便宜而且货源参差不齐买到矿卡或者翻新卡的概率不低。第二是它不支持FP8精度而FP8在2026年已经成为大模型推理的主流精度之一能在几乎不损失效果的前提下把显存占用和带宽压力砍掉一半。没有FP8支持意味着你在同样的硬件上能跑的模型规模要小一档或者吞吐量要低一截。我个人的判断是A100适合那些已经有存量设备、不想折腾新平台的团队。如果你手里已经有一批A100在跑训练顺便拿来跑推理是很自然的选择。但如果是全新采购专门做推理A100的性价比在2026年已经不算突出了。2.2 H800被低估的推理主力H800在训练圈的名声有点特殊因为它的卡间互联带宽被调整过导致大规模训练时扩展效率不如预期。但恰恰是这个特点让它在推理场景里反而成了一个务实的选择。推理对卡间互联的要求远低于训练单卡或者少量卡就能完成大部分任务H800的互联短板在推理场景里几乎不构成问题。H800的核心优势是Hopper架构带来的FP8支持和更高的显存带宽。它的显存带宽比A100高出不少配合FP8精度在同等显存容量下能承载更大的模型或者更高的并发。实测下来同样跑一个13B模型H800的token生成速度比A100有明显提升尤其是在batch size较大的时候差距会进一步拉大。不过H800的供货情况一直比较微妙价格波动也大。如果你能拿到价格合理的H800它其实是2026年推理场景里非常均衡的一张卡。它的短板在于单卡显存容量和A100一样是80GB没有进一步突破跑70B模型依然需要多卡或者量化。2.3 H20争议最大的那张卡H20是这四张卡里争议最大的。它的算力峰值被大幅削减单看TFLOPS数字会让很多人直接摇头。但如果你仔细看它的显存配置会发现事情没那么简单。H20保留了大容量显存和高显存带宽这两个恰恰是推理最需要的。它的定位非常明确就是冲着推理场景来的尤其是那些显存需求大、但对算力峰值不敏感的任务。实际跑下来H20在推理场景的表现并不像纸面参数那么难看。因为推理的瓶颈在显存带宽而不在算力H20的带宽优势能发挥出来。它支持FP8显存容量也够大跑70B模型的INT8量化版本时单卡或者双卡就能撑起来这在A100和H800上都需要更多卡才能做到。H20的问题在于心理落差。很多人看到算力数字就本能地排斥觉得这是阉割版。但选卡是看场景的如果你的任务就是推理而且是大模型、高并发的推理H20的显存和带宽配置其实很对路。它的价格如果合适单位显存成本可能是四张卡里最优的。2.4 4090消费卡的边界在哪里4090是一张消费级显卡这个定位决定了它的上限和下限。它的优势极其突出价格便宜、单卡算力高、功耗相对可控。24GB的显存对于7B到13B的量化模型来说够用跑INT4量化的34B模型也能勉强塞进去。对于个人开发者、小团队、或者做原型验证的场景4090的性价比无可匹敌。但4090的边界也很清晰。第一是显存容量24GB是硬上限70B模型基本无缘34B模型FP16也放不下。第二是没有NVLink多卡并行时卡间通信走PCIe带宽有限做张量并行或者流水线并行的效率会打折扣。第三是它不支持FP8只能靠INT8和INT4量化来压缩显存量化带来的精度损失需要你自己评估。我的经验是4090适合做推理服务的开发和调优阶段或者面向中小模型的线上服务。如果你确定自己的模型规模在13B以下而且能接受量化4090是投入产出比最高的选择。但如果你有明确的70B或者更大模型的需求4090只能作为辅助卡不能作为主力。3. 把场景和卡对上号四种典型配置方案3.1 个人开发者与小团队4090单卡或双卡如果你是一个人或者三五人的小团队预算有限模型规模在7B到13B之间4090是最务实的选择。单卡24GB能跑7B的FP16或者13B的INT8双卡可以跑13B的FP16或者34B的INT4。这个配置的优点是成本低、上手快、社区资料多遇到问题容易找到解决方案。需要注意的是4090的散热和供电要提前规划好。它的功耗不低双卡配置对机箱风道和电源功率都有要求。另外消费级主板通常PCIe通道数有限双卡时可能跑在x8模式对推理性能有一定影响但实测下来影响在可接受范围内不必过度焦虑。3.2 中型团队线上服务H800或H20多卡当你的服务开始面向真实用户并发量上来了稳定性和吞吐量就成了首要考虑。这时候H800和H20的多卡配置更合适。H800适合对延迟敏感、需要FP8加速的场景H20适合显存需求大、并发量高但对单次延迟要求相对宽松的场景。多卡部署时张量并行和流水线并行的选择很关键。张量并行对卡间带宽要求高H800和H20在这方面的表现有差异需要根据实际卡数来调。我的建议是先用小规模验证比如两张卡跑起来测出实际的吞吐和延迟曲线再决定是否扩展到四卡或八卡。盲目上大规模调优成本会成倍增加。3.3 大模型离线推理A100或H20的显存优势离线推理对延迟不敏感但对吞吐量和显存容量要求高。这种场景下A100的80GB显存和H20的大显存配置都能派上用场。你可以用更大的batch size来压榨吞吐把显存带宽充分利用起来。A100的优势在于生态成熟、工具链完善H20的优势在于单位显存成本可能更低而且支持FP8。离线推理还有一个容易被忽略的点预处理和后处理的资源消耗。大模型推理不只是GPU的事数据加载、tokenization、结果后处理都会占用CPU和内存资源。如果这些环节成为瓶颈GPU再强也发挥不出来。我见过不少案例GPU利用率上不去最后发现是数据管道拖了后腿。3.4 混合场景别指望一张卡通吃现实中最常见的情况是混合场景白天跑线上服务晚上跑离线批量任务或者同时有多个不同规模的模型在跑。这时候不要指望一张卡通吃更合理的做法是按任务分配显卡。比如用4090跑小模型的线上服务用H20跑大模型的离线任务各司其职。这种混合配置的调度复杂度会上升需要有一套资源管理机制。简单的做法是用容器隔离每个任务分配固定的GPU资源复杂一点可以用推理框架自带的调度能力。关键是提前规划好资源配额避免任务之间互相抢占导致服务抖动。4. 选型时最容易踩的几个坑4.1 只看算力不看带宽这是最经典的坑。很多人选卡时第一眼看TFLOPS觉得数字大就是好。但大模型推理的瓶颈在显存带宽不在算力峰值。一张算力很高但带宽不足的卡跑推理时GPU利用率可能只有30%不到算力全在等数据。反过来带宽充足的卡即使算力数字不亮眼实际吞吐反而更高。选卡时把带宽和显存容量放在算力前面看能少走很多弯路。4.2 低估量化带来的精度损失量化是省显存的有效手段但不是免费的。INT8量化通常精度损失很小可以放心用INT4量化就要谨慎了不同模型对INT4的敏感度差异很大。有些模型INT4之后效果断崖式下跌有些则几乎无感。我的做法是任何量化方案上线前都要跑一遍评测集用数据说话不要凭感觉。4.3 忽略软件生态的成熟度显卡的软件生态直接影响你的开发效率。A100和H800的生态最成熟主流推理框架的支持最好遇到问题容易找到答案。H20作为较新的产品生态在快速完善但某些冷门算子或者自定义操作可能还需要自己适配。4090的生态介于两者之间消费级场景的资料多但企业级特性的支持不如专业卡。选型时把团队的技术栈和排错能力考虑进去别给自己挖坑。4.4 电源和散热的隐性成本专业卡和消费卡在电源、散热、机箱适配上的要求完全不同。A100、H800、H20这些专业卡通常是被动散热需要服务器风道配合普通机箱装不进去。4090是主动散热但体积大、功耗高多卡时对机箱和电源的要求也不低。这些隐性成本在预算阶段容易被忽略实际部署时才发现要额外花钱导致项目超支。5. 我自己的选型决策流程说了这么多最后分享一下我实际做选型时的决策流程。这个流程不复杂但能帮你把思路理清楚避免被参数表带偏。第一步确定模型规模和精度。把候选模型列出来算清楚FP16、INT8、INT4三种精度下的显存需求。这一步决定了显存容量的下限。第二步估算并发量和延迟要求。线上服务和离线任务的并发模型完全不同。线上服务要留足峰值余量离线任务可以压满。这一步决定了你需要几张卡以及卡间互联的要求。第三步算总拥有成本。不只看卡的价格还要算上服务器、电源、散热、运维、电费。专业卡和消费卡在这方面的差异很大有时候卡便宜但配套贵总体算下来未必划算。第四步评估软件适配成本。你的推理框架对目标卡的支持程度如何有没有现成的优化方案如果需要自己适配人力成本要算进去。第五步留出扩展空间。业务会增长模型会变大。选型时不要只盯着当前需求留出一定的扩展余量避免半年后就要重新采购。这五步走下来四张卡里哪张适合你基本就清楚了。没有绝对的好卡和坏卡只有适不适合你的场景。A100胜在生态和显存H800胜在均衡和FP8H20胜在显存成本和推理定位4090胜在价格和灵活性。把这四张卡放在你自己的需求坐标系里看答案自然就出来了。最后提醒一句显卡选型不是一锤子买卖。2026年这个时间点大模型推理的技术栈还在快速演进新的精度格式、新的推理框架、新的硬件都在不断出现。选型时保持一定的灵活性别把架构绑死在一张卡上给未来的调整留出余地。我在实际项目里见过太多因为早期选型过于激进或者过于保守导致后期要么性能不够要么资源浪费的案例。稳一点按场景选按数据选比按感觉选靠谱得多。