1. 先搞清楚GPU用在哪任务类型决定预算量级1.1 训练、微调、推理是完全不同的三本账上个月帮一家做企业知识库的小团队重新核算GPU账单他们当时每个月在算力租赁上的支出接近4万可监控数据拉出来一看四块A100的平均利用率不到12%。这不是个例。我接触过大量中小企业客户普遍状态是一说要上AI第一步想的不是我要跑什么任务而是我要租几块卡、租什么卡。结果不是租大了闲置就是租小了跑不动钱都花在试错上。围绕AI算力租赁和GPU预算测算必须先回答一个问题你租GPU到底是为了什么常见的中小企业场景其实只有三类微调/继续训练用开源模型7B、13B为主配业务数据做垂直化提升专业场景下的效果。在线推理服务把微调好的模型部署成接口给内部系统、客户或公网用户调用。离线批量推理对存量数据做一次性分析比如文书分类、批量摘要不需要实时返回结果。这三种任务对GPU的要求完全不同。很多团队最容易犯的错是把微调想成了从头训练把在线推理想成了必须上A100/H100。实际上中小企业绝大多数场景都落在LoRA/QLoRA微调加低并发推理这个组合里一块RTX 4090级别的卡就能覆盖。真正需要A100甚至H100的是那种追求高质量全量微调、或者高并发实时服务的需求——而这类需求在早期根本不存在。1.2 从参数和显存需求反推基本盘子判断卡够不够用第一件事是估算显存。有一个非常粗略但实用的口诀大模型FP16权重占用的显存大约是参数的2倍。7B模型是70亿参数FP16精度下权重约14GB13B模型约26GB70B模型约140GB。推理时还需要额外空间存放KV Cache、输入输出缓存和运行时开销所以实际需求要比这个基础值高一些。按这个口径模型规模FP16权重显存推理建议显存典型建议卡型7B14GB20GB~24GBRTX 4090、L40S13B26GB32GB~48GBA6000、A100、L40S70B140GB160GB以上A100 80G多卡或量化后单卡方案微调的账又不一样。全量微调除了模型权重还需要保存梯度、优化器状态Adam一般占参数量的2倍以上再加上前向计算产生的激活值。7B模型全量微调大概需要80GB到120GB显存单张A100 80G都很紧。但如果是LoRA或QLoRA只更新极小一部分参数以QLoRA为例7B模型权重用4bit量化后大概只剩5GB左右加上LoRA参数和激活值24GB的卡就能舒服地跑起来。这一步做完你心里基本就有数了如果模型规模在7B左右微调用QLoRA推理也是单卡能扛的那么预算盘子就该按千元级来规划而不是直接奔着几万块去。2. GPU参数翻译从显存、算力到选卡档位2.1 别被广告参数带节奏看GPU租赁平台的宣传页满屏都是TFLOPS、显存带宽、HBM、NVLink非技术出身的人根本分不清哪个重要。说一个我常用的类比租GPU跟租车差不多。显存是车厢容积决定你拉不拉得下这批货。模型装不下一切免谈。**算力TFLOPS**是发动机马力决定满载时跑多快。训练任务主要看这个。显存带宽是高速路入口的通行效率决定吞吐顺不顺。在线推理的瓶颈经常在这里而不是算力。卡间互联是几辆车能不能编队。多卡训练时如果互联跟不上卡越多反而越慢。很多人在选卡时光盯着TFLOPS忽略了显存容量和带宽。比如某些专业卡算力参数看着不错但显存只有16GB/24GB7B模型FP16推理都会顶到上限这种卡再便宜也别碰。反过来一张A100 80G显存很大但如果你跑的是7B量化模型显存利用率不到一半价格却是4090的几倍这也是典型的错配。2.2 租赁市场主流GPU的性价比档位以当前平台常见的租用行情来看价格会随市场波动我只给参考区间实际以平台报价为准卡型显存参考时租适合场景明显短板RTX 409024GB2~4元/小时7B/13B推理、LoRA/QLoRA微调、小规模批量推理多卡互联差不适合大规模分布式训练RTX A600048GB4~6元/小时13B模型单卡推理、显存需求大的单卡微调算力密度一般价格处于尴尬区间L40S48GB8~12元/小时在线推理优化好、新模型服务、中等训练训练性价比不一定比4090高A100 80G80GB8~15元/小时全量微调、70B量化推理、稳定的多卡训练做小模型低并发推理极度浪费H100 80G80GB30~60元/小时大规模训练、高并发高质量推理预算有限时完全不用考虑这里有个关键逻辑我必须强调时租单价低不等于总成本低。同样是跑7B模型推理4090一张卡就够每小时3元A100每小时虽然只要12元上下但你得为用不完的那56GB显存付费。算到单个请求上A100方案的token成本往往是4090方案的数倍。选卡档位的核心原则是够用为基准让显存利用率和算力利用率同时保持在合理区间。3. 预算测算模型把需求换算成卡时再变成账单3.1 用卡时做统一换算单位预算测算是很多团队最头疼的环节其实思路很简单把一切需求折算成卡时GPU小时数再用卡时乘单价就能得到账单金额。卡时这个单位的语义是一张卡跑一个小时。不管你是租一块卡跑十个小时还是租十块卡跑一个小时消耗的卡时是一样的。好处在于它把复杂的任务量和硬件配置解耦了先算总工作量再回头决定用几块卡、什么时候跑。具体测算分两步先估算任务本身需要多少卡时再乘以租赁单价得到费用。前者取决于数据和模型规模后者取决于你选卡的档位和租用方式。3.2 训练侧用FLOPs估算公式粗算所需卡时训练时间估算有一个业内常用的近似公式单次训练的计算量约等于 6 × 模型参数量 × 训练token数。如果你要跑多个epoch再乘以epoch数。这个公式把前向传播和反向传播的计算量都粗略算进去了做预算绰绰有余。我直接给一个真实测算的例子。假设你拿7B模型做QLoRA微调训练数据是500万token跑3个epoch总计算量 ≈ 6 × 70亿 × 500万 × 3 6.3 × 10的17次方 FLOPs一张RTX 4090的FP16算力标称约82.6 TFLOPS但实际利用率MFU能到30%~50%就算不错。按40%折算有效算力约33 TFLOPS所需时间 ≈ 6.3 × 10的17次方 ÷ (33 × 10的12次方) ≈ 19091秒约5.3小时再加上数据加载、checkpoint保存、中途可能的报错重跑放宽到7小时左右。按4090时租3元算整个微调实验的成本是21元。这个数字让很多人惊讶但确实如此小规模微调本身就是低成本的完全不需要为它租A100。全量微调就不一样了同样数据量跑7B全参显存需求上到80GB以上至少得A100级别卡时价格直接跳到每小时10元以上而且单卡显存不够必须拆到两台或更多卡通信开销还会进一步拉长时间。这就是为什么我反复建议中小企业优先考虑QLoRA——不是因为它效果一定最好而是预算测算一摊开差距实在太明显。3.3 推理侧从请求量反推卡数和费用推理侧的测算逻辑和训练完全不同。很多人习惯拿并发数说事我要支持10个并发。但真正决定成本的是单位时间需要生成的token总量也就是吞吐需求。举个例子假设你的内部知识库问答机器人每天有1万次请求每次请求平均输出500个token一天就是500万token。一张4090在7B量化模型上做在线推理稳定输出速度大约在每秒80~120个token取决于上下文长度和量化方式取100为基准一天的单卡产出约864万token。那么每天500万token ÷ 每卡864万token ≈ 0.58卡日如果业务集中在8小时工作时间内需要约1.74张卡取2张做冗余和峰值缓冲也就是说2张4090级别的卡就足够覆盖这类业务。按月包机算一张4090包月大约3000元上下两张6000元这就是你的推理成本盘子。如果请求量翻十倍那确实要重新评估是否上更高吞吐的方案或者引入推理优化比如vLLM、TensorRT-LLM把单卡吞吐再往上拉。但在此之前别被并发100用户同时在线这类虚数吓到用户在线跟模型实际生成token之间隔了好几个数量级。3.4 别忘了GPU租金之外的账单项预算测算如果只算GPU租金最后一定会超支。真实账单里还有几项低频但固定出现的费用对象存储模型权重、训练数据集、日志文件都要地方放按GB/月计费数据量大了不便宜。公网流量与带宽从平台拉模型文件、传结果数据、对外提供API流量费往往被忽略。镜像与容器存储每次启动实例都要拉镜像镜像多了存储费积少成多。调度与管理费部分平台对按需实例、自动伸缩、快照有额外计费。闲置余额预付了充值额度结果算力用完余额还剩一大笔平台不一定能退。我的建议是在预算表里给这些项目预留20%~30%的缓冲。不要把这部分砍掉它是你后期在实例配置、数据管线上踩坑时的止损空间。4. 一个真实测算案例文档问答项目把月成本从4万级压到6000上下4.1 原有方案为什么浪费回到文章开头那个做企业知识库的团队。他们的业务是给客户提供企业内部文档问答底层模型用开源7B微调对外接口一天真实请求量大概在5000到1万次。这是非常典型的轻量推理加偶发微调场景。他们最早的做法是跟云平台签了一年长约租了4张A100 80G同时开通了大容量对象存储和独享带宽月账单稳定在4万出头。为什么会这样配核心原因是担心模型放不下、担心用户一多卡顿、担心未来业务增长。这三个担心最后都靠堆硬件解决属于典型的防御性超配。更细看下来4张A100里只有偶尔一周的微调实验会真正跑满其余时间都是在跑一个并发量很低的文档问答接口GPU利用率长期徘徊在10%上下。我用nvidia-smi拉过他们的历史监控绝大多数时间段的显存占用不到20GB距离80GB的显存上限差了整整4倍。这就是最典型的浪费形态不是单卡性能不够而是需求场景和硬件规格根本不匹配。4.2 按测算模型逐项重新算账我帮他们按上一章的测算方法重新过了一遍。先看任务类型。微调方面他们的核心诉求是把模型调成能读企业文档并回答问题用的是开源7B底座数据量在300万到1000万token级别完全没有全量微调的必要QLoRA就足够。推理方面1万次/天的请求量、每次输出500token左右按3.3节的算法2张4090就能稳定兜住。再看显存盘子。7B模型即便用FP16也只是14GB权重用QLoRA微调时24GB显存可跑推理时量化到4bit甚至只需要6GB左右。无论怎么看需求都落在RTX 4090的能力区间内A100纯属大炮打蚊子。最后看租用方式。把4张A100年约退掉改成2张4090包月覆盖日常推理微调实验放在夜间或者包月卡的空闲时段跑临时的大规模数据实验再按小时租一张A100用完即释放。4.3 最终方案和月度账单调整后的方案我直接给配置和账目支出项原方案按月优化后按月GPU算力4×A100 80G年约约33000元2×RTX 4090包月约6000元训练/实验资源已包含在上面用包月卡空闲时段跑QLoRA0~几百元突发实验已包含在上面按小时租A100 80G约300~500元对象存储约1000元约400元统一清理过期镜像与旧权重流量/带宽约1500元约600元月合计约36500~42000元约7300~8000元如果遇到需求淡季连突发实验也不做月成本能压到6000元出头。这轮调整上线后的第一个月实际账单是7500元左右系统高峰期的接口响应速度反而比原来更快了原因是4090虽然是消费级卡但对小模型推理来说单卡负载更集中省去了A100多卡之间不必要的通信和调度开销。这次调整给我最大的一个感触是预算测算的意义不是让你一味买便宜的硬件而是让每一分钱都对应到真实的计算任务上。把不需要的能力从账单里剔除比在算法层面优化效率来得更直接。5. 让预算失控的四个坑复盘与避坑清单5.1 显存OOM和利用率低同时存在很多人以为预算失控是用量大导致的实际更多是用不好导致的。一个高频场景是明明租了A100跑小模型却显存OOM。听起来矛盾但真实发生。问题通常出在环境配置而不是硬件能力没开FlashAttentionbatch size设得过大数据加载器没有做padding优化几行代码就能把显存撑爆。我的排查建议是先在本地或小卡上用小batch把流程跑通确认显存水位后再开大实例不要一上来就全量加载。出现OOM时先看nvidia-smi的显存占用分布判断是权重占满、缓存占满还是激活值爆掉再决定优化方向。顺带说一句如果显存占用高但SM利用率只有个位数说明模型在等数据或在做串行解码这时候换更大的显存没有意义应该查数据加载管线和推理框架配置。5.2 环境搭建、模型下载吃掉大量卡时另一个隐蔽的浪费是GPU在空转状态。实例一开通首先要装驱动、配CUDA、装PyTorch再拉模型权重、下载数据集这些环节几乎都不吃GPU算力但计费从启动瞬间就开始了。我见过最离谱的情况是一台A100开了三天真正跑模型的时间只有4小时其余时间都在配环境和等下载。破解办法有三个第一提前在普通CPU机器上把镜像打好所有依赖和环境变量固化进镜像GPU实例一启动就进入训练或推理状态第二模型权重和数据提前放到对象存储或共享文件系统实例启动后用内网高速拉取避免在公网慢慢爬第三如果是周期性的训练任务先跑一个很小的样本验证脚本能跑通再启动大实例跑全量数据。记住一句话调试用小卡正式跑用大卡装环境的杂活用不上顶级GPU。5.3 多卡互联看起来划算实际翻车很多团队到了需要多卡的时候下意识会看一眼价格表发现4张4090的总价跟2张A100差不多就觉得前者更值。这个判断在分布式训练场景下很可能错得离谱。4090这类卡通常没有NVLink多卡通信走PCIe或者网络带宽和延迟都远逊于A100的NVLink互联。如果你训练的是7B以上模型参数同步和梯度交换的开销会吃掉大量算力4张4090组分布式训练实际扩展比可能只有2倍甚至更低。而A100多卡集群因为互联成熟扩展比接近线性。结论是模型一张卡能放下坚决不用多卡必须多卡时优先租平台专门做好的集群方案而不是自己拼多张消费级卡。5.4 竞价实例和省钱选项要分清适用场景不少平台提供竞价实例或闲置实例价格可能只有按需实例的三分之一甚至更低。这类资源适合两类任务离线批量推理、可以随时中断重跑的训练实验。如果拿它跑在线服务一个不小心中断接口直接全挂引发的业务损失远超过省下的那点租金。我的习惯是把资源分成三层核心在线服务用包月或按需实例保证稳定批量任务用空闲时段实例可中断实验用竞价实例。每一层分别做预算上限月底对照账单看各层实际花费如果某层长期为空置就砍掉对应配置。预算管理不是一次性测算而是每月滚动调整的过程。最后说一个我自己坚持了很久的习惯每个月末把账单和GPU利用率监控截图放在同一个表格里过一遍凡是利用率长期低于20%的实例下个月一律降配或退订凡是频繁OOM的配置下个月优先做推理优化而不是加显卡。算力租赁最怕的就是租的时候拍脑袋用的时候不看表只要把需求和账单之间的换算关系理清楚了中小企业完全可以用很低的成本把AI业务跑起来。