最近圈子里的朋友聊得最多的一个话题，就是显卡价格又上去了。偏偏这个节点上，想本地部署 AI 的人反而越来越多：有人是为了跑大语言模型，有人是想本地出图，还有人纯属不想把数据往外传。几轮私信问下来，问题几乎都集中在同一个点上——预算有限，到底买哪块卡才是最优解，才不会买完就后悔。这篇文章就围绕这个问题，从本地部署 AI 的真实需求出发，把显存、算力、带宽、生态这些关键点拆开讲清楚，再按不同预算给出选卡的思考路径和避坑清单。不讲虚的跑分，全程都是实操视角，适合正在纠结选卡、准备开始本地部署 AI 的普通用户和刚入门的开发者参考。1. 先搞懂本地跑 AI，显卡究竟在忙什么很多朋友第一步就走错了，一上来就问“哪块卡算力最强”，然后盯着浮点运算指标猛看。但实际上，普通用户本地部署 AI，最核心的瓶颈往往不在算力，而在显存。搞清楚显卡在 AI 任务里究竟干了哪些活，选卡的逻辑自然就清楚了。1.1 显存是第一优先级：一个模型占多大地方把显卡理解成一个带仓库的加工车间：仓库是显存，加工核心是 GPU 计算单元。模型权重和中间数据得先放进仓库，车间才能开工。仓库不够大，货再好也进不了门，后面的一切都免谈。模型显存占用其实是可以提前算出来的。大语言模型的参数规模以“亿”为单位，不同精度下每个参数占用的字节数不同：FP32 单精度：每个参数占 4 字节FP16 半精度：每个参数占 2 字节INT8 量化：每个参数占 1 字节INT4 量化：每个参数占 0.5 字节以 70 亿参数的模型为例，FP16 精度下权重占 14GB，INT8 量化后约占 7GB，INT4 量化后约 3.5GB。加上推理时需要的中间激活值、KV Cache（对话历史缓存）、CUDA 上下文开销，实际峰值占用通常还要增加 20% 到 30%。所以跑 7B 级别的模型，INT4 量化下建议至少 8GB 显存起步，FP16 跑则最好有 16GB 以上。本地图片生成类的模型也同样吃显存。1.5 系列的模型在 512 分辨率下 4GB 显存还能挣扎一下，但到 1024 以上分辨率、X140 这类稍大的模型，显存占用轻松超过 8GB。选卡时不先算这笔账，很容易出现“模型能装上，但一跑就爆显存”的尴尬。1.2 算力和带宽的配合：“先能跑”再“跑得快”显存容量决定能不能跑，算力决定跑得快到什么程度，但在这两者之间还横着一条容易忽略的生命线——显存带宽。可以把算力想象成厨师，带宽就是上菜通道。通道太窄的话，厨师手艺再好也只能干等。本地部署 AI 时，大部分任务都属于推理阶段，也就是模型已经训练好，你问一句它答一句。推理过程本质上是对模型权重的反复读取，这时候带宽对速度的影响经常比纯算力还明显。这也是为什么有些老款大显存卡在本地推理中的表现能超过新款小显存卡。你看参数，新款算力高出不少，但老款显存更大、带宽更宽，推理时反而更流畅，代价是功耗高、体积大。对于追求“模型跑得动”的普通用户，带宽指标比动不动几百 TFLOPS 的峰值算力更值得看。超频和温度对实际性能的影响同样在带宽上体现得最明显。显存温度过高时会自动降频，带宽随之缩水，跑模型的速度会肉眼可见地往下掉。这也是很多用户觉得“参数看起来不错，怎么实际用起来这么慢”的常见原因之一。1.3 生态兼容性：这决定了你的软件装不装得顺显存和算力是硬件层面的门槛，但真正决定日常使用顺不顺心的，是生态兼容性。这个点新手特别容易忽视，等到装驱动、配部署环境时才发现各种问题，折腾一两天都跑不通一个模型。目前主流的闭源生态在 AI 工具链上的支持，仍然是所有方案里最完整的。主流的深度学习框架、推理引擎、模型优化工具，基本都是优先适配这一套生态。新模型发布后，社区脚本和现成方案几乎默认这套环境，遇到问题搜解决方案也最容易搜到。对普通用户来说，这是覆盖面最大的“省心路线”。开源驱动生态这些年的进步也很明显，部分场景下已经能跑不少模型，但在算子支持、性能优化、特定显卡型号的适配度上仍然有明显差距。同一个模型，在闭源生态里可能直接跑起来，到了开源生态里就可能报错，或者需要手工改配置、换内核，对没有编译基础的人来说体验并不轻松。我的建议很简单：如果你买显卡的主要目的就是本地部署 AI，那么选择主流生态是给自己节省时间，而不是什么“技术信仰”问题。时间花在调模型上才有产出，花在跟驱动和算子上死磕，实在太亏了。2. 涨价行情下，按预算分层选卡的思路既然价格已经开始波动，再谈“哪张卡性价比最高”就没有意义了。更务实的做法是按预算分层，明确每一层里最值得守住的核心配置。下面这几种思路不影响具体型号推荐，你可以根据当时市场价格去套。2.1 入门档位：先解决“能不能跑”的问题预算比较紧张的朋友，最容易犯的错是盯着最新款小显存卡看。这类卡玩普通游戏确实可以，打出来的参数表格也漂亮，但用来本地跑 AI 就是典型的“算力过剩、显存不够”，模型压根放不进去，再强也白搭。入门档位的核心策略，是优先保证显存不低于 12GB，在此基础上看看上一代的中端型号或者二手的大显存老卡。12GB 显存能做什么？比较明确：7B 级别的模型可以用 INT8 量化流畅运行，14B 级别用 INT4 量化也能勉强跑起来，普通分辨率下的本地出图基本够用。但这个档位有两个坑必须注意。一是功耗，很多大显存的老型号功耗高，旧电源可能带不动，要换电源又是一笔预算。二是二手翻新和矿卡风险，下面会有专门的鉴别清单。如果你主玩 14B 以下模型，且对出图分辨率要求不高，这个档位完全够用，没必要盲目加钱。2.2 中坚档位：24GB 显存是一个甜点位预算稍微充裕一点，我会建议把注意力集中在 24GB 显存级别。为什么是 24GB？因为它是目前本地部署中“往上能摸到大模型，往下不浪费钱”的平衡点。24GB 显存的实际吞吐量很可观：32B 级别的模型在 INT4 量化下可以完整载入，这让普通用户第一次能在家用机器上流畅运行相对聪明的对话模型；7B、14B 级别模型可以直接用更高精度运行，出图的分辨率和尺寸限制也小很多；就算是做一些轻量级的 LoRA 微调，24GB 也刚好卡在能用的门槛上。在这个档位会有两种具体路径：一种是买当前代的大显存型号，价格贵但省心，功耗控制好、保修完整，适合不想折腾的人；另一种是买上一代的二手型号，显存相同、价格低不少，代价是企业卡改造、功耗高、散热压力大，适合动手能力强的人。如果预算能约束在中等水平，我的建议是把“24GB 显存”当硬指标来卡，其他参数在这个基础上再做取舍。你会发现所有模型部署教程里的“推荐配置”，几乎都以 24GB 显存作为分水岭，这不是巧合。2.3 高预算档位：48GB 以上与多卡方案的现实选择预算到了更高层级，考虑的就不仅是“跑模型”，而是“跑多大的模型、同时跑几个、要不要本地继续训练”。到这个阶段，单卡 24GB 开始成为限制因素，人们会开始看 48GB 以上的大显存卡，或者考虑双卡并联方案。48GB 级别显存能干什么？65B 乃至更大的模型可以在 INT4 量化下完整载入，这让本地模型的能力上限有了质的提升。做数据标注、批量推理、微调任务时，大显存意味着单次能处理的批次更大，单位时间产出更高。对自由职业者和小团队来说，这是一笔能算回本的投资。双卡方案则是另一种取舍。两张 24GB 卡并联，理论上显存翻倍到 48GB，但实际使用要受制于卡间互联带宽。跨卡通信频繁的任务，性能损耗非常明显。普通用户如果不是特别明确一定要跑超大模型，我不太建议一上来就双卡，不如把钱集中到一张大显存卡上，出问题的概率小得多。高预算档位的坑主要是“买错方向”：本地部署 AI 和深度学习训练的需求不同，消费级旗舰型号打游戏很好，但长时间高负载推理时，散热设计和稳定性反而不如专门优化过的计算卡。买之前先想清楚自己每天跑的任务是什么类型。3. 避坑清单：选卡时容易被忽略的细节显存容量、预算价格，这些是明面上的参数，大部分人都会比较。真正让新手栽跟头的，往往是那些不容易注意到的细节。这里挑几个最影响实际部署体验的，逐个说清楚。3.1 显存容量和显存带宽，是两码事很多朋友看到“显存大”就觉得万事大吉，忽略了显存带宽这个隐形指标。显存容量是仓库面积，显存带宽是仓库门口的传送带速度。本地跑模型，模型权重频繁在显存和计算单元之间来回搬运，传送带速度不够，整体速度就被卡死。挑选时可以留意显存位宽和显存类型两个数值。位宽越宽、显存代次越新，带宽通常越高。入门档位很容易出现这种情况：新出的主流小卡显存类型先进，但位宽被刻意收窄，实际带宽反而不如上一代的大显存卡。只看“显存多大”而不看“带宽多宽”，买回来跑 AI 就会明显感觉速度不对。实际操作里有一个土办法：在候选的显卡上实际跑一次模型推理，记录 tokens/s 的生成速度，比对着参数表格猜半天要可靠得多。如果条件不允许，那就用“显存带宽=显存频率×位宽÷8”这个大概公式估算一下，量级差距一眼就能看出来。3.2 供电、散热和机箱空间，是隐藏成本这部分是新手最容易低估的。一块大显存显卡买回来，装进旧机箱才发现电源功率不够，或者显卡长度顶住了机箱硬盘位，这种案例我见过的太多了。先看电源。本地部署 AI 的场景是长时间高负载，比玩游戏的平均功耗更高、更持续。电源不只看额定功率，还要看 +12V 输出能力和供电接口类型。老电源没有对应供电接口，还得额外买转接线，转接本身又增加了不稳定因素，导致高负载时黑屏重启。再看机箱和散热。大显存卡往往是双风扇甚至三风扇的长卡，加上供电接口突出，对机箱宽度、长度都有要求。更关键的是，本地 AI 很多时候是长期挂着跑批处理任务，机箱风道如果不行，热量堆积后显卡自动降频，跑着跑着速度掉下来，还不如一开始就选散热好一点的型号或加装辅助风扇。3.3 二手市场的鉴别要点和实操建议预算有限的朋友大概率会考虑二手渠道，这没有问题，但一定要把鉴别流程走完整。大显存老卡有一部分来源是企业拆机卡或机房淘汰卡，长期高负载运行后，显存和散热模块的老化程度各不相同，盲买就是赌运气。我的建议是，优先找个人自用卡且能提供原始购买记录和保修信息的卖家，其次找支持七天无理由退货的平台店铺。到手之后做三件事：一是检查外观，重点看背板螺丝是否有拆修痕迹，散热鳍片是否积灰严重；二是用 GPU 压力工具连续满载跑半小时，观察温度曲线和频率是否稳定，有没有出现降频后回不来的情况；三是在实际推理任务里跑一个固定长度的模型对话，确认显存没有报错、速度不掉得离谱。还有一点很多人忽略：到手后更新驱动，并记录默认频率。如果发现卖家已经在 BIOS 层面修改过功耗或频率，建议谨慎考虑，因为你不知道之前承受过多高负载的“健康状况”。4. 常见问题与排查技巧实录本地部署 AI 这件事，踩坑是常态。这里整理几个我在实际使用中反复遇到的典型问题，每个都附上排查思路和处理办法，做成了速查风格，方便你遇到问题时直接对照。典型问题可能原因建议处理加载模型时提示显存不足模型精度过高或上下文设置太大换用更低精度量化版本，或调低上下文长度，开启推理引擎的显存优化选项模型能加载但生成速度极慢显存带宽不足，或模型部分参数被换出到内存关闭后台占用显存的其他程序，降低上下文长度，或更换带宽更高的显卡运行一段时间后速度突然下降显存温度过高触发降频保护检查机箱风道、清理积灰，用温度监控软件查看热点温度是否超过安全范围频繁黑屏或驱动崩溃电源供电不足，或驱动版本不稳定确认 +12V 输出余量，更新到稳定版驱动，避免使用转接线长期满载双卡模式下两卡负载不均模型并行策略设置不当，或卡间互联带宽瓶颈检查推理框架的并行参数，优先使用同一型号的卡组双卡4.1 显存溢出：量化位数和上下文的平衡“显存不足”这个问题，问题不一定出在显卡上，很多是模型精度和上下文长度设置造成的。7B 模型用 FP16 跑要 14GB 显存，实际部署时用 INT4 量化立刻就降到 4GB 级别，这就是量化的作用。但量化不是越低越好。INT4 精度在部分任务上确实会有肉眼可见的质量损失，尤其是逻辑推理和长文本生成。我的自定义排查顺序是这样：先量化降一档，观察生成质量是否可接受；如果质量下降明显，再考虑降低上下文长度，因为上下文占用的显存随对话长度线性增长。判断的标准可以定量一些。打开任务管理器或推理引擎的日志，记录最大显存占用。只要峰值占用离可用显存留出 15% 左右的余量，基本就能稳定长期运行。强行拉满显存，看着能跑，实际运行一段时间就会因为内存碎片或缓存问题崩溃，得不偿失。4.2 速度忽快忽慢：注意力应该放在温度和后台任务上有不少人遇到过类似场景：同一个模型，今天速度正常，明天突然慢了一半，查了半天不知道原因。这种“薛定谔的推理速度”，大部分情况下和显卡温度以及后台任务有关。显卡温度过高触发降频后，整卡性能会断崖式下降。核心看两个数值：GPU 核心热点温度和显存温度。显存温度过高时，推理速度受带宽降频影响最明显，但这部分温度在很多监控软件里默认不显示，需要手动打开。后台任务也是个容易被忽视的因素。本地模型推理时 GPU 占用并不总是 100%，很多推理引擎是间歇性突发的。如果后台有视频渲染、浏览器硬件加速等任务在抢显存和带宽，模型速度就会时快时慢。跑批处理时尽量关掉不必要的图形界面和渲染任务，实测能稳定不少。4.3 要不要“等下一代”：产品的思路可作为辅助参考每次选卡都会有人在群里问，要不要等下一代显卡。这个问题的答案，取决于你当前的痛点是否紧急。如果你现在连模型都跑不动，每次运行都要卡在显存溢出边缘，那再等半年的成本就已经产生了，不如先按预算选一个足够解决当前问题的配置。如果你现有的配置只是慢一点但能跑，没有什么时间压力，那等一等倒也无妨。不过要提醒一下消费预期的管理：显卡迭代的幅度不是年年都明显，而且新卡上市初期的价格往往偏高，“等新款”的隐形机会成本并不低。从实用角度看，按照“当前想跑的模型+未来半年想跑更大的模型”来确定显存目标，比永远等未发布的新品要靠谱得多。5. 最后分享几条选卡时的真实体会这几条体会是这些年里被反复验证过的，当作总结性的建议放在这里。第一，先算显存账，再谈预算。把你想跑的模型精度、上下文长度、分辨率档位列出来，用前面说的公式算一遍最低显存需求，然后在这个基础上加 20% 余量。这笔账不花十分钟，但能帮你直接过滤掉一半以上的选项。第二，买二手卡，一定要把测试流程走完再确认收货。不要只看外观和跑分，真正用推理任务实测半个小时，看温度曲线和显存是否稳定。这条流程虽然麻烦，但能避免后续几个星期的折腾。第三，配置软件环境预留时间。显卡选对了，软件部署同样需要耐心。第一次跑模型时，先把驱动更新到稳定版，再对照官方文档或社区方案一步步装推理环境。很多人最后不是卡在硬件上，而是卡在没有耐心读文档这一步。第四，有一个实用的小技巧：正式决定前，用候选显卡跑一个固定的模型测试脚本，记录显存占用峰值和生成速度。这个数据比任何参数表都更诚实。不同的卡实际表现差异可能非常大，只有自己跑过一遍，才知道钱花得值不值。本地部署 AI 的门槛正在不断降低，但选卡这件事短期内还是绕不开的经验活。希望这篇文章能帮你建立一套自己的判断框架，不再被涨涨跌跌的价格表牵着走。
最近圈子里的朋友聊得最多的一个话题，就是显卡价格又上去了。偏偏这个节点上，想本地部署 AI 的人反而越来越多：有人是为了跑大语言模型，有人是想本地出图，还有人纯属不想把数据往外传。几轮私信问下来，问题几乎都集中在同一个点上——预算有限，到底买哪块卡才是最优解，才不会买完就后悔。这篇文章就围绕这个问题，从本地部署 AI 的真实需求出发，把显存、算力、带宽、生态这些关键点拆开讲清楚，再按不同预算给出选卡的思考路径和避坑清单。不讲虚的跑分，全程都是实操视角，适合正在纠结选卡、准备开始本地部署 AI 的普通用户和刚入门的开发者参考。1. 先搞懂本地跑 AI，显卡究竟在忙什么很多朋友第一步就走错了，一上来就问“哪块卡算力最强”，然后盯着浮点运算指标猛看。但实际上，普通用户本地部署 AI，最核心的瓶颈往往不在算力，而在显存。搞清楚显卡在 AI 任务里究竟干了哪些活，选卡的逻辑自然就清楚了。1.1 显存是第一优先级：一个模型占多大地方把显卡理解成一个带仓库的加工车间：仓库是显存，加工核心是 GPU 计算单元。模型权重和中间数据得先放进仓库，车间才能开工。仓库不够大，货再好也进不了门，后面的一切都免谈。模型显存占用其实是可以提前算出来的。大语言模型的参数规模以“亿”为单位，不同精度下每个参数占用的字节数不同：FP32 单精度：每个参数占 4 字节FP16 半精度：每个参数占 2 字节INT8 量化：每个参数占 1 字节INT4 量化：每个参数占 0.5 字节以 70 亿参数的模型为例，FP16 精度下权重占 14GB，INT8 量化后约占 7GB，INT4 量化后约 3.5GB。加上推理时需要的中间激活值、KV Cache（对话历史缓存）、CUDA 上下文开销，实际峰值占用通常还要增加 20% 到 30%。所以跑 7B 级别的模型，INT4 量化下建议至少 8GB 显存起步，FP16 跑则最好有 16GB 以上。本地图片生成类的模型也同样吃显存。1.5 系列的模型在 512 分辨率下 4GB 显存还能挣扎一下，但到 1024 以上分辨率、X140 这类稍大的模型，显存占用轻松超过 8GB。选卡时不先算这笔账，很容易出现“模型能装上，但一跑就爆显存”的尴尬。1.2 算力和带宽的配合：“先能跑”再“跑得快”显存容量决定能不能跑，算力决定跑得快到什么程度，但在这两者之间还横着一条容易忽略的生命线——显存带宽。可以把算力想象成厨师，带宽就是上菜通道。通道太窄的话，厨师手艺再好也只能干等。本地部署 AI 时，大部分任务都属于推理阶段，也就是模型已经训练好，你问一句它答一句。推理过程本质上是对模型权重的反复读取，这时候带宽对速度的影响经常比纯算力还明显。这也是为什么有些老款大显存卡在本地推理中的表现能超过新款小显存卡。你看参数，新款算力高出不少，但老款显存更大、带宽更宽，推理时反而更流畅，代价是功耗高、体积大。对于追求“模型跑得动”的普通用户，带宽指标比动不动几百 TFLOPS 的峰值算力更值得看。超频和温度对实际性能的影响同样在带宽上体现得最明显。显存温度过高时会自动降频，带宽随之缩水，跑模型的速度会肉眼可见地往下掉。这也是很多用户觉得“参数看起来不错，怎么实际用起来这么慢”的常见原因之一。1.3 生态兼容性：这决定了你的软件装不装得顺显存和算力是硬件层面的门槛，但真正决定日常使用顺不顺心的，是生态兼容性。这个点新手特别容易忽视，等到装驱动、配部署环境时才发现各种问题，折腾一两天都跑不通一个模型。目前主流的闭源生态在 AI 工具链上的支持，仍然是所有方案里最完整的。主流的深度学习框架、推理引擎、模型优化工具，基本都是优先适配这一套生态。新模型发布后，社区脚本和现成方案几乎默认这套环境，遇到问题搜解决方案也最容易搜到。对普通用户来说，这是覆盖面最大的“省心路线”。开源驱动生态这些年的进步也很明显，部分场景下已经能跑不少模型，但在算子支持、性能优化、特定显卡型号的适配度上仍然有明显差距。同一个模型，在闭源生态里可能直接跑起来，到了开源生态里就可能报错，或者需要手工改配置、换内核，对没有编译基础的人来说体验并不轻松。我的建议很简单：如果你买显卡的主要目的就是本地部署 AI，那么选择主流生态是给自己节省时间，而不是什么“技术信仰”问题。时间花在调模型上才有产出，花在跟驱动和算子上死磕，实在太亏了。2. 涨价行情下，按预算分层选卡的思路既然价格已经开始波动，再谈“哪张卡性价比最高”就没有意义了。更务实的做法是按预算分层，明确每一层里最值得守住的核心配置。下面这几种思路不影响具体型号推荐，你可以根据当时市场价格去套。2.1 入门档位：先解决“能不能跑”的问题预算比较紧张的朋友，最容易犯的错是盯着最新款小显存卡看。这类卡玩普通游戏确实可以，打出来的参数表格也漂亮，但用来本地跑 AI 就是典型的“算力过剩、显存不够”，模型压根放不进去，再强也白搭。入门档位的核心策略，是优先保证显存不低于 12GB，在此基础上看看上一代的中端型号或者二手的大显存老卡。12GB 显存能做什么？比较明确：7B 级别的模型可以用 INT8 量化流畅运行，14B 级别用 INT4 量化也能勉强跑起来，普通分辨率下的本地出图基本够用。但这个档位有两个坑必须注意。一是功耗，很多大显存的老型号功耗高，旧电源可能带不动，要换电源又是一笔预算。二是二手翻新和矿卡风险，下面会有专门的鉴别清单。如果你主玩 14B 以下模型，且对出图分辨率要求不高，这个档位完全够用，没必要盲目加钱。2.2 中坚档位：24GB 显存是一个甜点位预算稍微充裕一点，我会建议把注意力集中在 24GB 显存级别。为什么是 24GB？因为它是目前本地部署中“往上能摸到大模型，往下不浪费钱”的平衡点。24GB 显存的实际吞吐量很可观：32B 级别的模型在 INT4 量化下可以完整载入，这让普通用户第一次能在家用机器上流畅运行相对聪明的对话模型；7B、14B 级别模型可以直接用更高精度运行，出图的分辨率和尺寸限制也小很多；就算是做一些轻量级的 LoRA 微调，24GB 也刚好卡在能用的门槛上。在这个档位会有两种具体路径：一种是买当前代的大显存型号，价格贵但省心，功耗控制好、保修完整，适合不想折腾的人；另一种是买上一代的二手型号，显存相同、价格低不少，代价是企业卡改造、功耗高、散热压力大，适合动手能力强的人。如果预算能约束在中等水平，我的建议是把“24GB 显存”当硬指标来卡，其他参数在这个基础上再做取舍。你会发现所有模型部署教程里的“推荐配置”，几乎都以 24GB 显存作为分水岭，这不是巧合。2.3 高预算档位：48GB 以上与多卡方案的现实选择预算到了更高层级，考虑的就不仅是“跑模型”，而是“跑多大的模型、同时跑几个、要不要本地继续训练”。到这个阶段，单卡 24GB 开始成为限制因素，人们会开始看 48GB 以上的大显存卡，或者考虑双卡并联方案。48GB 级别显存能干什么？65B 乃至更大的模型可以在 INT4 量化下完整载入，这让本地模型的能力上限有了质的提升。做数据标注、批量推理、微调任务时，大显存意味着单次能处理的批次更大，单位时间产出更高。对自由职业者和小团队来说，这是一笔能算回本的投资。双卡方案则是另一种取舍。两张 24GB 卡并联，理论上显存翻倍到 48GB，但实际使用要受制于卡间互联带宽。跨卡通信频繁的任务，性能损耗非常明显。普通用户如果不是特别明确一定要跑超大模型，我不太建议一上来就双卡，不如把钱集中到一张大显存卡上，出问题的概率小得多。高预算档位的坑主要是“买错方向”：本地部署 AI 和深度学习训练的需求不同，消费级旗舰型号打游戏很好，但长时间高负载推理时，散热设计和稳定性反而不如专门优化过的计算卡。买之前先想清楚自己每天跑的任务是什么类型。3. 避坑清单：选卡时容易被忽略的细节显存容量、预算价格，这些是明面上的参数，大部分人都会比较。真正让新手栽跟头的，往往是那些不容易注意到的细节。这里挑几个最影响实际部署体验的，逐个说清楚。3.1 显存容量和显存带宽，是两码事很多朋友看到“显存大”就觉得万事大吉，忽略了显存带宽这个隐形指标。显存容量是仓库面积，显存带宽是仓库门口的传送带速度。本地跑模型，模型权重频繁在显存和计算单元之间来回搬运，传送带速度不够，整体速度就被卡死。挑选时可以留意显存位宽和显存类型两个数值。位宽越宽、显存代次越新，带宽通常越高。入门档位很容易出现这种情况：新出的主流小卡显存类型先进，但位宽被刻意收窄，实际带宽反而不如上一代的大显存卡。只看“显存多大”而不看“带宽多宽”，买回来跑 AI 就会明显感觉速度不对。实际操作里有一个土办法：在候选的显卡上实际跑一次模型推理，记录 tokens/s 的生成速度，比对着参数表格猜半天要可靠得多。如果条件不允许，那就用“显存带宽=显存频率×位宽÷8”这个大概公式估算一下，量级差距一眼就能看出来。3.2 供电、散热和机箱空间，是隐藏成本这部分是新手最容易低估的。一块大显存显卡买回来，装进旧机箱才发现电源功率不够，或者显卡长度顶住了机箱硬盘位，这种案例我见过的太多了。先看电源。本地部署 AI 的场景是长时间高负载，比玩游戏的平均功耗更高、更持续。电源不只看额定功率，还要看 +12V 输出能力和供电接口类型。老电源没有对应供电接口，还得额外买转接线，转接本身又增加了不稳定因素，导致高负载时黑屏重启。再看机箱和散热。大显存卡往往是双风扇甚至三风扇的长卡，加上供电接口突出，对机箱宽度、长度都有要求。更关键的是，本地 AI 很多时候是长期挂着跑批处理任务，机箱风道如果不行，热量堆积后显卡自动降频，跑着跑着速度掉下来，还不如一开始就选散热好一点的型号或加装辅助风扇。3.3 二手市场的鉴别要点和实操建议预算有限的朋友大概率会考虑二手渠道，这没有问题，但一定要把鉴别流程走完整。大显存老卡有一部分来源是企业拆机卡或机房淘汰卡，长期高负载运行后，显存和散热模块的老化程度各不相同，盲买就是赌运气。我的建议是，优先找个人自用卡且能提供原始购买记录和保修信息的卖家，其次找支持七天无理由退货的平台店铺。到手之后做三件事：一是检查外观，重点看背板螺丝是否有拆修痕迹，散热鳍片是否积灰严重；二是用 GPU 压力工具连续满载跑半小时，观察温度曲线和频率是否稳定，有没有出现降频后回不来的情况；三是在实际推理任务里跑一个固定长度的模型对话，确认显存没有报错、速度不掉得离谱。还有一点很多人忽略：到手后更新驱动，并记录默认频率。如果发现卖家已经在 BIOS 层面修改过功耗或频率，建议谨慎考虑，因为你不知道之前承受过多高负载的“健康状况”。4. 常见问题与排查技巧实录本地部署 AI 这件事，踩坑是常态。这里整理几个我在实际使用中反复遇到的典型问题，每个都附上排查思路和处理办法，做成了速查风格，方便你遇到问题时直接对照。典型问题可能原因建议处理加载模型时提示显存不足模型精度过高或上下文设置太大换用更低精度量化版本，或调低上下文长度，开启推理引擎的显存优化选项模型能加载但生成速度极慢显存带宽不足，或模型部分参数被换出到内存关闭后台占用显存的其他程序，降低上下文长度，或更换带宽更高的显卡运行一段时间后速度突然下降显存温度过高触发降频保护检查机箱风道、清理积灰，用温度监控软件查看热点温度是否超过安全范围频繁黑屏或驱动崩溃电源供电不足，或驱动版本不稳定确认 +12V 输出余量，更新到稳定版驱动，避免使用转接线长期满载双卡模式下两卡负载不均模型并行策略设置不当，或卡间互联带宽瓶颈检查推理框架的并行参数，优先使用同一型号的卡组双卡4.1 显存溢出：量化位数和上下文的平衡“显存不足”这个问题，问题不一定出在显卡上，很多是模型精度和上下文长度设置造成的。7B 模型用 FP16 跑要 14GB 显存，实际部署时用 INT4 量化立刻就降到 4GB 级别，这就是量化的作用。但量化不是越低越好。INT4 精度在部分任务上确实会有肉眼可见的质量损失，尤其是逻辑推理和长文本生成。我的自定义排查顺序是这样：先量化降一档，观察生成质量是否可接受；如果质量下降明显，再考虑降低上下文长度，因为上下文占用的显存随对话长度线性增长。判断的标准可以定量一些。打开任务管理器或推理引擎的日志，记录最大显存占用。只要峰值占用离可用显存留出 15% 左右的余量，基本就能稳定长期运行。强行拉满显存，看着能跑，实际运行一段时间就会因为内存碎片或缓存问题崩溃，得不偿失。4.2 速度忽快忽慢：注意力应该放在温度和后台任务上有不少人遇到过类似场景：同一个模型，今天速度正常，明天突然慢了一半，查了半天不知道原因。这种“薛定谔的推理速度”，大部分情况下和显卡温度以及后台任务有关。显卡温度过高触发降频后，整卡性能会断崖式下降。核心看两个数值：GPU 核心热点温度和显存温度。显存温度过高时，推理速度受带宽降频影响最明显，但这部分温度在很多监控软件里默认不显示，需要手动打开。后台任务也是个容易被忽视的因素。本地模型推理时 GPU 占用并不总是 100%，很多推理引擎是间歇性突发的。如果后台有视频渲染、浏览器硬件加速等任务在抢显存和带宽，模型速度就会时快时慢。跑批处理时尽量关掉不必要的图形界面和渲染任务，实测能稳定不少。4.3 要不要“等下一代”：产品的思路可作为辅助参考每次选卡都会有人在群里问，要不要等下一代显卡。这个问题的答案，取决于你当前的痛点是否紧急。如果你现在连模型都跑不动，每次运行都要卡在显存溢出边缘，那再等半年的成本就已经产生了，不如先按预算选一个足够解决当前问题的配置。如果你现有的配置只是慢一点但能跑，没有什么时间压力，那等一等倒也无妨。不过要提醒一下消费预期的管理：显卡迭代的幅度不是年年都明显，而且新卡上市初期的价格往往偏高，“等新款”的隐形机会成本并不低。从实用角度看，按照“当前想跑的模型+未来半年想跑更大的模型”来确定显存目标，比永远等未发布的新品要靠谱得多。5. 最后分享几条选卡时的真实体会这几条体会是这些年里被反复验证过的，当作总结性的建议放在这里。第一，先算显存账，再谈预算。把你想跑的模型精度、上下文长度、分辨率档位列出来，用前面说的公式算一遍最低显存需求，然后在这个基础上加 20% 余量。这笔账不花十分钟，但能帮你直接过滤掉一半以上的选项。第二，买二手卡，一定要把测试流程走完再确认收货。不要只看外观和跑分，真正用推理任务实测半个小时，看温度曲线和显存是否稳定。这条流程虽然麻烦，但能避免后续几个星期的折腾。第三，配置软件环境预留时间。显卡选对了，软件部署同样需要耐心。第一次跑模型时，先把驱动更新到稳定版，再对照官方文档或社区方案一步步装推理环境。很多人最后不是卡在硬件上，而是卡在没有耐心读文档这一步。第四，有一个实用的小技巧：正式决定前，用候选显卡跑一个固定的模型测试脚本，记录显存占用峰值和生成速度。这个数据比任何参数表都更诚实。不同的卡实际表现差异可能非常大，只有自己跑过一遍，才知道钱花得值不值。本地部署 AI 的门槛正在不断降低，但选卡这件事短期内还是绕不开的经验活。希望这篇文章能帮你建立一套自己的判断框架，不再被涨涨跌跌的价格表牵着走。