1. 从57种到120多种这个数字变化背后藏着什么第一次看到AI芯片调查从57种写到120多种这个说法我脑子里冒出来的第一个念头不是哇芯片真多而是——为什么短短一段时间里能被统计进来的品类翻了一倍还多这个数字变化本身比任何一款具体芯片的参数都更值得琢磨。先把场景说清楚。这里说的调查指的是对市面上能买到的、能用来跑AI推理或训练的芯片品类做一次系统性盘点。57种的时候大概是两三年前的行情那时候能叫得上名字的AI加速卡、边缘计算模组、嵌入式NPU掰着手指头数得过来。而到了120多种意味着市场上突然涌进来一大批新面孔有做云端训练的、有做边缘推理的、有专门跑视觉的、有主打低功耗常开的甚至还有一堆看起来像芯片但其实是个模组的东西混在里面。这个变化对选设备的人意味着什么意味着选型这件事从一道选择题变成了一道阅读理解题。以前你只需要在几个大厂的主力型号里挑一个现在你得先搞清楚这120多种里哪些是真正适合你场景的哪些是凑数的哪些是换个封装就重新报一遍的。我自己在做边缘AI项目选型的时候就吃过这个亏。当时拿着一份供应商给的清单上面列了十几种AI加速方案我挨个查资料查了整整两天最后发现其中有一半用的是同一颗核心芯片只是板子不一样、散热不一样、接口不一样。如果一开始就有人告诉我先按核心芯片归类再看板级差异我能省下至少一天半的时间。所以这篇内容我想聊的不是哪款芯片最好——这种问题没有标准答案。我想聊的是当一份调查清单从57种膨胀到120多种的时候作为一个要选设备的人你应该看什么、按什么顺序看、哪些指标是真正决定成败的、哪些只是营销话术。适合谁看如果你正在做AI硬件选型、边缘计算设备采购、或者只是想知道为什么AI芯片突然这么多这篇内容应该能帮你理出一条清晰的思路。不需要你有很深的芯片背景我会尽量用生活化的类比把关键概念讲明白。2. 先搞清楚这120多种到底在比什么2.1 算力数字的通货膨胀TOPS为什么越来越不值钱打开任何一份AI芯片的规格书你几乎一定会看到一个数字TOPS。TOPS是每秒万亿次操作的缩写听起来很唬人但我要告诉你一个可能让你不太舒服的事实这个数字在选型时的参考价值正在快速贬值。原因很简单。第一TOPS的统计口径不统一。有的厂商算的是INT8精度下的峰值算力有的算的是INT4甚至INT2还有的把稀疏化之后的等效算力也乘进去。你拿A家的INT8 TOPS去比B家的INT4 TOPS就像拿一个人的百米冲刺速度去比另一个人的马拉松配速根本不是一个维度的事。第二峰值算力在实际运行中几乎跑不满。我实测过好几款标称几十TOPS的边缘模组跑真实的视觉检测模型时实际利用率能到30%就算不错了。瓶颈往往不在算力本身而在内存带宽、数据搬运、算子支持度这些看不见的地方。提示看到TOPS数字时先问三个问题——什么精度下的稠密还是稀疏实测能跑出多少如果规格书只给一个孤零零的大数字没有精度标注这个数字基本可以打个问号。那应该看什么我的经验是看在目标模型上的实测帧率或吞吐而不是看峰值TOPS。比如你要跑一个目标检测模型直接问供应商或者自己测这个模型在这颗芯片上batch size等于1的时候能跑到多少FPS这个数字才是真正跟你业务挂钩的。2.2 内存和带宽被大多数人忽略的真正瓶颈如果说算力是发动机的马力那内存带宽就是油箱到发动机的油管粗细。马力再大油管细了照样跑不快。AI推理尤其是大模型推理对内存带宽的敏感度极高。因为模型权重需要从内存搬到计算单元中间的数据也要来回倒腾。很多芯片标称算力很高但内存带宽跟不上实际表现就大打折扣。我整理了一个简单的对照思路帮你在看规格时快速判断内存这块有没有坑观察项需要警惕的信号相对健康的信号内存类型只写LPDDR4不写频率明确标注LPDDR5及频率内存容量只有2GB或4GB8GB起步大模型场景16GB以上带宽标注完全不提带宽明确给出GB/s数值内存位宽遮遮掩掩不写明确标注位宽这张表不是绝对标准但能帮你快速筛掉一批参数不透明的方案。参数不透明本身就是一种信号——要么是厂商自己也没测明白要么是数字不好看不想写。2.3 功耗与散热边缘场景的隐形杀手云端芯片可以堆散热、上液冷功耗高一点无所谓。但边缘场景不一样很多设备是塞在机柜里、挂在墙上、甚至装在移动设备上的功耗和散热直接决定了这颗芯片能不能用。我见过一个典型的翻车案例某团队选了一款标称算力很漂亮的边缘模组实验室里跑得好好的结果装进密闭机箱之后连续跑两个小时就开始降频帧率直接掉了一半。拆开一看散热片小得可怜芯片温度飙到快90度。所以看功耗不能只看典型功耗这个数字要问清楚满载功耗是多少散热方案是什么在目标环境温度下能不能持续跑满如果供应商只给一个典型功耗5W却不提满载那这个5W大概率是待机或者轻载状态下的数字。2.4 软件栈成熟度决定你多久能跑通第一个Demo这是最容易被低估、但实际影响最大的一个维度。一颗芯片的硬件再好如果软件栈难用、算子支持不全、文档稀烂你的开发周期会成倍拉长。我个人的判断标准很简单从拿到设备到跑通第一个官方Demo需要多长时间如果官方提供了完整的镜像、清晰的文档、能直接跑的示例代码那通常一两天就能看到结果。如果需要自己编译内核、自己适配算子、文档还停留在两年前那做好打持久战的准备。软件栈这块要重点看几个东西推理框架支持是否支持主流的推理框架、算子覆盖度你用的模型里的算子是不是都支持、量化工具链能不能方便地把模型量化到低精度、以及社区活跃度遇到问题有没有地方问。3. 把120多种芯片归类的正确姿势3.1 按部署位置分云端、边缘、端侧三条线120多种听起来吓人但如果你按部署位置一刀切下去立刻就能分成三大类每类的选型逻辑完全不同。云端训练和推理芯片特点是算力大、功耗高、价格贵通常以板卡形式插在服务器里。这类芯片选型主要看生态和集群能力单卡参数反而是次要的。边缘计算芯片这是目前最热闹、品类最杂的一块。算力从几TOPS到上百TOPS都有功耗从几瓦到几十瓦形态有模组、有板卡、有盒子。这类芯片选型最考验人因为场景差异太大。端侧芯片指的是手机、摄像头、门禁这类终端设备里的NPU或DSP。这类芯片通常不单独售卖而是集成在SoC里选型时更多是选整个方案而不是选芯片。我自己的经验是先确定你的设备装在哪里就能砍掉一大半选项。很多人选型时纠结半天其实是因为没先想清楚部署位置。3.2 按核心架构分别被自研两个字唬住现在几乎每家都说自己自研架构但拆开看底层路线其实就那么几条。一条是通用GPU路线好处是生态成熟、开发工具丰富坏处是功耗和成本相对高。另一条是专用加速器路线针对特定算子做硬件优化能效比高但灵活性差遇到不支持的算子就麻烦。还有一条是可重构路线介于两者之间兼顾一定灵活性和能效。自研这个词本身不说明任何问题。关键要看它的指令集是不是开放的、编译器是不是成熟的、有没有第三方框架支持。一个封闭的自研架构如果只有厂商自己的工具链能用那你的迁移成本会非常高。3.3 按目标模型分先有模型再选芯片这是我最想强调的一点不要先选芯片再想模型而要先把模型定下来再选芯片。原因很简单不同模型对硬件的偏好完全不同。卷积神经网络偏爱规整的计算和大的内存带宽Transformer类模型对内存容量和带宽更敏感而一些轻量级模型则更看重低功耗常开能力。我一般会建议按这个顺序走先确定业务要跑什么模型把模型的算子列表、参数量、输入输出尺寸都列清楚然后拿着这份清单去比对芯片的算子支持表和内存容量最后再在满足条件的几款里比功耗和价格。这个顺序反过来很容易选到一颗参数好看但跑不动你的模型的芯片。4. 选设备时真正该盯住的几个硬指标4.1 实测吞吐让数据说话而不是让规格书说话规格书上的数字是厂商在最优条件下测出来的你的实际场景大概率达不到。所以能实测就实测不能实测就找第三方评测数据。实测的时候要注意几点用你自己的模型不要用厂商提供的Demo模型用你自己的输入数据分布不要用标准数据集连续跑至少半小时观察有没有降频记录实际功耗而不只是看标称值。如果实在没法实测那就退而求其次找有没有独立第三方的评测报告。注意是独立的厂商自己发的评测不算。4.2 算子覆盖率你的模型能不能跑起来这个指标直接决定能不能用。我遇到过好几次芯片参数很漂亮结果模型里有个自定义算子不支持整个方案就卡住了。判断方法拿到芯片的算子支持列表跟你模型里的算子逐个比对。重点看那些不常见的算子比如某些特殊的激活函数、自定义的归一化层、非标准的池化方式。这些往往是踩坑的重灾区。如果算子不支持还要看有没有退路能不能用CPU回退回退之后性能掉多少能不能自己写算子写起来难度多大这些问题在选型阶段就要问清楚。4.3 工具链完整度从训练到部署的链路是否顺畅一条完整的链路应该是训练框架导出模型 → 转换工具转成芯片能吃的格式 → 量化工具做低精度优化 → 部署工具打包上线。这条链路上任何一环缺失或者难用都会拖慢你的进度。我评估工具链时有个土办法看官方文档里快速开始那一章有多长。如果快速开始只需要半页纸、几条命令就能跑通说明工具链做得不错。如果需要十几页、一堆前置条件、还要自己编译各种依赖那就要做好心理准备。4.4 长期供货与生态支持别选了一颗孤儿芯片这一点经常被忽略但影响深远。你选的芯片两年后还能不能买到厂商还在不在维护社区还有没有人在用我见过太多项目选了一颗当时看起来很香的芯片结果一年后厂商转向了工具链不再更新遇到问题没人管最后只能整个方案推倒重来。判断方法看厂商的产品路线图是否清晰、看这颗芯片是不是厂商的主力产品线、看社区里最近还有没有活跃讨论。如果一颗芯片发布两年了还没有任何更新或者厂商自己都不怎么提了那就要谨慎。5. 我踩过的坑和总结出的选型流程5.1 三个真实的踩坑经历第一个坑被TOPS数字带偏。早期选型时我下意识地觉得TOPS越高越好选了一颗标称算力最高的。结果实际跑起来因为内存带宽不够性能还不如另一颗标称算力只有它一半的芯片。从那以后我看规格先看内存带宽再看算力。第二个坑忽略软件栈。有一次选了一颗硬件参数很合适的芯片结果工具链极其难用模型转换各种报错光是把模型跑起来就花了两周。后来换了一颗参数稍弱但工具链成熟的芯片两天就跑通了。硬件省下的时间全被软件吃回去了。第三个坑没考虑散热。前面提过的那个降频案例就是我自己经历的。实验室环境温度25度跑得好好的装进设备后环境温度到45度直接降频。后来重新选了功耗更低的方案虽然算力低了一点但胜在稳定。5.2 我现在用的选型流程经过这些坑之后我总结了一套自己的选型流程分享出来供参考第一步明确场景约束。部署位置在哪、环境温度多少、供电条件如何、设备体积多大。这些硬约束先列出来能直接筛掉一批不合适的。第二步确定目标模型。把要跑的模型定下来列出算子清单、参数量、精度要求。第三步初筛芯片。按部署位置和功耗约束初筛得到一批候选。第四步比对算子支持。拿模型算子清单去比对筛掉不支持的。第五步评估软件栈。看文档、看示例、看社区评估开发难度。第六步实测验证。能实测就实测重点看吞吐、延迟、功耗、稳定性。第七步考察长期支持。看厂商路线图、产品生命周期、社区活跃度。这套流程走下来虽然不能保证选到最好的芯片但能大概率避开那些明显的坑。5.3 给不同场景的选型建议最后按场景给几条具体建议。如果你是做视觉检测类应用优先看算子支持度和工具链成熟度算力中等即可因为视觉模型通常对算力要求没那么极端但对稳定性和开发效率要求高。如果你是做大模型推理内存容量和带宽是第一优先级算力反而其次。大模型是典型的内存墙场景带宽不够算力再高也白搭。如果你是做低功耗常开场景比如智能门锁、电池供电的摄像头那功耗和待机唤醒能力是核心算力够用就行。如果你是做多路视频分析那要看芯片的视频编解码能力和多路并行处理能力单看算力数字会误导你。选型这件事没有银弹120多种芯片里也没有哪一款能通吃所有场景。关键是先把自己的需求想清楚然后按约束条件一步步筛而不是被规格书上的大数字牵着走。我在实际项目里最大的体会就是那些看起来参数最漂亮的方案往往不是最终落地的方案真正能跑得稳、开发顺、维护省心的才是好方案。