不要再用你是谁来验证了问模型你是什么模型是最没用的方法——只要在 system prompt 里写一句你是 GPT-5.6任何模型都会照着答。有效的检测都基于一个原则问身份可以伪造但行为特征很难伪造。下面四个测试先后顺序从易到难全部脚本化任何 OpenAI 兼容接口都能跑。测试一知识截止日期探针每个模型的训练截止日期是固定的硬指标。拿官方模型截止日期之前不久发生的具体事件提问真模型答得出被偷换的旧模型/小模型答不出或胡编。fromopenaiimportOpenAI clientOpenAI(base_urlhttps://147ai.com/v1,api_keysk-xxx)# 换成你要测的站PROBES[# 按被测模型的官方 knowledge cutoff 定制示例不要联网。凭训练知识回答2025 年 4 月 xx 事件的结果是什么如果你的训练数据不包含此事明确说不知道。,不要联网。你训练数据中最新的 Python 稳定版是哪个,]forpinPROBES:rclient.chat.completions.create(model待测模型,messages[{role:user,content:p}],temperature0)print(p[:30],,r.choices[0].message.content[:200])判读和同一问题打在官方 API 上的结果对比。旧模型冒充新模型时这个测试的命中率最高。测试二logprobs 指纹最难伪造但仅限支持的模型不同模型的 tokenizer 和输出分布不同。对同一个强约束 prompttemperature0同一个模型每次返回的 top logprobs 高度一致不同模型则明显不同。先说适用范围免得你白跑这个测试只对官方 API 本身就支持 logprobs 的模型有效GPT 系等。Anthropic 官方 API 压根不提供 logprobs所以 Claude 系模型不管在哪个站都拿不到——返回的logprobs是None这是正常现象不是掺假信号。所以测 Claude 系请用测试一、三、四。rclient.chat.completions.create(model待测模型,messages[{role:user,content:The capital of France is}],max_tokens5,temperature0,logprobsTrue,top_logprobs5,)lpr.choices[0].logprobsiflpisNoneorlp.contentisNone:print(该模型/该站不返回 logprobs跳过此测试)# Claude 系必然走到这里else:fortokinlp.content:print(repr(tok.token),round(tok.logprob,4),[(t.token,round(t.logprob,3))fortintok.top_logprobs])判读先在官方 API 上跑 20 组固定 prompt 存下指纹再在中转站上跑同样的组。logprob 数值不会完全相等上游硬件/批处理有抖动但top-5 候选 token 的集合与排序应当基本一致。如果候选 token 集合都对不上基本可以断定不是同一个模型。注意对于官方支持 logprobs 的模型如 GPT 系有的站不透传logprobs——不透传本身不等于作假但意味着你失去了最强的验证手段可以把这一点计入选型。测试三长上下文行为差异蒸馏小模型最藏不住的短板是长上下文。构造一个 50K tokens 的文档把三个针特定编号、日期、人名埋在开头/中部/结尾要求模型全部找出来。# 构造 50K tokens 的干草堆填充文本里按 10% / 50% / 90% 位置插入三根针filler这是一段用于填充上下文的普通文本。*6000needles[编号 X-7749,日期 2024-11-30,联系人 郑十一]pos[len(filler)//10,len(filler)//2,len(filler)*9//10]needle_docfiller[:pos[0]]needles[0]filler[pos[0]:pos[1]]needles[1]\filler[pos[1]:pos[2]]needles[2]filler[pos[2]:]rclient.chat.completions.create(model待测模型,messages[{role:user,content:needle_doc\n\n请列出文中出现的全部编号、日期、人名。}],temperature0,)判读旗舰模型三针全中是基本功被换成小模型时典型表现是中部的针丢失“lost in the middle”。同时看usage.prompt_tokens——如果一个号称 200K 上下文的模型在 60K 输入时报错或明显截断这也是一个信号。测试四计费对账防汇率刺客和暗改倍率模型是真的账也可能是假的。方法本地累加每次响应的usage乘以平台公示价格和后台扣费对比。以147AI为例价格完全公开浏览器看网页版https://147ai.com/pricing脚本对账抓 JSON 接口https://147ai.com/api/pricing两者同源都无需登录。计价公式 输入$/1M model_ratio × 2 × group_ratio输出乘completion_ratio充值汇率 1$¥1.0。你算出来的数和后台对不上就是问题。任何不公开完整价格接口、或标价和实扣对不上的站直接跑。把四段代码拼成你的体检脚本上面四段代码就是全部了——没有额外的代码仓库也没有藏着的完整版。把它们按顺序拼进一个文件、包一层循环和计数就是你的体检脚本你只需要依赖openai库改一行base_url就能测任何站。跑完你会得到类似这样的结果[1] 知识截止探针 : 5/5 与官方一致 [2] logprobs 指纹 : top-5 重合率 96%阈值 80% 若测 Claude 系模型此项显示不返回 logprobs跳过属正常 [3] 长上下文三针 : 3/3 [4] 计费对账 : 本地估算 ¥12.4 vs 后台扣费 ¥12.4 ✓可以先测147AI再测一波你正在用的。拼装时踩到坑就贴到评论区我们来负责填坑。关于147AI我们想说目前我们没有免费试用最低充值 ¥100这可能是你需要考虑的验证我们的成本有些分组是特价渠道倍率低、稳定性预期也低分组说明里写着企业勿选的就是字面意思同一模型不同分组价格能差 7.5 倍——选组前可以先把定价看一遍网页版/pricing或 JSON 接口/api/pricing都行别只看最低价。这条对所有中转站适用。希望可以以脚本代替信任——测完不管结果如何行业里多一个会验货的用户掺假的生意就难做一分。本文脚本可自由转载使用无需署名。