横评 5 大 AI 决策模型8B 开源黑马几乎逆袭 Jev付费墙还能撑多久【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev2026 年 9 月TypeSafe AI 前 OpenAI 研究员 Diogo Almeida 发布 System One 决策模型 Jev一夜之间引爆社区不逐 Token 生成文本只对预定义选项输出带概率的判断端到端 70–500 毫秒输入定价每百万 Token 0.042 美元、输出 Token 直接标注免费太便宜不值得计量。不到两周OpenAI 推出 Decisions API 正面竞争国产 StartLux-Decision 宣布38 项基准中 31 项高于 Jev 1.13CSDN 与头条上的解读文章以每周十几篇的速度刷屏。当一个不做生成的模型突然成为全行业对标物时最值得做的不是跟着喊革命而是把各家模型放到同一把尺子下量一遍——这正是 openjev 这个开源仓库在做的事它把 JevBench 官方评测协议原样搬回来在完全公开的 231 道题上对 Jev 1.13 与多个开源替代方案做了同口径横评并把每个数字背后的训练数据边界、注入攻击脆弱性全部如实披露。本文基于该仓库的实测数据与全网情报还原这场横评并试着回答那个所有人都在问的问题付费墙还能撑多久横评前提决策模型到底在解决什么问题Jev 所属的 System One 类别命名源自 Kahneman《思考快与慢》中的系统 1——快速、直觉、低耗能的判断。这类模型放弃了字符串生成能力换来四个交换条件极快速度、极低成本、零类型错误、校准过的置信度。社区里流传最广的案例是用它搜航班 8 次表单操作 7.1 秒、成本 0.0039 美元有人把它接进驾驶模拟器每 50 毫秒一个决策循环接近人类反应速度。其 API 形态是三条原语——noul是非、choice多选、score评分输入一段非结构化 state 加若干 questions输出每个选项的概率分布。openjev 对这个赛道的理解很直接一个 3 路 NLI 蕴含分类器本身就足以完成结构化决策。在 code/openjev_decide.py 中决策被建模为每个选项变成一条 hypothesis与 state 组成 (premise, hypothesis) 对模型输出 P(entailment)再对所有选项归一化——一次前向计算一个选项不生成任何文本答案分布就是模型自己的 softmax。JevBench 的local_openjev适配器被原样接进来官方评测 harness 跑出的分数可直接与 Jev 对比。5 大模型同台231 道公开题一把尺子这场横评的基准是 JevBench v1.2 的 231 道公开题easy 48 道、standard 72 道、hard 111 道judge 层保密不计入对比。在 README.md 与 RESULTS-v5.md 中openjev 给出了同 231 题的完整对照系统easy (48)standard (72)hard (111)all publicJev 1.13闭源付费1.0000.9860.7300.866SemIfQwen3.5-4B1.0000.9860.6130.810openjev 4B v51.0000.9860.6220.814open-alternative-jev———0.74system-one-open———0.73三个信息量很大的事实浮出水面。第一easy 与 standard 层已经全面打平——48 道 easy 题全员满分72 道 standard 题只有 Jev 与 SemIf、openjev 4B v5 同时做到 98.6%其余系统在这两层就掉队。第二全部差距集中在 hard 的 111 道题上——Jev 1.13 以 0.730 领先openjev 4B v5 以 0.622 排第二梯队公开题总分 0.814 对 0.866差距 5.2 个百分点。第三参数越大越强在这条赛道上不成立SemIf 与 openjev 同属 Qwen3.5-4B 基座得分 0.810 对 0.814 只差 0.4 个百分点而更大的 DeBERTa 系开源方案 open-jev-deberta-v3-large 只有 0.52——架构选择比规模更关键。8B 开源黑马为何能逼近结构红利 诚实的差距披露社区热文中8B 开源黑马几乎逆袭的说法在 openjev 仓库里能找到可核的证据链。先看 hard 层的分族拆解这是理解黑马成色的关键hard 分族openjev 4B v5adversarial / routing_hard / trap1.00multi_hop0.72probability0.60long_policy0.58ambiguous0.57judge_hard0.53tradeoff0.50temporal_numeric0.27对抗、路由、陷阱三类题满分说明模型对状态里藏了诱导信息这类攻击天然免疫真正的短板在时间数字推理0.27与权衡判断0.50这类需要系统 2 式计算的任务上。换句话说开源模型逼近 Jev 靠的不是堆算力而是把问题重构成蕴含判断后获得的结构性优势。这种优势在 code/order_test.py 的测试里看得更清楚全部 231 道题每题问四次——原序两次、倒序、洗牌。结果同请求两次 0/231 次标签翻转且逐比特一致选项倒序最大概率变化 1.8e-7洗牌 1.2e-7。原因在 modeling_openjev.py 的实现里写得很明白每个选项独立前向、独立打分选项顺序只进入最后的归一化这是结构上的确定性而非训练出来的——对生产环境中的路由、风控、守卫这类答案顺序不能影响判断的场景这是 Jev 声称的零类型错误之外的另一个硬指标。黑马的第二个来源是小模型的效率兑现。openjev 全系列为 Qwen3.5 序列分类头3 标签 contradiction/entailment/neutral、last-token pooling、纯交叉熵训练从 0.8B 到 4B 再到 35B-A3B MoE 一应俱全。在 JevBench 之外的坚持性测试中0.8B v2s 在 RAGTruth 测试集上 AUROC 达 0.915、HaluBench 0.870、FalseQA 0.865、BullshitBench 胡言乱语检测 0.818——后者是同期对比的 ModernCE-large0.168与 openjev 4B v20.181完全不具备的能力它们会把一句无意义的话读成正常问题。用 code/eval_fincalc.py 测金融算术4B v5 达 63.2%而原始 4B 只有 31.9%——一次版本迭代把这个能力几乎翻倍。但黑马的另一面是仓库主动摊开的短板。以社区横评里最戏剧化的假冒 CEO 骗权限场景为例code/eval_security.py 复现了 Vercel fx 式 shell 命令安全审查与工具调用守卫两种角色4B v5 在 195 条生成的命令上准确率只有 0.600deny-worthy 命令只拦下 37%有 17% 被直接放行对 prompt injection 更是不设防——state 里追加一行伪造的system administrator override150 道 JevBench 题准确率从 0.833 掉到 0.467shell 集合上 deny-worthy 命令被放行的比例从 17% 飙到 85%。README 原话是基于这个模型做的守卫必须放在确定性检查旁边而不是替代它。同期对 Jev 1.13 的第三方审计报告同样存在这类失效Octomind 测试 P(block) 从 0.76 掉到 0.48openjev 选择把这个数字写进文档而不是藏起来。付费墙与开源免费性价比拉锯的三个真相把镜头拉回行业全景。Jev 的定价是输入 $0.042/MTok、输出免费官方口径同等智能水平下比前沿模型快 40–200 倍、便宜两个数量级OpenAI 随即推出 Decisions API 正面入局。开源侧2026 年 9 月 30 日 StartLux-Decision 一次性放出 0.8B/2B/4B/9B/27B 五档宣称 27B 在 Decision Index 0.2.1 上拿 63.88 分Jev 1.13 为 57.91、38 项基准 31 项领先、公开 JevBench 答对 208/231 题Jev 1.13 为 199。这条情报要拆开读评测工具与题集是第三方冻结的但跑分是厂商自测、未上榜复核且 38 项中有 14 项基准的公开训练集在其训练数据里测试题已过滤权重许可为 CC BY-NC 4.0商业使用需另行授权。相比之下openjev 的牌是MIT 许可的完整权重0.8B/2B/4B/35B-A3B 多档、官方 harness 同口径复测、以及一份把训练污染边界写到 qwen3.5-4b-nli-v5/panel_manifest.json 里的自白——v5 的混合数据明确包含 MMLU、ARC、GSM8K、HellaSwag、WinoGrande、GPQA 的 TRAIN 和 TEST 分裂因此 README 直接声明这些基准的分数对这个 checkpoint 毫无意义不予报告反之没有任何一条 JevBench 题进过训练集。把三组事实并置付费墙还能撑多久就有了可量化的回答公开题集上付费墙只剩 5 个百分点的身位4B 开源模型 0.814 对 Jev 1.13 的 0.866差距全部集中在 hard 难题层而 openjev 从 v2 到 v5 的迭代0.541 → 0.622用了不到一个版本周期——开源迭代速度正在追平闭源的护城河。但官方分数无法被开源复现JevBench 的真实总分还包含密封的 judge 层、速度与成本维度且只由维护方测量openjev 明确不声称 JevBench Score只报公开题。付费墙真正的护城河不在更聪明而在不可复现的评测体系和经过校准的置信度。部署成本的结构性差异正在反噬付费墙openjev 0.8B 可在消费级设备常驻4B 可上 SGLang 用 code/sglang_openjev/ 外部包对外服务实测 MNLI 6.5 万对、1.5–3.1 倍吞吐提升图像决策网关也已跑通 code/serving/decisions_api.py 的/v1/systemone接口8 个公开图像样例 7/8 判断正确。当决策本身成为可以白嫖的公共品时付费墙的卖点只剩托管、校准与服务化——而这恰恰是 2026 年 9 月底 OpenAI、AWS、Cloudflare、Perplexity 集体入场时各自押注的同一块地盘。结论决策模型的下一战不在准确率在可相信横评到最后真正值得记住的并不是 0.814 对 0.866 这 5 个百分点的差距而是 openjev 示范的评测伦理把每一条 JevBench 题的出处、每个基准的训练数据边界、每次注入攻击的失败率全部写成文档。8B 级开源模型之所以能几乎逆袭靠的是把决策重构成蕴含判断的结构红利、多档位可落地的部署弹性、以及小模型在坚持性任务上的意外强势而 Jev 之所以还坐在王座上靠的也不只是速度是官方分数里那道开源的复现不了的密封层。付费墙能撑多久取决于开源阵营接下来能不能把校准和可审计这两件事也做成开源的——到那一天决策模型的战争才算真正开始。【免费下载链接】openjev项目地址: https://ai.gitcode.com/hf_mirrors/AlexWortega/openjev创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考