【免费下载链接】SemIfSemantic ifs from open models, on a 3090 at home. Independent; not affiliated with Jev or TypeSafe.项目地址https://gitcode.com/gh_mirrors/op/SemIf点击查看免费下载本篇技术指南围绕 docs/RESULTS.md 展开系统解读 SemIf前身 OpenJevPhase 1 的完整评测结论开源组件能否用直接读取类型化选项 logits这一无解码接口复现 Jev 这类语义决策算子的接口模式。读者将掌握三层能力读懂质量/速度/鲁棒性三张核心实测表的数据含义理解直接 logits 与原生重排器两条技术路线的底层实现差异对照 direct.py、core.py 与 shared.py 源码以及如何在单张 RTX 3090 上复现全部 777 决策、扰动与生成对比基准。结论先行Phase 1 证明了什么Phase 1 的核心发现可浓缩为一句话开源组件完整复现了语义决策算子的接口模式——运行时判据runtime criteria、类型化选项typed options、无解码循环no decoding loop、共享状态计算shared-state computation——但尚未复现 Jev 围绕其商业服务的那套完整经济性主张。在全部被评测的基线中Qwen3.5-4B 的直接选项 logits 是最强的通用决策基线而原生 4B 重排器Qwen3-Reranker-4B更适合作为检索控制的对照物而不是通用决策的通用底座。这一结论同时写入了机器可读汇总文件 results/phase1-summary.jsonschemasemif-phase1-summary-v1该文件冻结了两个被评测模型的精确 commitQwen3.5-4B 为851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0aQwen3-Reranker-4B 为22e683669bc0f0bd69640a1354a6d0aebcfeede5亦见 manifests/models.json。被测系统与冻结评价矩阵在进入数字之前先明确被测的是什么。按 docs/METHOD.md 的界定Phase 1 对比两套系统Direct直接 logits用冻结的 Qwen3.5-4B 提示词包含状态state、判据criterion与 2~16 个带描述的选项仅做一次原生前向传播并只对固定大写答案 token 的 logits 做 softmax不解码任何 token。源码层面对应的实现是 core.py 中的DIRECT_SYSTEMRespond with only its uppercase letter与 direct.py 的_slot_ids——后者会逐个校验 A~P 选项字母是否恰好编码为单个可往返round-trip的 token防止选项边界破坏 tokenization前向传播通过logits_to_keep1只取最后位置 logitsdirect.py最终输出每条记录的probabilities、option_logits、prompt_sha256与显式声明条件化选项分数、未经校准的probability_statusdirect.py。Reranker原生重排器遵循 Qwen3-Reranker-4B 的原生 yes/no 契约把每个候选答案变成独立的 query/document 相关性命题对每个选项计算logit(yes) − logit(no)再在选项之间对这些 log-odds 做 softmax。最后一个归一化是 SemIf 自定的对比规则不属于上游重排器的校准契约。评价矩阵是先冻结后评测的提示词、ID、标签、任务语义、模型 commit 与指标在完整跑出重排器结果之前全部冻结总规模 706 行来源与用途如下详见 METHOD.md 与 evaluation-matrix.jsonl来源行数用途项目自撰authored144证据解读、规则应用、候选选择含原始与缺失证据两类用例WANLI256外部自然语言推理校验TypeSafe 公开评测子集10220 个可用用例上的分布/参考一致性Every 公开实验室工件204判断网格、检索、公司知识、组合动作策略任务类型不被折叠成一个准确率数字硬标签任务报告全分母准确率、均衡准确率、宏 F1、NLL/Brier 与来源组 bootstrap 区间检索任务报告查询级排序指标TypeSafe 行做分布对比并采用等用例宏平均避免问题数多的用例主导结果。精确的已评测 ID 冻结在 source-selection.jsonl。语义质量三张表看透直接 logits 的优势浏览器模型阶梯Browser model ladder浏览器 demo 暴露了三个设备档位详见 webgpu-demo/index.html其基础 checkpoint 在浏览器量化之前都用同一套原生 BF16 直接 logits 接口打分模型浏览器产物下载体积Authored 均衡准确率Perturbation 均衡准确率TypeSafe 子集一致性Qwen3-0.6BQ8_0639 MB0.4400.5280.407MiniCPM5-2BQ4_K_M1.56 GB0.6860.6930.637Qwen3.5-4BQ4_K_M3.01 GB0.8130.7660.845Published Jev封闭托管服务———0.883注意表格的语义边界所有权属质量数值都属于原生 BF16 checkpoint用于隔离模型能力不代表量化产物的实测质量。TypeSafe 一致性是在相同选定的 102 个公开行与 20 个用例上对四个系统做等用例宏平均。Chrome/WebGPU 操作性冒烟测试另行确认了每个列出的 GGUF 都能加载并完整走通直接路径与生成路径精确的 revision、行级预测与冒烟计时存放在 browser-model-ladder.json。通用决策基线在冻结工作负载上的全面对比含 exl3-bridge 的 27B 量化直读对照冻结工作负载指标Direct Qwen3.5-4BQwen3-Reranker-4BPublic Jev 值Authored144 行平均家族均衡准确率0.8130.625—WANLI256 行均衡准确率0.6370.522—TypeSafe 子集102 行/20 用例等用例参考一致性0.8450.5600.883Every 判断网格36 行准确率0.8060.694—Every 动作防火墙10 个动作组合动作准确率0.7000.700—直接 logits 在除动作防火墙外的所有硬标签任务上全面领先重排器。配对差异paired difference具有统计显著性authored 负载上重排器相对直接 logits 为−0.18895% 来源组 bootstrap 区间 −0.256 ~ −0.120WANLI 上为−0.115−0.184 ~ −0.044。在这些冻结总体内通用决策差距明显大于采样噪声——该配对检验由 evaluate.py 的paired_comparison实现同一来源组抽取、按家族分层、1000 次 bootstrap、种子 217两个系统共享完全相同的抽样单元保证差异只能来自模型本身而非抽样结构。概率质量差距仍在切勿过度解读直接 logits 与 TypeSafe 公开 Jev 数值在模态一致性上相差3.8 个百分点0.845 vs 0.883。这值得关注但不能据此宣称接近 Jev 能力原因在原文档中列得很清楚样本小且经过选择Jev 并非由本项目亲自运行一致性只是单一指标概率质量仍然存在差异。后者的量化证据是总变差距离total-variation distance来自 phase1-summary.json系统与公开目标分布的 TV 距离Direct Qwen3.5-4B0.177Published Jev0.127Reranker0.444在 Every 的两个检索任务上两套系统都是 MRR 1.0 且 Recall1 相同代码检索 1.000、公司知识 0.929。重排器较低的行级二元准确率0.542 与 0.843反映的是未校准的决策阈值其排序能力是完好的——这正是检索排序与通用决策准确率必须分开评估的原因也是 METHOD.md 解释规则中重排器预计在排序上最强其分类阈值指标不应与排序质量混淆的直接体现。鲁棒性与置信度扰动实验的诚实结果在 36 个自撰基础用例上直接 logits 的平均家族均衡准确率为0.723重排器为0.530。对每个用例生成三种保义meaning-preserving变体稳定性在按语义选项 ID 对齐概率后测量扰动构建见 build_perturbations.py报告重建见 evaluate_perturbations.py变体Direct 准确率Direct flipsReranker 准确率Reranker flips选项反转option reversal0.813100.4982判据包装criterion wrapper0.70690.6479无关上下文irrelevant context0.82140.56313两个关键观察直接模型的选项顺序翻转值得警惕。尽管变体准确率仍然较高但 36 例中有 10 例因调换选项显示顺序而翻转 argmax——位置措辞与概率漂移问题并未解决。重排器在几乎所有用例上因构造而天然顺序不变但在决策本身错误的地方这种稳定性没有价值。分数不能当作可操作校准。在 36 行的缺失证据missing-evidence集上两个系统各做出了一次置信度高于 0.8 却选择非insufficient的错误决策。也就是说直接 logits 的分数不能视为 Jev 式的可操作校准置信度。这与 docs/CALIBRATION.md 的发现一致WANLI 上原始 ECE 高达 0.208说明模型高置信但正确率仅约 64%必须按工作负载做温度缩放WANLI 拟合 T≈2.50 后 ECE 降至 0.069才能真正支撑自动决策/人工复核门控。系统级基准输出路径成本与共享状态复用直接读 vs 紧凑生成数组5.2× 的路径成本差在同一冻结模型、同一自有状态、同一 21 个二元判据、单张 RTX 3090 上的聚焦对比中并行直接读一次性返回 21 个概率对中位耗时1.023 秒生成 0 个答案 token最强的有效朴素基线只要求生成一个有序的yes/no字符串 JSON 数组中位耗时5.332 秒含 0.489 秒的首 token 延迟产出 111 个 token。三次运行的数组全部合法且完全一致与直接 argmax 在 21 个判据中的 18 个上一致。这隔离的是输出路径成本并不把两种读法视为语义等价decision_vs_generation.py 中compact_messages展示了该基线的精确提示词仅要求按给定顺序返回每个判据一个小写 yes/no禁止键、置信度、markdown 或解释。精确的提示词、输出与 token 时间线均提交于 decision-vs-compact-array.json运行时比5.212×generation/direct记录在 phase1-summary.json 的decision_vs_compact_generation21块中。更严格的 minified 数组一次诚实的失败一个更苛刻的请求无空白的压缩数组也被测试了模型在三次运行中都把值重复到超出要求的 21 项并撞上 128-token 上限因此被记为失败而不是用来拉高速度比。早期冗长的 21 键置信度对象对比1.066 秒 vs 18.229 秒仍保留在 decision-vs-verbose-json.json但已不再是头条基线。这种失败的基线也如实记录的做法贯穿整个仓库正是可复现评测的应有姿态。777 决策状态预填充与并行后缀的收益37 个状态 × 21 个固定二元判据构成 777 个决策的自有负载状态约 8,000 字符专门压测重复上下文计算。该负载只匹配公开 Every/Jev 演示的计数几何37×21不包含其未公开的文档、token 长度、硬件、API 路径或模型因此是系统级测量不是 Jev 正面对决基准。最终的单卡 RTX 3090 测量记录在 results/phase1-summary.json模式Wall timeDecisions/sState p50Argmax drift vs 基准Directfresh batch 1333.1 s2.338.99 s基准Directserial state-prefix72.3 s10.751.93 s5/777Directparallel suffixes38.8 s20.031.05 s6/777Rerankerpair batch 1417.3 s1.8611.28 s基准Rerankerpair batch 4441.7 s1.7611.94 s51/777Rerankerpair batch 8435.2 s1.7911.76 s54/777解读要点共享状态复用是最大赢家从 fresh 2.33 decisions/s 提升到并行后缀 20.03 decisions/s8.6 倍。实现上shared.py 的score_shared要求所有行共享同一个精确状态先做一次状态预填充_state_prefix在证据边界处切出前缀再用_suffix_layout构造各判据的并行后缀、注意力掩码与位置编码shared.py。重排器两次完整的状态/判据/选项评估才能做一次二元决策yes/no 各一次普通配对批处理既没有回收重复状态计算、也没有改善吞吐且批形状改变了 51~54 个接近 BF16 的决策——服务端配置本身就是被测系统的一部分。快速复用路径是实验性的BF16 执行相对 fresh 打分翻转了 5~6/777 个 argmax这正是 METHOD.md 解释规则中前缀缓存加速是实现层面的结果而非关于 Jev 公开架构的证据的注脚。时序范围明确phase1-summary.jsontiming_scope预热加载的 BF16 模型包含提示词构造/tokenization、传输、前向与 CPU 读回排除模型加载与结果文件写出。峰值显存从 direct fresh 的 8.89 GB 到并行后缀的 11.61 GB单张 3090 完全可承载。这些数值不能直接除以 TypeSafe 公布的端到端服务延迟模型、输入、kernel、端点开销与硬件全部不同。评测框架与方法学细节见 docs/METHOD.md。复现路径与证据链仓库提交了精确的速度负载、基准运行器、行级模型输出与来源选择 ID模型权重与无再分发授权的第三方记录保持在上游。核心复现命令完整版见 benchmarks/README.md 与 docs/REPRODUCE.md# 1) 紧凑生成对比三次预热测量首个 21 行共享状态组 CUDA_VISIBLE_DEVICES0 python benchmarks/decision_vs_generation.py \ --model Qwen/Qwen3.5-4B \ --revision 851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a \ --input benchmarks/data/shape777.jsonl \ --output compact-array-run.json # 2) 完整 37×21 777 决策fresh / serial prefix / parallel shared CUDA_VISIBLE_DEVICES0 python benchmarks/shape777.py \ --model Qwen/Qwen3.5-4B \ --revision 851bf6e806efd8d0a36b00ddf55e13ccb7b8cd0a \ --input benchmarks/data/shape777.jsonl \ --output shape777-run.json # 3) 原生重排器pair batch 1/4/8 CUDA_VISIBLE_DEVICES0 python benchmarks/shape777_reranker.py \ --model Qwen/Qwen3-Reranker-4B \ --revision 22e683669bc0f0bd69640a1354a6d0aebcfeede5 \ --input benchmarks/data/shape777.jsonl \ --pair-batch-sizes 1,4,8 \ --output shape777-reranker-run.json # 4) 扰动负载确定性重建 报告复算应与提交物逐字节一致 python benchmarks/build_perturbations.py \ --source benchmarks/data/authored144.jsonl \ --output perturbations108.jsonl \ --manifest perturbations108-manifest.json # 5) 校验整个已提交证据包 (cd results/raw sha256sum -c SHA256SUMS) python benchmarks/verify_published.py关键配套证据文件负载 shape777.jsonl6.7 MBSHA-2568dcf414b12fc2684e3c4ca5f3ebfd3f525f5346fec4a9bc67eb65138101f55f1、自撰标签负载 authored144.jsonl、行级预测目录 results/raw/predictions/、聚合报告 quality-comparison.json 与 perturbation-comparison.json。verify_published.py会核对phase1-summary.json中 69 个已发布标量与上述报告的一致性但刻意不要求 GPU 重跑的字节级一致——BF16/kernel 差异可能改变临界概率或选择因此把行数、schema、来源哈希与校验和当作精确验收标准而把时序与模型输出当作与已提交行级证据对比的测量值。环境前提Python 3.10、CUDA、可容纳 4B BF16 的单 GPU或 llama.cpp/Apple Silicon 后端见 README.md 与 docs/APPLE_SILICON.md。什么被复现、什么没有claim boundaries已复现自然语言状态与判据直接映射为类型化选项分数无解析器、无答案生成循环运行时定义的问题而非固定任务分类头一条具体的跨决策共享状态复用路径8.6× 吞吐提升4B 参数规模下强大的开源语义基线。未复现或未确立Jev 未公开的架构及其声称的并行采样器RLCD 训练训练数据与足够精确的算法规格均不公开可用于操作阈值的校准概率WANLI 上必须按负载做温度缩放才有可用工作点且 CALIBRATION.md 明确 pooled 温度对照在样本量下尚不能证明显著更差Terra 级或前沿级的通用语义能力TypeSafe 在等价负载与同等服务栈上宣传的延迟/成本TypeSafe 完整 711 行基准或一个独立运营的 Jev 端点。由此推演出的下一步方向也非常明确针对决策语义与校准做定向训练并以这些冻结基线为裁判前提是先扩充外部金标任务并定义留出的可操作校准目标。原文档特别强调一个通用重排器微调会答错问题——因为 Phase 1 已经用配对 bootstrap 证明重排器在通用决策上的差距−0.188、−0.115不是采样噪声而检索排序与决策准确率必须分开优化。若想快速上手体验这套接口模式本身可直接在浏览器中运行 webgpu-demo/index.html或通过semif-score --mode direct/serial/shared/rerankerexamples/decisions.jsonl在本地单卡上复现。赞分享【免费下载链接】SemIfSemantic ifs from open models, on a 3090 at home. Independent; not affiliated with Jev or TypeSafe.项目地址https://gitcode.com/gh_mirrors/op/SemIf点击查看免费下载相关推荐SemIf 复现指南在单张 RTX 3090 上精确复现 4B 语义决策Semantic Ifs的全部基准证据SemIf 复现指南在单张 RTX 3090 上精确复现 4B 语义决策Semantic Ifs的全部基准证据 本指南基于仓库中的 docs/REPRODData-Science-For-Beginners 数据科学生命周期用 Pandas 完成“Analyzing”阶段的探索性数据分析实战指南Data Science For Beginners 数据科学生命周期用 Pandas 完成“Analyzing”阶段的探索性数据分析实战指南 本篇指南基于实测RTX 3090上200视觉模型性能对决谁才是速度与效率之王实测RTX 3090上200视觉模型性能对决谁才是速度与效率之王 你是否还在为选择合适的图像模型而烦恼推理速度慢、显存占用高这些问题是否一直困扰着你人工智能计算机视觉深度学习预训练创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考