1《三年面试五年模拟》AIGC / LLM / AI Agent 算法工程师与开发工程师求职面试秘籍独家资源见 WeThinkIn/AIGC-Interview-Book欢迎 Star2AIGC / LLM / AI Agent 算法岗与开发岗求职面试内推学习社群涵盖 AIGC、LLM 大模型、AI Agent、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、强化学习、大数据挖掘、具身智能、元宇宙、AGI 等方向的最新面试干货与核心知识欢迎加入(https://t.zsxq.com/DZRng)论文标题Open-Jev Judgments on CallScreenBench: Calibrated One-Pass Scam Screening with a Small Language Model论文作者Scam.aiReality Inc.通讯作者Simiao Ren发表时间2026年9月21日目录一、Jev与开源复现的来龙去脉二、同一解码器的三种读出方式三、LoRA配方、辅助意图问题与温度缩放四、CallScreenBench留出集对照表五、挂断规则回放与64.5毫秒延迟六、配方消融、鲁棒性与论文的诚实声明七、JevLite本地训练与推理实践八、总结与思考本文要点1JevLite是Scam.ai团队用Qwen3-4B加LoRA复现的Jev式类型化决策读出一次前向只读A、B两个答案标签的logit温度缩放softmax后直接当P(scam)全程不生成文本。2在41个留出CallScreenBench场景、577次逐轮决策上三种子集成AUROC0.974ECE 0.052相对MiniMax-M3判官在预注册0.02边界下非劣合法来电零误报同一挂断规则下平均早1.14轮做出决策。3单张RTX 3090上每次决策64.5毫秒比同骨架生成JSON答案的微调版快4.9倍同一通电话上每追加一个问题只多21.8毫秒。4论文自己说清了短板收益在读出方式和校准微调ModernBERT编码器没有显著更差配方选择时接触过测试集所有来电者都是合成的不主张架构新颖性。5文末按论文方法节整理LoRA配置、CE加Brier损失、温度拟合和transformers最小读出代码。2026年9月21日Scam.ai团队把一篇十三页的论文挂上arXiv编号2609.23959。我把HTML版、PDF版和参考文献里几个开源Jev复现仓库对了一遍数字以论文表2、表3、表4为准。论文承诺发布代码、LoRA适配器和82通测试电话截稿时还没有公开仓库。题目里的Open-Jev要先说清。这篇论文没有调用TypeSafe AI的Jev本体只是借它的接口形状在开源小模型Qwen3-4B上复现了同一种读出方式取名JevLite然后拿去做诈骗电话逐轮筛查。结果是41个留出场景、577次逐轮决策上三种子集成AUROC0.974校准误差0.052合法来电零误报单张RTX 3090每次决策64.5毫秒。论文在摘要末尾自己补了一句收益在读出和校准准确率上一个微调过的ModernBERT编码器没有显著更差。一、Jev与开源复现的来龙去脉Jev是TypeSafe AI于2026年9月15日发布的决策模型公司叫它System One模型。创始人Diogo Almeida此前在OpenAI做研究公司拿了DCVC领投的4000万美元种子轮。Jev不生成文本输入一段state和若干事先声明类型的问题一次前向并行返回每个问题的答案和概率分布。问题类型有三种原语。Noul回答是非返回一个0到1的概率Choice在声明的选项里挑一个返回每个选项的概率和一个置信度Score在有序等级上打分。定价是输入每百万token 0.042美元输出免费官方给的延迟区间是70到500毫秒。模型是闭源的。TypeSafe在博客里提到新架构、并行采样器和一种叫RLCD的训练方法这几样都没有论文。这篇论文的相关工作一节写得直白截稿时不存在任何对Jev的独立评测。开源社区很快动手复现接口。论文引了五个仓库SemIf和openjev-sglang在冻结解码器上做前缀读出Bespoke Nimble微调解码器Laya用编码器。mini-Jev的结论是读答案字母的效果和语法约束JSON相当让模型自己写概率数字则会塌掉。这些仓库都没有在诈骗电话上评测过也没有报告逐轮校准。这就是这篇论文的位置。作者在Scam.ai做电话反诈手里有自己的CallScreenBench基准和上万通蜜罐真实来电他们想知道Jev这种接口是否适合逐轮、毫秒级、要给出可信概率的来电筛查。论文明说不主张任何架构新颖性贡献在应用和评测口径。二、同一解码器的三种读出方式论文表1把三种读法并排放在一起权重、转录文本渲染和问题都一样都是Qwen3-4B加LoRA只有损失目标、读取位置和是否解码不同。第一种是先前诈骗电话工作的做法对整段JSON答案做下一token损失推理时逐token生成{scam: yes}再解析。每个输出token一次前向大约8次。输出是自由文本可能格式错误也没有概率答案里写的数字只是更多的生成文本。第二种用同一套权重推理时把前缀{scam: 强制喂进去读下一token分布里yes和no两个token的概率重归一化后再做温度缩放。这就是ShieldGemma公开自己分数的方式。只要一次前向但训练目标从没直接对准过这个分布。第三种是JevLite也就是Jev那条路。选项声明成单token标签A和B损失只加在这两个标签的logit上在允许标签内做softmax用交叉熵加Brier分数训练。训练的量和读出的量是同一个量一次前向输出在构造上只能落在声明的选项里校准本身就是目标的一部分。读出公式很简单取最后一个位置上标签token的logit除以温度T只在允许的K个标签上做softmax。主问题里K等于2P(scam)就是A的概率。提示词见附录A转录文本一行一句前缀是Caller和Secretary问题是这位来电者是在对被叫者实施诈骗或欺诈而非合法来电答案只写一个字母。三、LoRA配方、辅助意图问题与温度缩放训练细节集中在方法节和附录A。LoRA秩16alpha 32dropout 0.05挂在Qwen3-4B所有注意力和MLP投影上。有效批大小16每卡4条乘4步梯度累积20步预热后线性衰减bf16权重与激活标签logit用fp32读出最大长度2048训练一轮学习率5e-5。训练样本的构造方式值得单独说。训练通话里每个来电者回合结束时的前缀都是一条样本标签用整通电话的真值。模型因此学的是拿眼下已有的证据答题这和推理时逐轮重问是一致的。另外加了两个辅助意图问题。一个问来电者是否推销自己的回拨渠道或劝阻独立核实一个问是否索要PIN、一次性验证码这类秘密。标签由MiniMax-M3当教师在训练集和验证集前缀上打出来教师概率在0.3到0.7之间的样本丢掉。真值为合法的灰色场景损失权重给2。温度T每个模型一个在验证集前缀上最小化负对数似然拟合。训练时T固定为1。作者训了三个只有种子不同的模型把各自温度缩放后的P(scam)取平均表2里的JevLite指的就是这个三种子集成。三个种子的logit相关系数在0.987以上AUROC落在0.969到0.977之间。论文写明真实部署会用单模型所有延迟数字都是单模型的。同一通电话上的多个问题共享转录前缀前缀编码一次缓存起来每个问题只追加自己的短后缀。数据来自CallScreenBench的48个核心场景24个诈骗、15个合法、9个灰色灰色场景有指定的一侧真值。按场景切成40个训练、8个验证对应3187和650条逐轮决策。验证集很小论文里所有温度和阈值都压在这650条上。测试集是另外41个只用于评测的场景用基准自带的来电者MiniMax-Text-01和两个脚本化秘书各生成一通一个拖延一个顺从共82通电话、577次回合末决策。测试场景没有在训练或验证里出现过但18个测试原型全部在训练里出现过。论文说这是同一批诈骗原型的新实例没有留出整个原型。四、CallScreenBench留出集对照表先把论文表2里的数放到一起。除JevLite外其余都是单模型。ECE用十个等宽箱Brier乘100延迟是单卡RTX 3090批大小1的中位数判官那一栏是8并发下的远程API墙钟时间每次决策大约108个推理token。系统AUROC(%)准确率(%)ECE(%)↓Brier(×100)↓合法来电准确率(%)p50延迟(ms)JevLite三种子集成97.492.75.26.1100.064.5LLM判官MiniMax-M394.787.05.49.582.31946APIModernBERT-large93.888.92.78.2100.029.7ModernBERT加辅助头94.890.64.26.9100.014.0Qwen3生成式微调解析标签87.589.210.710.7100.0317Qwen3生成式微调标签token读出95.089.25.08.1100.0未单独计时零样本Qwen3-4B69.155.117.028.090.264.5三个单种子的平均是AUROC 97.2、准确率92.3、ECE 4.7、Brier 6.3。两栏Qwen3生成式微调是同一个模型的两种读法。两个编码器延迟差一倍多论文注明是在不同主机负载下分开测的架构完全一样。微调读出是这件事能成的原因。JevLite比零样本读出的同一骨架高出28.3个百分点AUROC区间18.6到39.2。零样本Qwen3-4B的ECE是17.0论文的说法是没为这种读出训练过的模型答案概率很自信但不可靠。对判官的配对差是加2.7个百分点区间从负1.1到6.5。下界在负2的边界上方0.9个百分点所以是非劣没有更好。三个单种子分别是加3.1、2.3、2.4全都过线其中两个只多出千分之几部署单模型的话就踩在判据边上。论文还提醒非劣只对一个判官成立而MiniMax-M3属于写这批电话、又打辅助标签的同一个模型家族。对编码器的配对差是加3.6区间负0.9到11.4不显著。对加了辅助头的编码器是加2.6区间负2.3到10.5这才是公平比较因为它看到了同样的教师标签。校准上JevLite和判官差不多ECE配对差负0.002把判官也在验证集上做温度缩放后判官ECE到4.9Brier 9.6差值仍不显著。最清楚的差别在合法来电上。JevLite和两个编码器把所有合法来电的决策都判对了判官只判对82.3%配对差17.7个百分点区间0.8到36.0。这是对判官的所有配对差里唯一一个区间不含零的但它只压在12个场景上论文自己把它标成探索性结果。灰色来电上判官更好可灰色/合法只有3个场景灰色/诈骗5个差异都不显著。五、挂断规则回放与64.5毫秒延迟为了展示筛查器实际会怎么做论文回放了一条候选规则连续两个来电者回合P(scam)都过阈值就挂断。阈值在验证集上分别拟合JevLite是0.92判官是0.97。两套系统挂掉的诈骗侧电话差不多40对41分母都是52合法侧30通电话都没挂错。在两者都挂断的36通里JevLite平均早1.14轮做出决策区间0.55到1.67早于判官的有25通同一轮6通更晚5通。代价是少抓了一通。论文把这条规则明确写成示意不选定工作点附录D还补了一句阈值的验证最优区间很窄拟合温度变动零点零几测试集上的计数就会动。他们建议部署前在真实数据上重新拟合温度和阈值。延迟这块一次决策中位数64.5毫秒p95是110.5毫秒。和判官API比是中位数快30倍、p95快52倍但论文承认这个倍数混进了模型大小、网络排队、思维链生成和更长的提示词。同机公平的比较对象是同骨架的生成式微调它必须解码一段JSON中位数317毫秒读出方式快4.9倍。同一通电话上每多问一个问题在共享前缀上只加21.8毫秒。五个问题一起问168.7毫秒各自重新编码要321.6毫秒argmax在1500次决策里只变了6次。编码器还要快29.7毫秒但它只能回答训练时见过的问题。决策时机上第一个来电者回合结束时准确率已经到0.854第二轮到0.927。在秘书说完话之后立刻问不亏可在来电者一句话说到一半时问要付代价。只对种子0在流式前缀上评分话说一半时准确率0.888回合末是0.927掉了3.8个百分点集中在第一轮。六、配方消融、鲁棒性与论文的诚实声明表3的消融给了四行。两轮、学习率1e-4的三种子集成测试AUROC 93.4改成一轮、5e-5的单模型就到97.2加灰色权重仍是97.2但ECE从5.0跳到9.8再加意图问题成为JevLite后是97.4准确率从89.9到92.7。论文的结论是短配方拿走了几乎全部排序收益灰色权重和意图问题加的是准确率且在种子噪声之内。灰色家族的准确率只压在5个和3个场景上跨种子能差到30个百分点左右。所以所有灰色来电上的差异都不能当真。模型选择的过程是这篇论文最坦白的一段。在写下选择规则之前大约十个配方已经在测试集上打过分。规则是至少两个种子上平均测试AUROC最高且合法来电准确率不低于0.97。只有两个配方合格单种子平均0.972对0.930。因此头条配方带着测试集暴露点估计有赢家诅咒式的膨胀。鲁棒性也不完美。种子0和1平均把两个选项顺序交换会翻转2.6%的决策区间0.2到5.8。换一句训练里没见过的问题措辞会翻转5.2%30次翻转里28次朝着合法一侧。附录E点明这是可被利用的方向一个快速校准的P(scam)也是骗子调脚本的快速评分器。训练里没见过的问题上微调模型在抽取类问题上比零样本好说了具体金额加0.013给了回拨号码加0.041两者都接近上限。判断类问题反而退步紧迫感减0.062同情心减0.113。为了把微调和读出方式分开论文在基础配方上训了配对分支同骨架、同数据、同LoRA预算、同调度只有种子0不加灰色权重和意图问题。表4的结果如下。分支读出方式AUROC准确率ECE↓合法来电温度Tp50延迟(ms)A生成式微调解析标签0.8750.8920.1071.000未报告317A生成式微调口头置信度0.9140.8960.0691.000未报告与上共享解码A生成式微调标签token概率0.9500.8920.0501.0004.06与上共享解码B读出只用CE标签logit0.9700.9100.0760.9945.24约63.6B读出基础配方标签logit0.9720.8940.0501.0003.8863.6C线性分类头线性头0.9620.9270.0551.0005.1880三个结论。买到准确率的是微调本身解析标签0.892和读出0.894一样准线性分类头0.927还更高。普通微调自己给不出可信概率解析标签当0/1算ECE 0.107让它写置信度时几乎每次都写0.95或1.0排序AUROC只有0.914。第三条最有意思。把同一个普通微调用Jev的方式读从标签token取概率再配验证集温度AUROC 0.950、ECE 0.050只比专门训过这种读出的0.972低一点。它缺的是格式保证和延迟317毫秒对63.6毫秒。Brier项在两个种子上各买到一点校准排序没变。论文的总结句是这种读出是普通解码器上的一种训练和读出选择它带来有保证的输出空间、一个能用的概率和一次前向并没有带来更高的准确率。七、JevLite本地训练与推理实践论文承诺发布代码、LoRA适配器、逐决策预测和82通测试电话截稿时还没有仓库。下面的配置和代码按论文方法节与附录A整理软件版本论文给的是Python 3.12.3、torch 2.10.0cu128、transformers 4.57.6、peft 0.19.1。骨架权重在Hugging Face的Qwen/Qwen3-4B。先是LoRA配置对应论文的秩16、alpha 32、dropout 0.05、全部注意力和MLP投影。frompeftimportLoraConfig lora_cfgLoraConfig(r16,lora_alpha32,lora_dropout0.05,target_modules[q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj],task_typeCAUSAL_LM,)提示词按附录A照抄。系统消息是You are a fast, calibrated call-screening judge转录文本超过6000字符从左侧截断保证最近几轮和问题总在。SYSTEMYou are a fast, calibrated call-screening judgePROMPTPhone call transcript so far (the Secretary answers calls on the owners behalf): {transcript} Question: Is this caller attempting a scam or fraud against the person being called, rather than making a legitimate call? A: yes B: no Answer with the single letter only.训练损失只作用在A、B两个标签的logit上交叉熵加Brier训练时温度为1。灰色/合法样本权重2通过weight传进来。标签logit按论文用fp32算。importtorchimporttorch.nn.functionalasFdeftyped_decision_loss(logits,label_ids,target,weightNone):zlogits[:,-1,label_ids].float()# 最后位置上A、B两个标签的logitptorch.softmax(z,dim-1)# 训练时T1只在允许标签内归一化ceF.cross_entropy(z,target,reductionnone)onehotF.one_hot(target,z.shape[-1]).float()brier((p-onehot)**2).sum(-1)losscebrierifweightisnotNone:lossloss*weightreturnloss.mean()训练循环用普通的peft加transformers即可有效批1620步预热后线性衰减一轮学习率5e-5最大长度2048。每通训练电话的每个来电者回合前缀单独成一条样本标签用整通电话真值。两个辅助意图问题各自成一条样本问题文本换掉标签来自教师模型。温度在验证集前缀上拟合目标是负对数似然最小。论文表4给出的几个拟合值在3.88到5.24之间早先草稿把网格上限卡在5CE-only和线性头两个分支撞到了上限正式版改成不设上限的网格。fromscipy.optimizeimportminimize_scalardeffit_temperature(val_logits,val_labels):ztorch.as_tensor(val_logits,dtypetorch.float32)# 形状[N, 2]验证集标签logitytorch.as_tensor(val_labels)nlllambdaT:F.cross_entropy(z/T,y).item()returnminimize_scalar(nll,bounds(0.05,50.0),methodbounded).x推理读出是全篇最短的一段。一次前向取最后位置A、B的logit除以温度做softmaxA的概率就是P(scam)。enable_thinkingFalse是Qwen3聊天模板的开关论文没写这一项这里按逐轮筛查的用途关掉思考模式。fromtransformersimportAutoTokenizer,AutoModelForCausalLMfrompeftimportPeftModel BASE,ADAPTER,TQwen/Qwen3-4B,path/to/jevlite_lora,3.88tokAutoTokenizer.from_pretrained(BASE)modelAutoModelForCausalLM.from_pretrained(BASE,dtypetorch.bfloat16,device_mapcuda)modelPeftModel.from_pretrained(model,ADAPTER).eval()label_ids[tok.encode(x,add_special_tokensFalse)[0]forxin(A,B)]torch.no_grad()defp_scam(transcript:str)-float:messages[{role:system,content:SYSTEM},{role:user,content:PROMPT.format(transcripttranscript[-6000:])}]texttok.apply_chat_template(messages,tokenizeFalse,add_generation_promptTrue,enable_thinkingFalse)idstok(text,return_tensorspt).to(model.device)zmodel(**ids).logits[0,-1,label_ids].float()returntorch.softmax(z/T,dim-1)[0].item()逐轮筛查就是每次来电者说完一轮把新的转录前缀喂进p_scam。论文回放的规则是连续两轮P(scam)不低于阈值就挂断JevLite的阈值在验证集上拟合为0.92。这个阈值和温度都要在自己的数据上重拟合论文附录D写得很明确。多问题共享前缀那21.8毫秒靠的是把转录前缀的KV缓存留住每个问题只追加自己的问题后缀。用transformers的past_key_values可以做到论文没给实现这里不展开。八、总结与思考这篇论文做了一件很朴素的事把Jev那种一次前向读概率的接口搬到开源4B模型上在一个逐轮、毫秒级、要概率的任务里跟LLM判官、编码器和生成式微调放在同一张表上比。表上的数字不难看AUROC 0.974合法来电零误报早1.14轮挂断64.5毫秒。但作者自己给出的建议比数字更有用。固定问题就用编码器。ModernBERT一次决策14到30毫秒ECE更低排序上没有显著更差。解码器读出只在需要运行时用自然语言临时提问时才值它的价钱而论文自己没能证明任何一个运行时问题改善了筛查结果。配方选择接触过测试集这一点值得所有想复现的人先记住。单种子对判官的非劣有两个只多出千分之几换一个随机种子就可能不过线。判官和来电者、教师标签又是同一家模型非劣是对一个特定判官成立的。所有来电者都是MiniMax-Text-01合成的测试原型全部在训练里见过。论文说下一步自然是拿自家上万通蜜罐真实来电测并留出整个诈骗原型。这一步没做之前这篇论文的数字只能说明合成基准上的相对关系。对国内做反诈或客服质检的团队这篇论文有两个可以直接拿走的东西。一是读法手头已有的生成式微调模型可以不重训直接从标签token读概率再配一个验证集温度AUROC从0.875拉到0.950。二是评测口径除了AUROC把ECE、合法来电误报率和决策时机一起报出来这三项恰恰是先前诈骗电话论文普遍不报的。参考链接论文原文 arXiv 2609.23959 v12026年9月CallScreenBench基准论文 arXiv 2608.010332026年8月骨架权重 Qwen/Qwen3-4BJev官方博客 Introducing System One Models and Jev2026年9月15日Jev官方文档 docs.typesafe.ai论文引用的开源Jev复现 SemIf、openjev-sglang、Bespoke Nimble、mini-Jev、TypeSafe官方LLM适配器