从71%到96.4%用JEV-27B-VL为LLM构建幻觉守卫的完整教程【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VLJEV-27B-VL是一个 Apache-2.0 开源的 270 亿参数多模态决策模型。本教程用它为 LLM 构建一套幻觉守卫System 1 决策头在一次前向传播中逐条核验答案输出校准过的概率只放行最可信的一半答案TriviaQA 上的准确率便从71.2% 跃升到 96.4%全程零训练。⚡一、JEV-27B-VL 是什么一个带双大脑的决策模型JEV-27B-VL 基于 Qwen3.8-27B 多模态底座模型架构见 config.json叠加了一个极轻量的 System 1 决策头LoRA 适配器在 adapter_vllm/adapter_model.safetensors决策头配置在 adapter_vllm/decision_head.json提供两种工作方式模式接口输出速度System 1直觉决策POST /v1/decide是/否、2–256 选 1、0–5 评分每个选项一个校准概率约 0.1–0.3 秒System 2深思熟虑/v1/chat/completions完整 27B 多模态模型可看图、可逐步推理秒级幻觉守卫的核心正是 System 1不生成答案只给答案打一个可信度分数且这个分数是校准过的——说 80% 就约有 80% 把握文本任务期望校准误差 ECE 低至 0.0009参数见 calibration.json。二、为什么 LLM 需要一个独立的幻觉守卫让 LLM 回答 1,000 道 TriviaQA 知识问答会发生两件事它总显得很有信心全部作答时只有71.2%正确错了也不自知自我评估不可靠按模型自己声明的信心排序筛选只换来87.2%的准确率——让模型审自己的卷分数普遍偏高。结论你需要一个独立于答题过程的评判者并且它的概率必须可执行能直接拿来做阈值。这就是 JEV-27B-VL 的 System 1 擅长的。️三、96.4% 是怎么来的只答最可信的一半实验流程System 2 生成 1,000 个答案 → System 1 逐条核验这个答案是否正确kind: noul→ 按核验概率从高到低排序只输出可信度最高的一半。策略TriviaQA 准确率全部作答无守卫71.2%按模型自身声明的信心筛选87.2%System 1 核验后只答可信的一半96.4%更有价值的是概率的可用性当 System 1 给出≥0.97时答案99% 正确——你可以放心地全自动放行。看图也强多模态幻觉检测登顶文本之外在专门考察视觉幻觉识别的 VL-RewardBench1,247 组人工校验的图问答对上JEV-27B-VL 的幻觉子项得分83.2%、总体78.3%超过榜单上全部 26 个模型包括专门训练的 Skywork-VL-Reward-7B73.3%和 GPT-4o65.8%四、实战教程4 步搭好生产级幻觉守卫第 1 步一键拉起模型服务只需一张 80 GB 以上显存的 GPU。serve.sh 会用 vLLM 启动标准 OpenAI 接口并额外挂上 System 1 的/v1/decide路由由 serve_decide.py 实现hf download autotrust/JEV-27B-VL --local-dir JEV-27B-VL bash JEV-27B-VL/serve.sh # 目录不存在时会自动下载⚠️serve.sh中--max-num-seqs 8是硬性要求超过 8 条并发序列时该多模态模型的 LoRA 路径会返回错误的 System 1 概率。第 2 步用 System 2 生成答案调用/v1/chat/completions模型名填autotrust/JEV-27B-VL让模型正常回答你的问题可加enable_thinking让它逐步推理把问题 答案记录下来。第 3 步用 System 1 逐条核验对每条答案发一个noul类型决策请求即可拿到答案正确的校准概率curl localhost:8000/v1/decide -H Content-Type: application/json -d { kind: noul, state: 问题巴黎是哪个国家的首都\n模型答案加拿大。, question: 上面的答案是否正确}返回中probabilities对应[false, true]即得到 P(正确)。第 4 步用概率阈值做分流P ≥ 阈值如 0.70直接放行单次决策约 0.1 秒P 阈值升级到 System 2 深度思考或转人工复核。这套System 1 → System 2级联在公开基准上的效果70% 的问题在0.11 秒内由 System 1 直接答完整体准确率从 0.792 提升到0.892接近全部深思的 0.917速度却快了一个数量级。✅五、守卫之外同一个模型还能干什么 通用答案评委在 RewardBench2,985 组人工校验的优劣答案对上System 1 单次前向拿到89.9分高于 Gemini 1.5 Pro88.2、GPT-4o86.7、Claude 3.5 Sonnet84.2且与先思考再评判精度相当、快约 6 倍 Agent 轨迹评委判断网页 Agent 是否真的完成了任务在 AgentRewardBench 的 1,302 条专家标注轨迹上同一召回水平下精度高于榜单全部 16 个评委含 o4-mini、GPT-4oAUROC 0.91单卡 4 分钟跑完。 零样本推荐不看任何用户行为日志只读视频封面就能做短视频推荐AUC0.727追平用 59,045 名用户日志训练出的协同过滤0.728Top-5 命中率反而更高59% vs 49%六、关键文件清单文件说明serve.sh一键启动脚本vLLM /v1/decideserve_decide.pySystem 1 决策路由的服务端实现adapter_vllm/decision_head.json决策头的偏置与词表槽位定义calibration.json各决策类型的温度校准参数config.json模型架构配置Qwen3.8-27B 底座reports/demos/cu_results.json机器操作演示的逐回合结果blog/JEV-27B-VL.md项目发布说明长文LICENSEApache-2.0 协议七、注意事项与常见问题阈值要用你自己的数据验证0.70 / 0.97 都是论文参考值落到你的业务上请先跑一遍小样本校准图像决策是零样本的决策头只在文本上训练过图片任务的概率校准尚未系统性测量阈值建议更保守支持 256 个选项、256K 上下文意图分类等长尾场景可一次choice问完全部候选如 150 个意图零样本 89.5%文本决策与纯文本版 JEV-27B 完全一致1,000 条答案核验中 99.8% 落在 0.5 的同一侧。写在最后用 JEV-27B-VL 当幻觉守卫的思路很简单让会打分的 System 1 审答案让会思考的 System 2 兜底。一条bash serve.sh就能上线TriviaQA 上 71.2% → 96.4% 的跃升证明对 LLM 输出做概率分流是最划算的可靠性投资。【免费下载链接】JEV-27B-VL项目地址: https://ai.gitcode.com/hf_mirrors/autotrust/JEV-27B-VL创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考