【免费下载链接】AnyJevTurn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)项目地址https://gitcode.com/gh_mirrors/an/AnyJev点击查看免费下载AnyJev 是一个开源的 Python 决策模型库它的核心能力是把任意一个开源 LLM 变成 Jev 风格的决策模型——不需要任何训练直接从模型下一 token 的 logits 中读出类型化决策choice / noul / score和真实的概率分布。对于想接入决策能力的开发者来说整个 API 只需要理解四个对象Question问题、Decider决策管线、Decision结果以及高吞吐批量接口decide_batch。 30 秒理解 AnyJev 的四步管线AnyJev 读出一个决策只走四步提问Ask→ 轮换Shift→ 校正Correct→ 决策Decide。步骤做什么对应接口Ask把 state 类型化问题拼成一个 prompt停在答案标签的位置QuestionShift把选项做 K 次循环轮换让每个选项都坐过每个位置Decider._permsCorrect在无标签的情况下估计并除掉标签先验模型天生偏爱某些词Decider.init的prior参数Decide返回携带level的决策概率可直接做阈值判断Decision整个过程中不生成、不解析任何文本概率来自受限 softmax天然可量化、可阈值化。 Question三种类型化问题的构造方法Question是一个不可变的 frozen dataclass永远通过三个静态构造方法创建构造时会做参数校验非法输入直接抛QuestionError构造方法类型说明约束Question.choicechoice多选从一组选项里选一个至少 2 项、至多26 项字母读出上限、选项必须不重复Question.noulnoul是非题固定选项(Yes, No)无Question.scorescore打分等宽bins2~10 档默认 5或有序levels2~10 级区间必须lo hiroute Question.choice(Which team should handle this?, [billing, technical, sales], nameroute) tone Question.score(How negative is the tone?, bins5) ok Question.noul(Is the issue resolved?)三个对集成很实用的派生属性name/idname是你在结果集里取值的钥匙不传时自动生成q_前缀的稳定短 ID。key问题规格kind text options scale的 SHA-256 截断哈希用于标定产物的缓存键同样的问题永远得到同样的 keyquestion.py#L68-L76。bin_centers()score 题每档代表的数值Decision.value的期望值就建立在它之上。问题的 prompt 拼装规则在 anyjev/readout.pychoice 用字母 A/B/C 作为位置标签score 用数字noul 的 Yes/No 标签则粘在选项本身上——这是它能被安全轮换的原因。 Decider连接后端与问题的决策管线Decider是(state, questions) → decisions的完整管线。它只依赖一个 backend 对象backend 的职责被压缩到一句话给定 prompt返回指定 token 的下一 token 对数概率见 anyjev/backends/base.py。去偏、先验、停止规则全部在 Decider 里完成与引擎无关。官方内置四种后端一个目录全部可见anyjev/backends/后端构造适用场景HFBackendHFBackend(Qwen/Qwen3-8B)本地 transformers默认 bf16VLLMBackend见 anyjev/backends/vllm.py高吞吐推理SGLangBackendSGLangBackend(url, model)SGLang 服务LlamaCppBackendLlamaCppBackend(gguf)GGUF 本地量化最关键的构造参数完整参数在 Decider.init日常使用只需关注这几项参数默认含义levelL0raw 单次 prompt 直接 softmaxL0 全轮换 无标签先验校正priorbatch标签先验来源batch批内估计、content_free探针估计、none关闭min_prior_n8批内先验至少需要多少 state 才启用adaptive_shiftsFalse启用轮换预算只读到决策足够明确就停详见 docs/rotation_budget.mdcanonical_orderFalse按选项文本排序后再轮换使结果只依赖选项集合而非书写顺序配合adaptive_shifts使用shared_prefixauto同一 state 的 K 个轮换共享前缀 KV长 state 下显著省时开启轮换预算后还可以用无标签state 标定停止阈值d Decider(backend, adaptive_shiftsTrue, canonical_orderTrue) d.calibrate_adaptive(route, unlabelled_tickets, target0.01) # 几百个 state无需标签calibrate_adaptive 用 Clopper-Pearson 上界保证与全轮换答案的偏离率 ≤ target官方实测在 1% 目标下平均只读约 18 次中的 7 次轮换精度不变docs/rotation_budget.md。 decide 用法一个 state多个问题Decider.decide 的签名是decide(state, questions, levelNone, requireNone) - DecisionSet一次调用可以同时回答一个 state 上的多个问题。state 接受三种形态anyjev/state.py普通字符串一段对话/工单文本聊天消息列表[{role: ..., content: ...}]任意可 JSON 化的 dict。from anyjev import Decider, Question from anyjev.backends.hf import HFBackend d Decider(HFBackend(Qwen/Qwen3-8B)) # levelL0, priorbatch r d.decide(My card was charged twice for one order., [route])[route] r.answer, r.distribution, r.level # billing{选项: 概率}L0返回的DecisionSet可以按索引或name取值也支持for d in result_set迭代result.py#L98-L127。 decide_batch 用法多个 state一个问题Decider.decide_batch 签名decide_batch(states, question, levelNone, requireNone) - List[Decision]——N 个 state × 1 个问题返回与输入一一对应的Decision列表。results d.decide_batch(states, tone, requireL0) results[0].value # score 题期望分值0~1 results[0].confidence # 所有类型通用最大概率它有两个不可替代的作用批量决策主路径分类/打分流水线里最常见的形态就是同题多样本全部 prompt 会被合并到一次或几次后端调用中decider.py#L163-L173。喂饱批内先验priorbatch的标签先验就来自历次 decide/decide_batch 累积的分布running_prior所以批量场景下 L0 校正会随数据量自动变准。 Decision结果对象携带了什么Decision只有四个字段result.py#L12-L17但每个字段都自带说明书字段 / 属性类型说明questionQuestion原问题对象可回看选项与类型probsnp.ndarray [K]各选项概率和为 1levelstr该决策的校准等级raw或L0diagnosticsdict读出过程全记录answer_mass模型放在标签 token 上的总概率偏低说明 prompt 没命中、order_flip_raw/l0、prior_method、shifts_used、stop_threshold等按题型取答案的统一入口是answerresult.py#L28-L34题型answer返回专用属性choice胜出选项argmaxdistribution{选项: 概率}noulboolP(Yes) ≥ 0.5p_truescore期望分值各档中心加权和value、distributionconfidence最大概率适合直接做低于阈值就转人工的阈值策略to_dict()输出可直接进日志或 API 响应result.py#L60-L74。 等级强制requireL0 与 LevelErrorraw 概率带着未校正的位置偏置和标签偏置直接拿它做动作可能是 bug。AnyJev 把这种错误变成编译期式的运行时异常decide(..., requireL0)只要有一个结果等级不够立即抛LevelErrordecision.require(L0)/decision_set.require(L0)事后校验同样的异常。规则实现在 require_level。等级语义的完整契约见 docs/levels.md。 相关源码与文档路径内容路径包导出Question / Decider / Decision / LevelError / Tacitanyjev/init.py问题规格与三种构造器anyjev/question.pyprompt 拼装与标签 token 解析anyjev/readout.py决策管线与 decide / decide_batchanyjev/decider.py结果对象与等级强制anyjev/result.pystate 渲染文本/聊天/JSONanyjev/state.py各推理引擎后端anyjev/backends/自蒸馏模型接口单次前向决策anyjev/tacit.pyraw 与 L0 等级契约docs/levels.md轮换预算与自适应停止docs/rotation_budget.md 提示如果不想对任意 LLM 做 K 次轮换可以直接使用 AnyJev 的自蒸馏模型Tacit1.7B~9B一次前向即返回同样结构的决策低置信度决策还能在封顶比例内升级到自己的推理过程接口详见 anyjev/tacit.py。掌握Question、Decider、Decision和decide_batch这四个接口就等于掌握了 AnyJev 的全部训练免训路径用Question定义问题用Decider挂上任意开源 LLMdecide做单条、decide_batch做批量再用requireL0保证拿到的概率一定经过零标签去偏。赞分享【免费下载链接】AnyJevTurn any LLM into a Jev-style decision model: typed decisions, real probabilities, no training. (continue updating, welcome any issue and PR request)项目地址https://gitcode.com/gh_mirrors/an/AnyJev点击查看免费下载相关推荐5分钟极速集成Spring Boot优雅响应处理器的终极解决方案5分钟极速集成Spring Boot优雅响应处理器的终极解决方案 在Spring Boot开发中你是否还在为重复的API响应封装和繁琐的异常处理而烦恼GrPHPExcel开发者手册核心类与API接口完全参考PHPExcel开发者手册核心类与API接口完全参考 PHPExcel作为PHP领域最强大的Excel处理库提供了完整的电子表格操作能力。无论您是开发Exc后端数据处理WinAppDriver API参考大全50个核心接口详细解析WinAppDriver API参考大全50个核心接口详细解析 WinAppDriverWindows Application Driver是微软官方推测试桌面应用质量保障创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考