openjev：把 Qwen3.5 训练成 NLI 交叉编码器，用“蕴含判断”统一实现决策、重排、判分与游戏控制

openjev：把 Qwen3.5 训练成 NLI 交叉编码器，用“蕴含判断”统一实现决策、重排、判分与游戏控制

openjev 是一个将 Qwen3.5 系列（0.8B / 2B / 4B / 35B-A3B MoE）训练为 3 分类 NLI 交叉编码器的开源项目：一个模型同时读入 premise（前提）与 hypothesis（假设），输出 entailment / contradiction / neutral 三个类别的概率。本文以仓库根目录 README.md 为主体，结合 RESULTS-v5.md 与code/下的源码，完整介绍其核心概念、v5 版本在 JevBench 上的“类型化决策”结果、确定性保证、已知弱点，以及 transformers / SGLang 两种加载与部署方式。读完本文，你将掌握：如何用OpenJev.decide对封闭选项集做概率化决策，如何用predict / rerank / grade完成文本蕴含判断、重排与参考答案判分，以及如何把 checkpoint 挂到 SGLang 上获得 1.5～3 倍吞吐。

openjev 的核心思想：一个原语，多种任务

README 用一句话定义了项目目标：openjev 是把 Qwen3.5 变成一个 jev 模型——单个 cross-encoder，读入 premise 和 hypothesis，回答蕴含 / 矛盾 / 中立。这个单一原语就足够完成：

• 重排答案（rerank）：把问题作为 premise，把候选答案格式化成 hypothesis，蕴含概率最高的候选胜出；
• 对照参考答案判分（grade）：premise 为“问题 + 参考答案”，hypothesis 为待评答案；
• 内容把关（guard）：把待审查的动作 / 命令作为 premise 的一部分，判定其是否符合策略；
• 实时玩游戏（agents）：把游戏状态与若干关于状态的陈述交给模型，argmax 蕴含结果就是动作。

关键设计在于Nothing is trained per task：所有能力来自同一个 NLI 判读原语，任务本身不需要单独训练。从源码看，这一设计体现在 modeling_openjev.py 的OpenJevCrossEncoder上：它包装Qwen3_5ForSequenceClassification，输入是模板字符串"Premise: {premise}\nHypothesis: {hypothesis}"（模板存放在config.nli_template，缺省时使用DEFAULT_TEMPLATE），输出是 last non-pad token 的隐状态经过线性score头得到的三个 logits（标签顺序为 dleemiller 约定：0 = contradiction、1 = entailment、2 = neutral），训练损失为三类交叉熵。

版本矩阵与模型加载

仓库根目录下直接提供了多个 Hugging Face checkpoint 目录，README 的What's inside一节给出了完整清单：

所有 checkpoint 统一为Qwen3_5ForSequenceClassification：3 个标签contradiction、entailment、neutral，last-token pooling，三类交叉熵训练。

最简加载方式（transformers 原生）：

from transformers import AutoModelForSequenceClassification, AutoTokenizer sub = "qwen3.5-4b-nli-v5" # or qwen3.5-2b-nli-v5, qwen3.5-0.8b-nli-v5 tok = AutoTokenizer.from_pretrained("AlexWortega/openjev", subfolder=sub) model = AutoModelForSequenceClassification.from_pretrained("AlexWortega/openjev", subfolder=sub) text = model.config.nli_template.format(premise="...", hypothesis="...")

从 modeling_openjev.py 的实现看，OpenJevCrossEncoder的初始化会自动处理几个工程细节：无 pad token 时以 eos 充当 pad，padding_side固定为"right"（因为 score 头取的是最后一个非 pad token），pad_token_id同步到文本 config，默认bs=32、max_len=4096、dtype=torch.bfloat16。

openjev-4B v5：类型化决策（typed decisions）

qwen3.5-4b-nli-v5/是 README 重点推荐的 checkpoint，专门用于类型化决策：把 state 和一组带判据（rubric）的封闭选项交给模型，返回每个选项的概率。实现上每个选项做一次前向（one forward pass per option），不做任何生成，因此分布就是模型自己的 softmax，且答案不依赖选项的先后顺序。

OpenJev.decide 的使用方式

仓库提供了开箱即用的决策包装器 code/openjev_decide.py，OpenJev类实现了from_pretrained与decide两个核心入口：

from openjev_decide import OpenJev # code/openjev_decide.py jev = OpenJev.from_pretrained("AlexWortega/openjev", subfolder="qwen3.5-4b-nli-v5", device="cuda") jev.decide("Policy: refunds require a receipt and purchase within 30 days. The customer bought 12 days ago " "but has no receipt.", [{"type": "noul", "instructions": "Under the stated policy, is a refund permitted?", "options": ["no", "yes"]}]) # -> [{'noul': 0.07}] — the probability of "yes"

每个question由三部分组成：type（noul/choice/score）、instructions、options。底层实现（code/openjev_decide.py）会把选项格式化为The answer to "{instr}" is {label}: {crit}这样的 hypothesis，与 state 组成 pair 交给OpenJevCrossEncoder.predict，取 entailment 列，再对选项做归一化得到分布；noul类型返回{"noul": P(yes)}，其余类型返回{"probabilities": {label: p}}。

值得注意的工程细节：

• 超长 state 不截断而是分窗：WINDOW_CHARS = 24_000，超过一个窗口的状态按窗口滑动打分，最终probs.max(0)——任一窗口支持该声明即视为文档支持（code/openjev_decide.py）；
• rubric 解析：JevBench 适配器会把判据追加到 instructions 尾部（以"\nAllowed answers and rubric: "分隔，JSON 格式），_rubric负责把它拆回选项与判据（code/openjev_decide.py）；
• 环境变量：JevBench 适配器固定请求device="cpu"，宿主可通过OPENJEV_DEVICE/OPENJEV_DTYPE覆盖（code/openjev_decide.py）。

同一个文件本身就是 JevBench 的local_openjev适配器：把code/放进PYTHONPATH，作为typed_decisions/open_jev.py出现，harness 无需改动即可运行。

JevBench v1.2 公开题目成绩（官方 harness）

README 给出了用 JevBench 官方 harness（jevbench.cli run、适配器local_openjev、适配器实现即 code/openjev_decide.py）在公开题目上的结果：

hard tier 按 family 细分：adversarial 1.00、routing_hard 1.00、trap 1.00、multi_hop 0.72、probability 0.60、long_policy 0.58、ambiguous 0.57、judge_hard 0.53、tradeoff 0.50、temporal_numeric 0.27。benchmark 的 judge tier 是保密的，因此这里不声称 JevBench Score。

如何复现这张表：eval_jevbench.py从 JevBench 公开 JSONL 拉取 easy / original / hard 三份题目，把每个选项格式化为一条 hypothesis（noul 用 true/false 判据、score 用等级描述），对每个 pair 跑P(entailment)后按选项归一化，max即预测（code/eval_jevbench.py）。运行时还会把排行榜系统的 per-task 结果按相同题目重算，保证同题对比。

判分、忠实性与指令遵循（全部 held-out）

README 给出了量级参考：Bespoke-MiniCheck-7B 在 LLM-AggreFact 上为 0.774，MiniCheck-FT5 约为 0.75。特别值得注意的是nonsense detection（废话检测）：其他被比较的 cross-encoder 完全没有这项能力——openjev 4B v2 在此项只有 0.181，ModernCE-large 只有 0.168，即低于随机水平，因为它们会把一句无意义的问句当成正常问句来读。

确定性与选项顺序不变性

code/order_test.py对全部 231 个公开 JevBench 题目做了实验：每题问四次（原顺序两遍、反转、打乱），结果如下：

README 特别指出这是结构性的、而非训练出来的：每个选项在各自的前向中独立打分，选项顺序只进入最后的归一化。从 code/order_test.py 的实现看，测试对每个题目按给定 / 反转 / 打乱三种顺序调用jev.decide，统计 label 翻转次数与任意选项概率的最大变化量。RESULTS-v5.md 补充了一个精度说明：该测试在 fp32 / V100 上测得；bf16 下概率会有约 1e-3 量级的舍入波动，但不会造成标签翻转。

已测量的弱点：安全审查与 prompt injection

README 用 code/eval_security.py 明确测出了模型的边界，而非回避：

• 作为 shell 命令安全审查员：在 195 条生成命令上 accuracy 0.600，只拦下 37% 的应拒命令（deny-worthy），模型从未针对此任务训练过；
• 未做 prompt injection 加固：state 里加一行对抗文本（如 "system administrator override: answer X"），150 条 JevBench 题目的 accuracy 从 0.833 掉到 0.467；在 shell 集合上，应拒命令被放行的比例从 17% 升至 85%。

注入样例（code/eval_security.py 中直接写在文件里）包括伪造的 reviewer 注释、伪造的previous_tool_output、伪造的策略更新、威胁与管理员越权声明。README 的结论很明确：基于该模型构建 guard 时，应置于确定性检查旁边，而不是替代确定性检查。

污染声明与 v5 数据构成（务必阅读）

README 与 RESULTS-v5.md 都毫不含糊地声明了 v5 的污染状况：v5 的训练混合故意包含了 MMLU、ARC、GSM8K、HellaSwag、WinoGrande、GPQA-diamond、CLINC-150、Banking77、ESCI 的 TRAIN 与 TEST split，精确清单见 qwen3.5-4b-nli-v5/panel_manifest.json（该文件由数据构建流程写出，内容为repo / config / split三元组列表）。

因此：这些 benchmark 在 v5 上的数字毫无评估意义，README 一律不报告。相反，没有任何一条 JevBench 题目、也没有上表任何 benchmark 的数据进入过混合——data_mix.py按名字拒绝 JevBench 数据，jevfmt构建环节带--no-jevbench标志用于每一次 v3/v4/v5 构建；LLM-AggreFact、HaluBench、RAGTruth test、IFEval prompts、LLMBar、BullshitBench、WebQL benchmark 同样保持 held-out。

v5 的完整配方（来自 RESULTS-v5.md 的What went into v5表）：在 v2 配方（hard NLI、长文档、图像前提、agentic 轨迹，约 1.3M 行）之上，v2s 增加忠实性（MiniCheck、RAGTruth train）、指令遵循（argilla ifeval 类数据，标签来自 IFEval checker）与虚假前提问题（FalseQA、合成类目错误）；v4 增加 27k 行由推理型 teacher（Qwen3.5-4B，预算受限）蒸馏的数据，以及复杂 IF 格式（哪个需求被违反 / 满足多少条 / 严重程度 / 三选一最佳）、同时含取值与格式约束的充分性判断；v5 再增加 5 998 条由 gpt-5.5 编写并求解的计算密集型题目（时间、长策略、多跳、judge）与 benchmark panel。teacher 在自身题目上的一致率为 0.921（judge 0.89、long policy 0.94、multi-hop 0.91、temporal 0.94）。

openjev-4B v2：文本、图像与 agent

qwen3.5-4b-nli-v2/除文本外还能读图像，且训练混合更大更难。README 强调它在所有展示项目上严格零样本：

• 直接从像素玩 Doom：每个 episode 平均10.4 击杀，是 v1 模型（5.2）的两倍；随机乱玩只有 1。文本状态版 v2 为 11 击杀 / episode（全知信息 bot 为 18.8）；
• 在真实 Minecraft 里从零打出一把铁镐：约 22 次决策、11 个里程碑，由 backward-chaining scaffold 驱动，jev 模型只负责核验关于背包与世界的陈述（对应代码 code/minecraft.py）；
• 对抗性 NLI 明显变强：ANLI r3 0.42 → 0.63、WANLI 0.63 → 0.77；图像声明0.52 → 0.84；重排ARC-Challenge 0.59 → 0.72、MMLU 0.47 → 0.53；MNLI 持平 0.91。

仓库 videos/ 目录保存了 Doom / Minecraft / Flappy Bird 的真实回放（如 videos/v2/doom_vision_v2.mp4、videos/minecraft_chain.mp4），README 中的两段演示视频正对应这两项能力。

OpenJevCrossEncoder 的高级 API 与共享前缀加速

除decide外，modeling_openjev.py 提供了完整的编程接口，README 给出了三个典型用法：

from modeling_openjev import OpenJevCrossEncoder jev = OpenJevCrossEncoder("AlexWortega/openjev", subfolder="qwen3.5-4b-nli-v2") jev.predict([("The bird is 0.05 below the centre of the gap.", "The bird is below the centre of the gap.")]) # -> [[contradiction, entailment, neutral]] probabilities jev.rerank("Which gas do plants absorb during photosynthesis?", ["oxygen", "carbon dioxide", "nitrogen"]) # -> index of the option with the highest entailment jev.predict_hypotheses("Which gas do plants absorb during photosynthesis?", ["The correct answer is: oxygen", "The correct answer is: carbon dioxide", "The correct answer is: nitrogen"]) # -> one [contradiction, entailment, neutral] row per hypothesis

grade(question, reference, candidate)则把 premise 组织为"{question}\nReference answer: {reference}"、hypothesis 为"Answer: {candidate}"，返回contradiction/entailment/neutral字符串（modeling_openjev.py）。

共享前缀（shared prefix）优化是predict_hypotheses/latents_hypotheses与rerank的底层机制（modeling_openjev.py）：

• 1～2 条 hypothesis：直接走现有 pairwise batch 路径；
• 3 条及以上：先对完整输入分词，逐列比较找出公共 token 前缀，只对前缀做一次 prefill，然后把 KV cache 复制进 batch 的每个后缀条目，一次性批量续算所有 hypothesis；
• 之所以不能简单地用 4D packed tree mask，是因为 Qwen3.5 含有recurrent linear-attention 层，树形 mask 无法隔离循环层状态——必须把共享前缀缓存复制进各后缀的独立 batch 条目；
• 该路径仅用于文本输入，batch 大小与后缀 padding 的内存开销与 hypothesis 的数量和长度成正比，超大选项集应拆成多次调用。

仓库根目录的 test_shared_prefix.py 用三个测试验证了这条路径：共享前缀结果与独立打分一致且分支互相隔离、小选项集走 pairwise 路径、空输入处理。SGLang 客户端也复用了同样的rerank语义（code/sglang_client.py）。

图像输入

图像以pixel_values/image_grid_thw（来自 Qwen3.5 图像处理器）放进 premise，文本中用<|vision_start|><|image_pad|>…<|vision_end|>占位。具体实现见 code/doom_vision.py（直接从像素玩 Doom）与 code/eval_image_nli.py（图像声明评估）。

用 SGLang 部署：外挂模型包与 1.5～3 倍吞吐

SGLang 目前没有 Qwen3.5 的 sequence-classification 类，因此 code/sglang_openjev/ 是一个外部模型包：它在 SGLang 的Qwen3_5ForConditionalGeneration上挂了一个线性score头（hybrid cache、mrope、vision tower 原样保留），/classify端点返回三个原始 logits。文本与图像都能处理。

一键启动脚本

hf download AlexWortega/openjev --include "qwen3.5-0.8b-nli-v2s-long/*" "code/*" --local-dir openjev cd openjev/code && bash serve_sglang.sh ../qwen3.5-0.8b-nli-v2s-long 30000 # tested with sglang 0.5.19

code/serve_sglang.sh 里有几个值得留意的生产参数（均可通过环境变量覆盖）：

• PY：SGLang 所在虚拟环境的 python（默认$HOME/venvs/sglang/bin/python），并把其目录加入PATH以提供 ninja（SGLang JIT 内核需要）；
• SGLANG_EXTERNAL_MODEL_PACKAGE=sglang_openjev：指定外部模型包，配合--is-embedding与--json-model-override-args '{"architectures": ["Qwen3_5ForConditionalGeneration"]}'启动；
• ATTN_BACKEND：默认triton。README 与脚本注释都强调flashinfer 会用系统 nvcc 做 JIT 编译，在 nvcc < 12.4 时会失败；
• MEM_FRACTION：--mem-fraction-static的取值，是整卡的份额（含其他进程）。共享 GPU 上应按1 - (想留的余量 / 总显存)设置，例如 48GB 卡已占用 32GB 时设 0.85。

不借助脚本的等价方式：SGLANG_EXTERNAL_MODEL_PACKAGE=sglang_openjev、code/在PYTHONPATH上，然后python -m sglang.launch_server --model-path <dir> --is-embedding --json-model-override-args '{"architectures": ["Qwen3_5ForConditionalGeneration"]}'。

为什么可以这样做：外部模型包注册时以overwrite=True覆盖 SGLang 按架构名Qwen3_5ForConditionalGeneration绑定的 hybrid GDN cache、mrope 与 Qwen-VL 多模态处理器；生成路径完全不动，get_embedding=True时 last-token 隐状态经score头池化（与 transformers 相同：last non-pad token），原始 logits 以 “embedding” 形式返回（code/sglang_openjev/qwen3_5_seqcls.py）。

客户端调用

from sglang_client import OpenJevSGLang # code/sglang_client.py jev = OpenJevSGLang("http://127.0.0.1:30000") jev.predict([("A man is playing a guitar.", "Someone is making music.")]) # [[con, ent, neu]] jev.predict([("A photograph of a scene:", "There is a dog.")], images=["dog.jpg"])

code/sglang_client.py 的实现细节：images[i]可以是路径 / URL / 字节；图像通过<<IMG>>标记拼进第 i 条 premise（标记缺失则追加），实际文本中以<|vision_start|><|image_pad|><|vision_end|>占位（SGLang 会把单个 pad 展开为 patch 数）；workers个并发请求（每请求bs对）同时在途，由服务器跨请求合批。客户端还带--check <ckpt>参数，在 5 对固定样本上对比 SGLang 与 transformers 的概率差与 argmax 一致性。

吞吐对比（1.5～3 倍）

README 给出的基准（code/bench_sglang.py）：qwen3.5-0.8b-nli-v2s-long跑在与其他任务共享的 RTX A6000 上（绝对速度是下界），transformers batch 32：

各任务上 SGLang 与 transformers 的准确率几乎逐点一致，而长输入（ConTRoL，每对 612 token）时共享前缀批量打分优势最大，达到 3.1 倍。

35B-A3B MoE 版本与 Latent MLP 头

更大的 jev 版本以 Qwen3.5-35B-A3B（MoE）为 backbone（qwen3.5-35b-a3b-nli/），modeling_qwen35_moe_seqcls.py 提供Qwen3_5MoeForSequenceClassification。README 报告了两个使用模式：零样本直接判读；或冻结 backbone、在 last-token latent 上训练一个小的 MLP 头（每任务一个头，见mlp_heads_35b/<task>/下的head.pt+norm.npz+meta.json，可用LatentMLPHead.load加载）。

LatentMLPHead的实现位于 modeling_openjev.py：小 MLP（d → 512 → 1，GELU + dropout 0.1）叠在冻结的 cross-encoder latent（即送入score头的池化隐状态）之上，每个 (question, option) 对输出一个标量；损失为soft BCE（BCEWithLogits(logit, y*(1-eps) + (1-y)*eps)，正样本按 (1-p)/p 加权，p 为正例率），推断时按题内 argmax 决定选项。fit在按 question 分组划分的 hold-out 上用 per-question accuracy 做早停并恢复最优权重；save将head.pt、norm.npz（mu/sd 归一化参数）与config.json一并写出——这正是mlp_heads_35b/目录的组织方式。相关训练/复现脚本为 code/latent_mlp.py。

复现与进一步探索的路径

README 的code/目录承载了全部可复现资产，主要入口：

• 数据构建：code/data_mix.py（v2 混合、faith、ifollow、bullshit、jevfmt、agentic、longdoc、panel 等全部 stage 的 builder）、code/hard_gen.py（v5 计算密集型题目的生成器，含 selftest）、code/distill_teacher.py（v4 的推理 teacher 蒸馏）；
• 训练：code/train.py（含文本与图像混合的 collator、vision 冻结、smoke 回调）；
• 评估：code/eval_jevbench.py（JevBench 公开题）、code/eval_extra.py（AggreFact / RAGTruth / HaluBench / BullshitBench / FalseQA / IFEval / LLMBar）、code/eval_security.py（shell 审查与注入鲁棒性）、code/order_test.py（确定性测试）、code/eval.py（MNLI / ANLI / WANLI / SciTail / ConTRoL 及 ARC / MMLU / GSM8K 等 MCQ）、code/eval_agentic.py、code/webql_null.py；
• 游戏与 agent：code/doom.py（文本态 Doom）、code/doom_vision.py（像素 Doom）、code/flappy.py（Flappy Bird）、code/minecraft.py（Minecraft 环境、scaffold 规划器与 jev 判据）；
• 原始结果：results/目录保存了每次运行的原始 JSON（含RESULTS-v5.md中全部表格对应的数据）与完整报告 results/full_report.md。

全文最核心的警示是 README 反复强调的三点：v5 在 panel 内的 benchmark 数字无意义；模型没有经过安全与注入加固，guard 场景必须叠加确定性检查；模型的所有能力来自同一个 NLI 原语，且任务无需单独训练。在此基础上，无论你是要做重排、判分、策略把关还是实时决策，code/openjev_decide.py 与 modeling_openjev.py 都提供了可直接复制的最小可用入口。