决策模型比较

模型 创建 更新
deepseek-v4.1-flash 2026-10-10 2026-10-10

本页比较主题内已建立研究笔记的五个条目，帮助读者在「托管还是自托管」「要不要多模态」「自己训练还是直接用现成模型」「准确率差多少」，以及「要不要把评分接进大厂既有的采购与治理体系」之间做取舍。

主题内目前有 Clef、Jev、Kev、Microsoft-Decision-1 与 SemIf 五个条目。前四者是模型（自训权重、闭源托管，或对开源底座的后训练），SemIf 是不训练的基线与运行时——它把同一接口套在现成开源模型上，因此本页把「类型」单列一行，避免把方法与模型混为一谈。五者都能回答同样的三类问题（noul / choice / score），请求形状同出 TypeSafe 的 /v1/systemone 一脉：Clef 与 Kev 都把「改端点和模型名即可迁移」写进官方文档，Microsoft-Decision-1 走的是 OpenRouter / Foundry 的 Decisions API，SemIf 复现的是这一接口模式本身。Liquid d1、PostHog Jeeves、AWS Strands Decider、Laya、Quyet-1.0-Large、H2O-Lightning-4B 等同类尚无本区笔记，只在各篇的「替代方案」里对照。

五者真正的差异不在准确率，而在部署形态、输入模态、是否训练，以及证据强度：Jev 与 Microsoft-Decision-1 是两个同价的闭源托管方案，前者胜在历史、生态与可引用的第三方评测，后者胜在接进 Azure 的采购、账单与治理体系且底座可换成 MAI / OpenAI 模型；Clef 是唯一能看图（omni 还能听音看视频）且能自托管的开权重方案；Kev 是唯一能自己训练与微调、能在消费级硬件上跑的开源族，且与 Decision-1 同出 Qwen3.5-9B 底座；SemIf 则根本不训练——它把接口套在冻结的开源模型上，用途是先量出「不训练能到哪」的地板线。 一份第三方实测（Arize 用同一批数据跑八款模型）显示，Jev 与 Clef 27B 在幻觉检测、评测器与路由三项上的准确率都在噪声范围内持平，Kev 9B 低约九个百分点；但在同一批数据上，Clef 27B 的中位延迟是 Jev 的六倍、每千次决策成本是它的五倍。选型的主要变量因此是「你打算在哪儿跑、喂它什么、要不要自己训、能不能接受只有厂商自述的性能证据」，不是「谁更聪明」。证据强度现在分成三档：Clef 与 Jev 有 Arize 的同批第三方实测（Jev 另有一篇 arXiv 独立评测）；Kev 与 SemIf 只有作者自跑；Microsoft-Decision-1 更少一步——连可复算的基准都没有，Foundry 目录的 Benchmarks 标签页不含数字，只有一个自跑的对照图与三个内部案例。

比较矩阵

维度 Clef Jev Kev Microsoft-Decision-1 SemIf
出品方 Cloudflare（Workers AI / AI Platform 团队） TypeSafe AI（2024 年成立，旧金山，DCVC 领投 4000 万美元种子轮） Jared Palmer（Cognition 工程副总裁），个人开源项目 Microsoft（Office of the CTO；署名软件工程副总裁 Achint Srivastava） TheoLeeCJ，个人独立项目（原称 OpenJev，声明与 TypeSafe 无关联），5 位贡献者
类型 自训模型族（27B / 9B / omni） 闭源托管模型 自训模型族（照公开架构重建） 闭源托管模型（对 Qwen3.5-9B 后训练，底座可换） 不训练的基线与运行时（套用现成开源模型）
发布时点 2026-10-01 首发 Clef 与 Clef-flash；2026-10-09 加入 Clef-omni 2026-09-15（结束隐身期当日） 2026-09-17 发布 0.5B 原型；2026-10-01 发布 Kev 1.0 2026-10-09 公告并在 Foundry 与 OpenRouter 上线；第三方读取的模型卡记 GA 日为 2026-10-08 仓库创建 2026-09-16；2026-09-18 以 OpenJev 之名上 Hacker News，随后改名 SemIf；2026-09-22 加入 Apple Silicon 后端与温度校准
权重与许可 Apache 2.0，权重在 Hugging Face（clef 约 55 GB、clef-flash 约 19.1 GB）；训练数据不公开 闭源，架构、权重与技术论文均未公开 Apache 2.0，权重在 Hugging Face（27B 约 51 GB 只在 Hub）；完整训练语料不公开 闭源，仅托管 API（Foundry「Direct from Azure」与 OpenRouter）；无公开权重、无 Hugging Face 仓库；训练数据为公开数据集（微软 Open Data 流程）加合成数据 代码 MIT；不自带权重，用 Qwen3.5-4B 等上游开源模型，各随上游许可；训练数据不涉及
可自托管（显存/内存下限） 是；41 GB（Clef-flash）、85 GB（Clef） 否 是；4 GB（0.8B，任意 4 GB 以上 GPU 或 Apple Silicon）至 96–128 GB（27B，Mac 统一内存） 否 是；≈8.6 GB（4B BF16，MLX 实测峰值分配）；浏览器档 0.64 / 1.56 / 3.01 GB（GGUF）
可微调 官方 RL 微调服务（先由 FDE 团队手工做，目标自助化） 不支持账号级微调，同一权重服务所有账号 官方 kev-finetune skill，可在自有标注数据上自助微调 不支持；微软称会持续更新权重，并计划在 MAI 与 OpenAI 模型上 rebase 设计上用冻结模型、不训练；只提供可选的 per-workload 温度校准（不改 argmax）
输入模态 文本、JSON、图像（每次最多 4 张）；Clef-omni 另接受音频与视频 仅文本（字符串、JSON 对象或文本数组） 文本（一个文档作为 state）；官方未列图像或音频 仅文本 文本（state 可为字符串、JSON 对象或数组）；无图像或音频
上下文窗口（token） 托管 65,536；Clef-flash 托管 24,576；自托管权重 262,144 65,536 / 请求，其中 state + 最长的一个问题 ≤ 32,768 托管（OpenRouter 上的 4B）8,192；自托管 0.8B–9B 验证 8,192、27B 65,536 32,768（官方与第三方一致） 随基座模型：262,144（Qwen3.5-4B，主基线）、40,960（Qwen3-0.6B）、131,072（MiniCPM5-2B）、262,144（Qwen3.8-27B 桥接）；SemIf 自身不另设窗口
定价（每 M 输入 token） Clef $0.24；Clef-flash $0.038；Clef-omni $0.15 $0.042 自托管免费；托管 Kev-4B（OpenRouter）$0.042 $0.042（Foundry / OpenRouter / Vercel 三处一致） 自托管免费；无官方托管服务
输出计费 不产生输出 token，不计费 输出 token 免费 不产生输出 token，不计费 不产生输出 token，不计费 不产生输出 token，不计费
延迟（毫秒/决策） 209.3（Clef）；38.8（Clef-flash）——Cloudflare 自跑基准，含网络 524.1（同口径） 51.4（Kev-9B，同口径） 85（p50）/ 125（p95）——微软自跑 Foundry 口径；同图对比模型用 JevBench 调整中位数，H2O.ai 对该口径有异议 ≈48.7（RTX 3090、本地热模型：21 条判断共 1.023 s；777 条约 49.9 ms/条，≈20 决策/秒）；Apple M5 上 ≈260（MLX）/ ≈600（MPS）。口径与其余各列不同，数值接近不等于同口径可比
准确率（口径见单元格） 85.2%（Clef 27B；Arize 同批第三方实测，幻觉检测 RAGTruth） 85.5%（同批） 76.8%（Kev 9B；同批） 83.5%（36 项基准平均，微软自跑；同图 Quyet-1.0-Large 81.9%、GPT-6 Luna Decisions 79.4%、H2O-Lightning-4B 77.2%）。与左三列不是同一批基准，不可直接比大小 无第三方复测；作者自跑 TypeSafe 102 行公开子集一致率 0.845，同口径 Jev 公开值为 0.883
校准误差（越低越好） 0.062（第三方） 0.023（第三方） 0.055（第三方） 微软报的是「校准分」92.2，越高越好，低于同图 Quyet 的 93.1；与 Arize 的校准误差口径相反，不可换算比较 无第三方数；作者自测 WANLI 的 ECE 经温度缩放由 0.208 降至 0.069，自有与 Every 两组增益不显著
每千次决策成本（Arize 同批口径 / 自托管） $0.223 $0.045 本机自托管记为 $0 无 Arize 同批数；微软自估分类 100 万条文本约 $11（同一示例中 GPT-6 Sol 约 $2,434） 本机自托管记为 $0
服务端对接 与 Jev 完全 API 兼容，每请求最多 64 个问题 该类模型的原始接口，被多数竞品接受 与 Jev 完全 API 兼容，可用官方 SDK 指向本地服务 走 OpenRouter / Foundry 的 Decisions API（POST /api/v1/decisions，/api/v1/systemone 为同一 handler）；chat completions SDK 不适用 以其自身的 CLI 与库复现该请求形状（state + 问题 + 选项、无解码循环）；未见提供 /v1/systemone 兼容端点的声明
证据强度 有第三方准确率数据（Arize）；官方基准与排行榜为 Cloudflare 自跑 有第三方准确率数据（Arize）与一篇 arXiv 论文（37 个数据集、34.6 万次请求） 只有作者自跑 harness；作者本人在文中声明这一点 无第三方准确率或校准数据；36 项基准、三个内部案例与安全测试均为微软自跑；Foundry 目录的 Benchmarks 标签页无数字 只有作者自跑；作者在文档里逐条写明未确立项（Jev 架构、RLCD 训练、可运营阈值、完整 711 行基准）

如何理解差异

  • 部署形态与是否训练是第一变量，不是准确率。 第三方同批实测里 Jev、Clef 27B 与 Kev 9B 相差约九个百分点，而这五个条目之间的部署、模态、成本与训练成本差距更大；Jev 与 Clef 27B 的差距则落在置信区间内。SemIf 的值不在准确率榜上，而在它证明了一件不同的事：不训练、只用冻结的 4B 开源模型直读 logits，就能复现该接口的形状，并跑到公开子集一致率 0.845。
  • 同价的两个闭源托管方案，差别在「证据」与「体系」。 Jev 与 Microsoft-Decision-1 都是 $0.042 / M 输入、都不产生输出 token、都只接受文本。Jev 的历史更长、接口被多数竞品接受，并有 Arize 与 arXiv 两处独立评测可引；Decision-1 的强项是把评分接进 Azure 的采购、账单、治理与区域体系。要用置信度做自动放行，前者可先引用第三方结论，后者必须自测。
  • 同一个底座上的两条相反路线。 Kev-9B 与 Microsoft-Decision-1 都从 Qwen3.5-9B 出发：一个把权重以 Apache-2.0 发出来、可自托管可微调，一个只提供托管 API 并把底座当成可替换件（官方称会 rebase 到 MAI 与 OpenAI）。这是本主题里「可复制」与「可托管」最干净的一组对照，也意味着 Decision-1 的行为可能随底层更换而变，接进流程时宜按接口而非按模型版本做验收。
  • 准确率数字不能跨表比。 表里两种准确率出自两套完全不同的评测：左三列（Clef / Jev / Kev）的 85.2% / 85.5% / 76.8% 来自 Arize 用同一批数据的第三方实测，Microsoft-Decision-1 的 83.5% 来自微软自跑的 36 项基准。数字接近不代表可比——并列只是为了并排展示，不是给出排名。
  • 校准这一行现在混着两种口径。 微软报的是「校准分」（越高越好），Arize 报的是「校准误差」（越低越好），两者既不能互相换算，也不能拿 92.2 去和 0.023 / 0.055 / 0.062 比大小。
  • 延迟口径的争议要连着原文读。 微软官方当前写「比 H2O-Lightning-4B v1.1 快 2.5 倍（亚军）」，并附编者注说明该文已更新以补入 Jev 的基准；更早的口径是「比 Quyet-1.0-Large 快 4.5 倍（亚军）」，多数第三方报道仍在引用后者。H2O.ai 的模型卡称 JevBench 的调整中位数把实测时间翻倍再加 0.15 s，其自测中位为 29 ms 而非图上的 210 ms，且 H2O-Lightning-4B 在 JevBench 官方综合榜排第一（72.5）；Decision-1 本身未上 JevBench 榜。
  • 「与 Jev 差 3.8 个百分点」不能被读成「接近 Jev」。 这是 SemIf 作者自己的告诫：该对比只覆盖 102 行被挑选的公开子集、Jev 不是他运行的、只有模态一致率这一种指标，而且概率质量仍差（总变差距离 0.177 对 Jev 的 0.127）。横向结论只能到此为止，不能外推。
  • 单位统一了，口径没有。 表里的延迟都折成「毫秒/决策」以便横向看，但 Clef / Jev / Kev 三列来自 Cloudflare 自跑的同一批基准（含网络），Microsoft-Decision-1 是微软自测 Foundry 的 p50，SemIf 的 ≈48.7 是 3090 上自有 fixture 一次预填加并行后缀读出的墙钟时间折成单条（777 条 38.8 s ≈ 20 决策/秒）。作者明确写了这些数字不得直接除以 TypeSafe 宣称的服务延迟——模型、输入、内核、端点开销与硬件都不同；SemIf 与 Jev、Kev 的数值接近只是量级巧合，不构成同口径对比。
  • 窗口大小取决于「训练到哪」，不等于基座上限。 Kev 与 SemIf 都基于 Qwen3.5 系列，窗口却差一个量级：Kev 的 0.8B–9B 只训练到约 7,500 token、验证到 8,192，SemIf 则直接用基座的原生窗口（Qwen3.5-4B 262,144）。Decision-1 的 32,768 也是服务侧设定的输入上限，与基座能力不是一回事。读自托管模型的实际可用窗口要按它自己的训练与验证范围，不能直接抄基座数字。
  • 「开源」的含义不同，且权重与代码不是一回事。 Clef 与 Kev 发 Apache-2.0 权重但不公开训练数据；Kev 还额外公开训练配方与评测 harness；SemIf 是唯一代码开源、但没有自己的权重的条目——它的许可问题落在上游模型（Qwen3.5-4B 等各自条款，且不随仓库分发）；Microsoft-Decision-1 则是五者里唯一既无权重、也不公开训练数据的闭源托管项。
  • 模态是硬性分界线。 只有 Clef 能读图，只有 Clef-omni 能读音视频；Jev 官方明确要求先把非文本输入转成文本；Microsoft-Decision-1 与 SemIf 也都只用文本。任务本身涉及看或听时，选项其实只剩一个。
  • 概率能否当阈值用，五个条目给出五种答复。 第三方的校准误差（Jev 0.023、Kev 0.055、Clef 0.062）说明各方自称的校准并不等价；Microsoft-Decision-1 只给出厂商自报的校准分、口径与前者相反且无外部复测；SemIf 干脆说清「softmax 条件于所给备选，不是校准过的运营置信度」，只提供一层后处理温度缩放，而且只有 WANLI 一组能达到区间不重叠的改善。用置信度做自动放行还是转人工，这一项比准确率第三个百分点更关键。

如何选择

  • 需要图像、音频或视频输入：只有 Clef 家族可选。
  • 纯文本、成本与延迟优先、接受闭源托管，且希望能引用第三方性能证据：先用 Jev，它在本页比较的每百万 token 单价上最低，且有 Arize 与 arXiv 两处独立评测。
  • 需要把决策评分接进微软既有的采购、账单、治理与区域体系，也接受闭源托管：Microsoft-Decision-1 与 Jev 同价，按「是否需要第三方可引用的性能证据、是否已在 Azure 体系内」在两者之间取舍。
  • 数据不能出内网、或要自己微调：先在 Kev-4B 上量一遍（硬件门槛最低、微调成本约 1 美元起），需要更高准确率再上 Clef 或 Kev-27B；显存 41 GB 以上时 Clef 27B 是开权重里能力最高的一档。
  • 只想先量一量「不训练够不够用」、或在买托管服务前做对照：用 SemIf + 一个现成的 4B 开源模型，它的 fixture、逐行预测与原始计时都可复现；但不要把它当选型终点，它的通用能力受基座限制（外部 NLI 只有 0.637）。
  • 要把决策模型当作评测器或护栏，并依赖置信度阈值：优先做一次自己的校准复测，再在 Jev（最低校准误差）和 Kev/Clef（可自托管）之间取舍；用 Microsoft-Decision-1 时它只有厂商自报的「校准分」，必须先在本任务集上复测；用 SemIf 时按作者方法在你自己的工作负载上拟合温度。
  • 无论选哪一方：公开的漂亮数字大多带自跑成分（Kev 与 SemIf 全部、Clef 的排行榜全部、Microsoft-Decision-1 的全部），务必用自建任务集复测，并同时测同一问题的两种措辞——第三方已发现措辞改写能把判分从正确翻成自信的错误。

变更记录

  • 2026-10-10：创建。对照 Clef、Jev 与 Kev 的部署形态、许可与数据开放度、模态、上下文与定价、延迟口径、第三方准确率与校准误差，并给出以「部署与模态优先、准确率同级」为核心的横向结论。
  • 2026-10-10：加入 SemIf，矩阵扩为四列；新增「类型」「证据强度」两行以区分「模型」与「不训练的基线运行时」，并把延迟与准确率单元格的口径差异写明。
  • 2026-10-10：按用户要求，「可自托管」「上下文窗口」「延迟」三行改用统一单位并在行名标出（GB、token、毫秒/决策），不再逐格写描述性口径；补入各基座模型的原生窗口数值；「如何理解差异」新增「窗口取决于训练范围而非基座上限」一条，并把延迟一条改写为「单位统一、口径未统一」。
  • 2026-10-10：加入 Microsoft-Decision-1，矩阵扩为五列；新增「同价的两个闭源托管方案差别在证据与体系」「同一底座的两条相反路线」「准确率数字不能跨表比」「校准这一行混着两种口径」四条差异解读；证据强度改为三档表述。

相关知识

  • Clef：本页第一列，官方博文、Workers AI 文档、Hugging Face 模型卡与第三方实测的来源。
  • Jev：本页第二列，官方文档与发布博文、arXiv 独立评测与架构重建的来源；也是 SemIf 复现接口所依据的模式。
  • Kev：本页第三列，作者官文、GitHub 仓库与 OpenRouter 页面的来源。
  • Microsoft-Decision-1：本页第四列；微软官方博文与 Foundry 目录的来源，全部性能数字为厂商自述。
  • SemIf：本页第五列；不训练的基线与运行时，全部数据出自作者自跑并自标边界。
  • 主题导航：本主题的范围、收录标准与成员清单。

参考来源