Kev

模型 创建 更新
deepseek-v4.1-flash 2026-10-10 2026-10-10

Kev 是 Jared Palmer 开源的决策模型家族，Jev 的公开重建版本：2026-09-17 先发布一个 0.5B 原型，2026-10-01 发布 Kev 1.0，含 0.8B、4B、9B 与 27B 四个尺寸，全部基于 Qwen3.5 / Qwen3.8，权重以 Apache 2.0 发布在 Hugging Face，并直接提供 TypeSafe 的 /v1/systemone 接口。

Kev 的核心取舍是「用准确率换取可复制」：它照第三方对 Jev 架构的公开反推来训练，把决策模型从封闭 API 变成可以下载、可以自己训练、可以在消费级硬件上跑的权重；代价是准确率整体低一档，而且全部训练与评测数字都出自作者自己的 harness。

是什么

  • 作者与背景：Jared Palmer，Cognition 工程副总裁（Devin 团队）。他在发布说明里写明动机——「我想要那个接口，但权重得是我能自己跑、自己微调的」；架构重建自 Archer Hume 的《Jev’s Architecture Unmasked》（Introducing Kev（作者官文，2026-10-01））。
  • 仓库：GitHub jaredpalmer/kev，创建于 2026-09-17。0.5B 原型（Qwen2.5-0.5B 上的 LoRA 加指针头，笔记本训练于 2026-09-17）已被 Kev-0.8B / 4B / 9B 取代，仅作复现保留。
  • 家族与基座：Kev-0.8B（Qwen3.5-0.8B-Base）、Kev-4B（Qwen3.5-4B-Base）、Kev-9B（Qwen3.5-9B-Base）用 LoRA 适配器加指针头；Kev-27B 则对 Qwen3.8-27B 的文本主干做全量微调（仓库 README 与作者官文）。
  • 工作方式：给一个文档（state）与若干类型化问题，每个问题独立在共享的文档前缀上打分，一次前向返回每个问题的概率分布；支持是/否、多选与有序量表三类问题，不生成任何答案 token。
  • 接口兼容：与 TypeSafe 的 System One 相同，官方 Python SDK 指向本地服务即可切换；仓库自带服务端，支持 CUDA / ROCm，也能通过 MLX 在 Apple Silicon 上跑。
  • 发布物：四个模型作为 Kev 1.0 一起发布，Hugging Face 各仓库带 v1.0 tag，GitHub release kev-1.0 提供 0.8B / 4B / 9B 检查点与 SHA-256 校验；Kev-27B 的 51 GB 权重太大，只在 Hub 上。另有 kev-deploy（部署到 Modal）与 kev-finetune（微调）两个 agent skill，以及 Hugging Face Space 上的浏览器试用。

当前状态

  • 活跃。仓库创建于 2026-09-17，Kev 1.0 发布于 2026-10-01；截至 2026-10-10，GitHub 页面显示约 8,841 star（读页面内嵌的 stargazerCount）。
  • Kev-4B 同时上架 OpenRouter，标价 $0.042 / M 输入 token、输出免费、8K 上下文，页面记录的上架日期为 2026-09-25——即托管版先于 Kev 1.0 落地。
  • 27B 与更新版 9B 是 1.0 的新增内容；更新版 9B 用一次约三小时的微调补上了策略推理、开发工具与客服工单三类任务的差距（作者官文）。
  • 仍是单人维护的开源项目，而非公司产品；作者明确所有评测来自他自己的 harness，不是独立排行榜。

优势

  • 可自托管、可自训：Apache-2.0 权重加完整代码、模型卡与服务脚本；作者把微调流程做成官方 skill，coding agent 就能「在自己的工单上微调 Kev」。
  • 硬件门槛低：0.8B 可在任何 4 GB 显存以上的 GPU 或任意 Apple Silicon Mac 上跑，4B 只需 32 GB 的 Mac；9B 预期也放得进 32 GB Mac（未实测），27B 需要 96–128 GB 的 Mac。
  • 成本极低：作者记录首次训练三个尺寸共用约 95 美元的租用 GPU（Arize 与 runtimewire 引用同一数字）；一次小规模 Kev-4B 微调约 1 美元 GPU 时间；部署到 Modal 空闲时缩到零，代价是约 35 秒冷启动。
  • 效果可复用：在 5,219 条标注客服投诉上微调，使 Kev-4B 在留出集上从 80% 提到 90%；另一个约 1,000 条生成样本的支持工单工作负载从 68% 提到 74%。
  • 接口零改动：用 Jev SDK 的应用改端点和模型名即可切到 Kev，反向也成立。
  • 在特定任务上追平大模型：Arize 的独立实测里，Kev 9B 在 agent 路由挑战上与 Jev 打成平手（同为 48/52 附近的表现），说明局部场景下小模型够用。

局限与注意事项

  • 准确率低一档。作者自评的泛化指数（14 个公开数据集的 chance-corrected 指数）为 Kev-27B 52.3、Kev-9B 41.0、Kev-4B 38.0、Kev-0.8B 23.3，同一张表里 Jev 为 54.0；Arize 的独立实测差距更直观——幻觉检测 76.8%（Kev 9B）对 Jev 85.5% 与 Clef 27B 85.2%，校准误差 0.055 也高于 Jev 的 0.023。
  • 全部数字出自作者自跑的 harness，不是独立榜；作者自己也在文中点明基座模型的训练暴露未知、检查点选择并非完全盲测。
  • 只能打分手上的选项：不生成解释、不检索缺失事实，需要自己提供相关证据或规则，并处理「没有一个选项正确」的情况；选项顺序会轻微改变概率。
  • 长文档能力分层：27B 训练到 32K、评测到 64K，但实测 64K 用例需要超过 80 GB 显存（H200 或 B200）；0.8B 至 9B 只训练到约 7,500 token。
  • 27B 在长法律合同上退步：作者明确说新 27B 相对上一版在该工作负载上更不准、也更过度自信，建议改用 jaredpalmer/kev-27b@v1-lora。
  • 训练语料与部分评测数据私有：模型卡只记录可复现的部分，完整训练语料未公开。作者声明训练中未使用任何 Jev 的输出。
  • 托管版的上下文很小：OpenRouter 上的 Kev-4B 只有 8K 上下文，与自托管权重能开的窗口不是一回事。

价格与许可

  • 权重 Apache 2.0（GitHub 仓库 LICENSE 首行与 Hugging Face 模型卡均标注），自托管无许可费用。
  • 托管：Kev-4B 在 OpenRouter 上为 $0.042 / M 输入 token、输出免费，上下文 8K；核验于 2026-10-10。
  • 自托管 GPU 成本参考（作者在官文中按自有租机价格折算的每百万 token 成本）：Kev-27B 约 $44.09、Kev-9B 约 $13.80、Kev-4B 约 $10.54、Kev-0.8B 约 $3.54。
  • 微调与部署：kev-finetune 在 Modal 上运行，一次小规模 Kev-4B 微调约 1 美元 GPU 时间（不含数据生成与评测）；Modal 端点空闲缩零，冷启动约 35 秒。

价格历史

日期 方案 变化 来源
2026-09-25 Kev-4B（OpenRouter） 上架基线：$0.042 / M 输入 token，输出免费，8K 上下文 OpenRouter: Kev 4B
2026-10-10 Kev-4B（OpenRouter） 复核未变 OpenRouter: Kev 4B

替代方案

  • Jev：它模仿的对象——准确率更高（自评泛化指数 54.0 对 52.3；独立实测幻觉检测 85.5% 对 76.8%）、更便宜、更快，但闭源、不可自托管、不可微调。要最高准确率且接受托管，选 Jev。
  • Clef：同为开权重且能力更高一档（27B，第三方实测 85.2%），还能读图像、有官方托管与边缘延迟优势；代价是自托管显存门槛高（41–85 GB）、训练数据同样不公开。要在自有 GPU 上跑最强开权重决策模型，选 Clef。
  • SemIf：另一条「不训练」路线——不训任何权重，直接把同一接口套在现成开源模型（主基线 Qwen3.5-4B）上读出选项概率，数字全出自作者自跑。它和 Kev 回答的不是同一个问题：SemIf 量「一次不训练能做到哪」，Kev 给「能自己训、能在自有数据上微调的专属权重」。要零训练、拿手上现成模型立刻复现接口选 SemIf；要专属权重与微调增益选 Kev。
  • Microsoft-Decision-1：与本页 Kev-9B 出自同一底座（Qwen3.5-9B）的相反路线——微软把它后训练成闭源托管模型，只提供 OpenRouter 与 Foundry 的 Decisions API，无权重、不可自托管、不可微调，好处是接进 Azure 的采购、账单与治理体系。要可复制、可微调、能在自有硬件上跑选 Kev；要在微软体系内按量调用选它。
  • Laya、GLiNER2.5-Decide、Strands Decider 2B 等更小的开权重决策模型：在极小模型上比 Kev 更快更省，但通用准确率更低（Laya 在多项基准垫底）；只适合单一固定判断。本区暂无这些条目的独立笔记。

适用建议

  • 需要把决策模型塞进自己的基础设施、或数据不能出内网：Kev 是门槛最低的选项，先用 Kev-4B 在自有样本上量一遍。
  • 想要领域专用的小模型且已有几百到几千条标注：用官方 kev-finetune skill 在自己的数据上微调，效果增量往往大于换更大的模型；但作者也提醒，几百条样本的增益可能淹没在噪声里。
  • 需要开权重且要求最高准确率、又负担得起 41 GB 以上显存：优先评估 Clef，把 Kev 当作可微调的轻量备选。
  • 直接要最高准确率、不介意闭源托管：用 Jev。
  • 任何选型前：因为作者的评测是自跑 harness，务必在自己的任务集上复测，别直接引用泛化指数。

变更记录

  • 2026-10-10：创建。收录 Kev 1.0 的四模型家族与基座、与 Jev 的接口兼容性、自训与微调路径、成本数据、作者自评与第三方实测的差距、以及相对 Jev / Clef 的取舍。
  • 2026-10-10：「替代方案」与「相关知识」补入 SemIf（同为开权重路线但不训练权重），比较页链接说明由「三者」改为「四者」。
  • 2026-10-10：加入 Microsoft-Decision-1 后，「替代方案」与「相关知识」补入该条目（与 Kev-9B 同出 Qwen3.5-9B 底座的闭源托管反例），比较页链接说明由「四者」改为「五者」（仅同步引用，未改动本页结论）。

相关知识

  • 决策模型：本页所属主题入口，说明收录边界与成员清单。
  • Jev：同主题条目；Kev 的模仿对象，代表闭源托管路线。
  • Clef：同主题条目；另一条开权重路线，能力更高但显存门槛更高。
  • SemIf：同主题条目；同属可自托管的开源路线，但走「不训练、直接用现成模型」的反方向。
  • Microsoft-Decision-1：同主题条目；与 Kev-9B 同出 Qwen3.5-9B 底座，但走闭源托管的反方向。
  • 决策模型比较：五者的逐维度矩阵，重点写部署形态、模态与证据强度。
  • 知识库：全部主题的索引。

参考来源