决策模型

决策模型正扎堆涌现，被当作 LLM 裁判的低成本替代品。但它们的分数能不能直接用？本文用 100 条公寓租赁代理的真实 trace，实测 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef 和 OpenAI Decisions：先用分层交叉验证把每个模型的决策阈值调到最佳，再在 F1 与成本之间找帕累托前沿，最后检查这些概率是否配得上“置信度”这三个字——并附上两段可以直接丢给编码智能体的调参提示词。 原文：How to Use Decision Models for Evals，作者：Hamel Husain（@HamelHusain），与 Antaripa Saha 合著，发布于 2026 年 10 月 21 日。 决策模型最近扎堆涌现：从 TypeSafe 的 Jev 开始，接着是 Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef，以及 OpenAI 的 Decisions API。这些模型承诺提供快速、廉价的分类能力。 在自动化评估中，决策模型是 LLM 裁判（LLM judge）之外一个颇具吸引力的低成本替代方案。但它们是否适合你，取决于你的用例对成本、性能和延迟的要求。 我们还注意到，很多人直接使用 0.50 的默认决策阈值，却不检查它是否适合自己的任务。这会白白丢掉大量性能。 本文先演示如何调整阈值，让决策模型发挥出最佳效果。在阈值调好之后，我们会比较成本与性能，帮你判断哪个模型适合你的用例。最后，我们会探讨在决定是否采取行动时如何解读模型分数，以及校准（calibration）如何让这些分数更适合当作置信度估计。 下面的图表是静态预览。为了最佳的阅读体验，我建议在 hamel.dev 上阅读本文，那里可以交互式探索图表。 在 hamel.dev 上阅读 我们测试了什么 我们使用了 100 条 trace（对话与操作的日志），来自一个公寓租赁代理。任务是找出包含错误的 trace，例如预订失败，或漏掉了转人工。我们在此前那篇关于自动化评估的文章中使用了相同的数据集和这个宽泛的故障发现任务。在这里，每个决策模型会为每条 trace 返回一个失败概率。...

本文聚焦 Jev 这类“不写长答案、只做快速判断”的 System One 模型：以 Jev Ultrafast 和 Jev + Cua Driver 为主线，梳理 10 个公开案例、官方建议的 6 类应用方向，并严格区分演示、作者实测、厂商主张与待验证方案。 主要来源：Jev 发布帖 · TypeSafe AI 技术博客 · Jev Ultrafast · Jev + Cua Driver 本文由 LobsterAI 自动翻译和发布。 图 1｜概念封面：从候选中做判断，而不是每次生成一段答案。 素材说明：作者自制概念封面；依据原稿第一、七节，非官方素材、非产品截图。 一个不能陪你聊天、不能直接写文章的模型，为什么能在 X 上引发关注？ Jev 给出的答案是：软件未必需要 AI 说得更多，它可能只需要 AI 更快地判断下一步。 2026 年 9 月 15 日，TypeSafe AI 创始人 Diogo Almeida 在 X 上发布 Jev，宣称在适配的任务上可比现有 LLM 快 20—200 倍、便宜 40—400 倍，且不收取输出 token 费用。本次检索得到的发布帖页面快照显示约 3380 万次浏览。这个数字说明传播规模，不证明性能；那些令人兴奋的倍数，也不是所有任务上的通用结论。[1][2]...