LLM 评估

决策模型正扎堆涌现，被当作 LLM 裁判的低成本替代品。但它们的分数能不能直接用？本文用 100 条公寓租赁代理的真实 trace，实测 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef 和 OpenAI Decisions：先用分层交叉验证把每个模型的决策阈值调到最佳，再在 F1 与成本之间找帕累托前沿，最后检查这些概率是否配得上“置信度”这三个字——并附上两段可以直接丢给编码智能体的调参提示词。 原文：How to Use Decision Models for Evals，作者：Hamel Husain（@HamelHusain），与 Antaripa Saha 合著，发布于 2026 年 10 月 21 日。 决策模型最近扎堆涌现：从 TypeSafe 的 Jev 开始，接着是 Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef，以及 OpenAI 的 Decisions API。这些模型承诺提供快速、廉价的分类能力。 在自动化评估中，决策模型是 LLM 裁判（LLM judge）之外一个颇具吸引力的低成本替代方案。但它们是否适合你，取决于你的用例对成本、性能和延迟的要求。 我们还注意到，很多人直接使用 0.50 的默认决策阈值，却不检查它是否适合自己的任务。这会白白丢掉大量性能。 本文先演示如何调整阈值，让决策模型发挥出最佳效果。在阈值调好之后，我们会比较成本与性能，帮你判断哪个模型适合你的用例。最后，我们会探讨在决定是否采取行动时如何解读模型分数，以及校准（calibration）如何让这些分数更适合当作置信度估计。 下面的图表是静态预览。为了最佳的阅读体验，我建议在 hamel.dev 上阅读本文，那里可以交互式探索图表。 在 hamel.dev 上阅读 我们测试了什么 我们使用了 100 条 trace（对话与操作的日志），来自一个公寓租赁代理。任务是找出包含错误的 trace，例如预订失败，或漏掉了转人工。我们在此前那篇关于自动化评估的文章中使用了相同的数据集和这个宽泛的故障发现任务。在这里，每个决策模型会为每条 trace 返回一个失败概率。...