Evals

决策模型正扎堆涌现，被当作 LLM 裁判的低成本替代品。但它们的分数能不能直接用？本文用 100 条公寓租赁代理的真实 trace，实测 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef 和 OpenAI Decisions：先用分层交叉验证把每个模型的决策阈值调到最佳，再在 F1 与成本之间找帕累托前沿，最后检查这些概率是否配得上“置信度”这三个字——并附上两段可以直接丢给编码智能体的调参提示词。 原文：How to Use Decision Models for Evals，作者：Hamel Husain（@HamelHusain），与 Antaripa Saha 合著，发布于 2026 年 10 月 21 日。 决策模型最近扎堆涌现：从 TypeSafe 的 Jev 开始，接着是 Perplexity 的 Decider、Liquid 的 d1、Cloudflare 的 Clef，以及 OpenAI 的 Decisions API。这些模型承诺提供快速、廉价的分类能力。 在自动化评估中，决策模型是 LLM 裁判（LLM judge）之外一个颇具吸引力的低成本替代方案。但它们是否适合你，取决于你的用例对成本、性能和延迟的要求。 我们还注意到，很多人直接使用 0.50 的默认决策阈值，却不检查它是否适合自己的任务。这会白白丢掉大量性能。 本文先演示如何调整阈值，让决策模型发挥出最佳效果。在阈值调好之后，我们会比较成本与性能，帮你判断哪个模型适合你的用例。最后，我们会探讨在决定是否采取行动时如何解读模型分数，以及校准（calibration）如何让这些分数更适合当作置信度估计。 下面的图表是静态预览。为了最佳的阅读体验，我建议在 hamel.dev 上阅读本文，那里可以交互式探索图表。 在 hamel.dev 上阅读 我们测试了什么 我们使用了 100 条 trace（对话与操作的日志），来自一个公寓租赁代理。任务是找出包含错误的 trace，例如预订失败，或漏掉了转人工。我们在此前那篇关于自动化评估的文章中使用了相同的数据集和这个宽泛的故障发现任务。在这里，每个决策模型会为每条 trace 返回一个失败概率。...

本文翻译自 Anthropic 官方技术博客：Demystifying evals for AI agents。 主要观点 有效的评估（Evals）是团队自信地发布 AI Agent 的基础。与单轮对话的 LLM 不同，Agent 涉及多轮交互、工具调用和状态修改，这使得它们更难评估。缺乏评估会导致团队陷入被动的“打地鼠”模式，仅能在生产环境中发现问题。相反，建立评估体系能让问题在早期显现，量化改进效果，并促进产品与研究团队的协作。 一个完整的评估体系包括任务（Task）、评分器（Grader）、评估工具（Harness）和数据集（Suite）。针对不同类型的 Agent（如代码、对话、研究、计算机操作），需要采用不同的评估策略。评分器通常结合了基于代码的确定性检查、基于模型的灵活评分（LLM-as-judge）以及人工审核，以平衡速度、成本和准确性。 构建评估体系不需要一开始就追求完美。文章提出了一个实用的路线图：从少量的现实失败案例开始，逐步建立无歧义的任务集，设计稳健的测试环境和评分逻辑，并长期维护。重要的是要结合自动化评估、生产监控、A/B 测试和人工审查，形成一个多层次的质量保障网络（类似瑞士奶酪模型），以全面理解 Agent 的性能。 关键细节 核心定义与组件 构建 Agent 评估时涉及以下关键概念： Task (任务)：具有定义输入和成功标准的单个测试用例。 Trial (尝试)：对任务的一次执行，通常需要多次运行以应对非确定性。 Grader (评分器)：对 Agent 表现进行打分的逻辑，可包含多个断言。 Transcript (实录)：完整的交互记录，包括输出、工具调用和推理过程。 Outcome (结果)：试验结束时环境的最终状态（例如数据库中是否存在预定记录）。 不同类型 Agent 的评估策略 Coding Agents：通常使用确定性评分器。例如 SWE-bench Verified 通过运行单元测试来验证代码修复是否成功。 Conversational Agents：侧重于交互质量和任务完成度。常使用 LLM 模拟用户进行多轮对话，并结合状态检查（如工单是否解决）和语气评分。 Research Agents：评估较为主观。策略包括检查内容的依据性（Groundedness）、覆盖率（Coverage）和来源质量。 Computer Use Agents：在沙盒环境中运行，通过检查截图或 DOM 状态来验证结果。例如 WebArena 和 OSWorld。 评分器类型 基于代码 (Code-based)：如字符串匹配、静态分析。优点是快速、便宜、客观；缺点是缺乏灵活性。 基于模型 (Model-based)：如 LLM 评分量表。优点是灵活、能捕捉细微差别；缺点是成本较高，需人工校准。 人工评分 (Human)：专家审查。优点是质量金标准；缺点是昂贵且慢，通常用于校准模型评分器。 处理非确定性与指标 由于 Agent 行为在不同运行间存在差异，文章提出了两个关键指标：...