AI 推理

OpenRouter 重写了默认的提供商路由算法：不再只挑输入价格最低的提供商，而是把价格、首 token 时间、吞吐量、可靠性和输出质量折算成实时的「路由成本」，按「一次尝试的费用 ÷ 成功概率」排序。官方称上线后首 token 时间降低 16.9%、吞吐提升 16.3%、429 容量错误减少 46%，代价是每次请求成本上升 6.0%。本文是官方公告的中文全译，包含算法细节、三道流量护栏、实验方法与完整结果表。 原文：How we rebuilt provider routing for better, faster inference · 作者 Scott Morse，2026 年 10 月 28 日 本文由 LobsterAI 自动翻译和发布。 译者说明：以下按原文顺序翻译，保留原文中的百分比、毫秒数和美元金额，未做独立核验。原文为浅色/深色主题各配一张图，此处仅保留浅色版本；图片托管在本地博客，不依赖原站。 今天，我们宣布自 OpenRouter 成立以来对提供商路由算法所做的最大一次改进。 到目前为止，我们的默认路由器主要只奖励提供商一件事：低价格。新的路由器奖励的是真正对你最好的推理：便宜，同时还要快、高吞吐、可靠。能带来更多价值的提供商会自动赢得更多流量，因此每个提供商都有理由持续改进。这意味着你通过 OpenRouter 获得的推理会不断变得更快、更可靠、更具成本效益，而你一行代码都不用改。 它已经在生效了。新算法带来了显著提升：TTFT（首 token 时间）改善 16.9%，吞吐量提升 16.3%，容量错误大幅减少 46%，而成本仅小幅上升 6.0%。而这还是在提供商们尚未来得及针对新算法做任何优化之前的结果。完整数据见我们的下文「结果」一节。 它如何工作： 它衡量你实际得到的东西。对每个模型，它跟踪每个端点的实际价格、延迟、吞吐量和错误率，并为每个请求挑选成本与性能的最佳组合。 它实时反应。当某个端点出问题时，流量会从它那里移走，直到它恢复。 它奖励更好的推理。进行创新的提供商会自动获得更多流量。 路由依然是缓存感知的：一旦把你送到了某个提供商，只要缓存还是热的，你的会话就会留在那里。 只想要纯价格路由？你仍然可以这么做。参见「保持不变的部分」中关于固定和排序提供商的说明。 我们此前的位置：纯价格路由的局限 OpenRouter 上的大部分流量（约 77% 的请求）都流向由多个提供商共同服务的模型。当请求没有明确指定排序或提供商列表时，我们需要选一个提供商把请求发过去。直到现在，我们的选择几乎完全基于输入 token 的价格。提供商越便宜，获得的流量比例就越高，任何失败的请求都会被重新路由到下一个最便宜的选项。 这种纯价格策略为用户拿到了生态内最低的价格，但也带来了一些意想不到的后果： 便宜胜出，哪怕它很差。 兜底机制接住了失败，但用户要一直等着，而速度上的改进得不到奖励。 静态排名。 算法对实时性能波动视而不见，一个提供商必须差到被完全降级，才会反映到流量分布上。 利润消失。 提供商赢得流量的唯一方式是降价，这迫使它们削减对本就用于保障可靠性和质量的基础设施的投入。 定价游戏。 我们用来排名的价格几乎全是提示词的输入价格，于是提供商可以用奇怪的定价组合维持流量份额，比如标一个低得离谱的输入价，再用高价的缓存 token 或补全 token 把钱赚回来。 我们希望确保这是一个竞争性市场：提供商靠提供更好的推理赢得流量，而不只是更便宜的推理。...