Vercel AI Gateway 预算上限：Agent 时代 Token 成本治理原语
2026-06-19 00:00:00
Vercel Ship 2026 发布 AI Gateway Spend Caps——为 Agent Token 成本治理 提供基础设施级杠杆。
机制
- 为任意 AI Gateway API Key 设置 Spend Cap（支出上限）
- 达上限后 拒绝该 Key 全部请求（直至周期重置或人工提额）
- 跨 Provider/Model 统一计量——一个 Key 管控全部模型 spend
为什么重要
Agent 长时运行 + 多步 Tool 调用 → Token 账单不可预测。Spend Cap 是 硬熔断，比事后对账更早。
与 Microsoft Copilot Credits 对比
| 方案 | 粒度 | 熔断 |
|---|---|---|
| Copilot Credits | 按任务扣点 | 租户级告警/上限 |
| AI Gateway Cap | 按 API Key | Key 级硬拒绝 |
实践建议
- 开发/Staging/Prod 分 Key + 分 Cap
- 与 Langfuse/OpenTelemetry Trace 关联，分析 哪类 Agent 任务超支
- 国内自建 LLM 网关（One API/New API）可参考 同类 Cap 设计