ModelSite
平台概念

限流与配额

速率限制、配额与 429 处理

平台在两层做限制:速率(RPM/TPM)余额配额,按 API Key / 组织 / 档位计算。

速率限制

维度含义
RPM每分钟请求数(Requests Per Minute)
TPM每分钟 token 数(Tokens Per Minute)
并发同时进行的请求数

额度由你的档位(tier)模型决定,越高的档位额度越大。响应头会带上当前用量与上限:

响应头说明
x-ratelimit-limit-requestsRPM 上限
x-ratelimit-limit-tokensTPM 上限
x-ratelimit-remaining-requests本分钟剩余请求数
x-ratelimit-remaining-tokens本分钟剩余 token
retry-after触发 429 时建议等待秒数

配额(余额)

每次成功调用按 计费 实时扣费。余额不足返回 402 insufficient_quota,需充值或升级。

触发 429 怎么办

# 读 retry-after / 指数退避
import time
for i in range(5):
    r = call()
    if r.status_code != 429:
        break
    time.sleep(int(r.headers.get("retry-after", 2 ** i)))

建议:客户端做并发控制(令牌桶 / 信号量)+ 指数退避,避免打满 RPM。

On this page