Aller au contenu

Open Beta— Latenza est disponible dès maintenant.Commencer gratuitement →

Rate limiting

Protégez votre budget, sans code supplémentaire

Quota par clé API, par organisation ou par modèle. Protégez votre budget, évitez les abus et garantissez un service équitable entre vos équipes — le tout configuré en quelques clics.

Atout
Par clé / org / modèle
Atout
Quotas € ou tokens
Atout
0 abus toléré
limit.config.json
{
  "scope": "api_key",
  "limits": {
    "requests_per_min": 600,
    "tokens_per_day": 2000000,
    "budget_eur_per_month": 250
  },
  "on_exceed": "reject"
}

Ce que ça change

Rate limiting, en pratique.

Quota par clé

Limitez le débit et la dépense de chaque clé API individuellement.

Quota par organisation

Répartissez un budget global entre vos équipes et tenants, avec des limites par groupe.

Quota par modèle

Plafonnez l’usage des modèles les plus coûteux indépendamment du reste.

Protection budget

Stoppez les pics de consommation imprévus avant qu’ils n’impactent votre facture.

Comment ça marche

Une politique de quota lisible

  1. 1Créez vos politiquesDéfinissez des limites en requêtes, tokens ou euros, par clé, org ou modèle.
  2. 2Appliquez-lesAssociez chaque politique aux clés ou organisations concernées depuis le dashboard.
  3. 3Surveillez les seuilsVisualisez l’approche des quotas et recevez une alerte avant le blocage.

Déclarez la limite, la fenêtre et la portée. Latenza applique et compte côté gateway.

limit.config.json
{
  "scope": "api_key",
  "limits": {
    "requests_per_min": 600,
    "tokens_per_day": 2000000,
    "budget_eur_per_month": 250
  },
  "on_exceed": "reject"
}

Prêt à essayer rate limiting ?

Commencez gratuitement. Aucune carte bancaire. Déployé en 5 minutes.