MemoriaGCP

tekio.org

Quotas et limites

Un quota atteint ne dégrade pas un service : il le refuse. La VM ne se crée pas, l'appel d'API répond 429, le job de chargement échoue. Trois réflexes évitent de le découvrir en production : savoir quelle borne s'applique et à quel niveau, surveiller le ratio consommation/quota des bornes structurantes, et écrire du code qui encaisse un refus passager. Le cadre Well-Architected range ce suivi dans le pilier performance (planifier l'allocation des ressources). Le service qui expose tout cela est Cloud Quotas.

Quota ou limite du système

Borne Ce qu'elle limite Exemple Ce qui la libère Se relève ?
Quota d'allocation Un stock de ressources détenues vCPU par région, adresses IP externes, GPU Supprimer des ressources Oui, par préférence de quota
Quota de débit Une cadence sur une période Requêtes par minute, octets interrogés par jour La fin de la fenêtre : glissante d'une minute, ou minuit heure du Pacifique pour un quota journalier Oui
Quota de simultanéité Des opérations longues en cours Opérations d'insertion Compute Engine La fin des opérations Oui
Limite du système Une contrainte d'architecture Colonnes par table BigQuery, taille maximale d'un message Rien : on conçoit autour Non
  • Portée. La plupart des quotas s'appliquent au projet ; certains au dossier, à l'organisation ou à l'utilisateur (nombre de projets créés). Un quota est global, régional ou zonal, et une ressource peut cumuler un quota zonal et un quota régional.
  • Dimensions. Un quota se décline par dimension (region, gpu_family, network_id...). La valeur relevée l'est pour une combinaison de dimensions, pas pour tout le projet.
  • Quota ≠ capacité. Un quota autorise, il ne réserve rien. Une zone à court d'un type de machine refuse la création (ZONE_RESOURCE_POOL_EXHAUSTED) alors qu'il reste du quota. La capacité garantie passe par une réservation Compute Engine, notamment pour la région de secours d'un plan de reprise (voir Régions, zones et résilience).
  • GPU. Il faut à la fois le quota du modèle de GPU dans la région (standard, Spot ou engagé, chacun le sien) et le quota global GPUs (all regions).

Consulter et relever

  • Console : IAM et administration → Quotas et limites du système (Quotas & System Limits), avec l'usage courant, le pic et les demandes en cours. Les valeurs y sont rafraîchies une fois par jour.
  • CLI : gcloud quotas info (lecture) et gcloud quotas preferences (demandes), en disponibilité générale ; les variantes beta et alpha existent aussi. Pour Compute Engine, gcloud compute regions describe REGION affiche en un coup les quotas régionaux et leur consommation.
  • Préférence de quota (QuotaPreference) : la valeur souhaitée pour un quota et une combinaison de dimensions, déclarée par la console, l'API, gcloud ou l'IaC. La plupart des demandes sont évaluées automatiquement (disponibilité des ressources, ancienneté du compte, historique) ; certaines passent en examen humain, et une hausse peut être conditionnée à un paiement anticipé.
  • Ajusteur de quota (quota adjuster) : activé sur un projet, il relève lui-même de 10 à 20 % un quota dont le pic approche la valeur, sur les quotas compatibles (vCPU Compute Engine, Cloud Run, Cloud Build, Cloud KMS, Logging, Monitoring...). Il ne baisse jamais une valeur, exige un historique de consommation suffisant et ne se règle au niveau dossier ou organisation que par API ou gcloud.
# Valeur et dimensions d'un quota
gcloud quotas info describe CPUS-per-project-region \
  --service=compute.googleapis.com --project=PROJECT_ID

# Demander 200 vCPU dans une région
gcloud quotas preferences create --project=PROJECT_ID \
  --service=compute.googleapis.com --quota-id=CPUS-per-project-region \
  --dimensions=region=REGION --preferred-value=200 \
  --email=EMAIL --justification="Montée en charge prévue"

# Laisser l'ajusteur relever les quotas compatibles
gcloud quotas adjuster settings update --project=PROJECT_ID --enablement=enabled

Sans adresse de contact (--email) ayant le droit de modifier les quotas, une demande qui exige un complément d'information est refusée. Dans un socle en code (voir Fondations en code), la même préférence se déclare avec les autres ressources du projet :

import pulumi_gcp as gcp

vcpu = gcp.cloudquota.SQuotaPreference("vcpu-region",
    parent="projects/PROJECT_ID",
    service="compute.googleapis.com",
    quota_id="CPUS-per-project-region",
    dimensions={"region": "REGION"},
    contact_email="EMAIL",
    quota_config={"preferred_value": "200"},
)

Erreurs courantes

Erreur Cause Action
HTTP 429 Too Many Requests, gRPC RESOURCE_EXHAUSTED Quota de débit d'une API dépassé (requêtes par minute) Relance avec délai exponentiel et gigue ; regrouper les appels ; préférence de quota si le dépassement est structurel
Compute Engine 403 QUOTA_EXCEEDED (Quota 'CPUS' exceeded) Quota d'allocation régional : vCPU, famille de VM, IP, disques, GPU Libérer des ressources, autre région, préférence de quota ; pour un GPU, vérifier aussi le quota global
Compute Engine 403 RATE_LIMIT_EXCEEDED Quota de débit de l'API Compute Engine (création en rafale, sondage trop fréquent) Relance espacée ; opérations groupées (groupes d'instances gérés) plutôt que des appels unitaires
ZONE_RESOURCE_POOL_EXHAUSTED Pas de capacité dans la zone : ce n'est pas un quota Autre zone ou type de machine ; réservation pour la capacité critique
BigQuery 403 rateLimitExceeded Limite à court terme : trop de requêtes d'API ou de jobs en peu de temps Relance avec délai, que les bibliothèques clientes et Dataflow font déjà
BigQuery 403 quotaExceeded Quota ou limite de volume : 1 500 modifications par table standard et par jour (chargement, copie ou requête qui écrit, chargements en échec compris ; limite non modifiable), 100 000 jobs de chargement par jour et par projet, 1 000 requêtes interactives en file, quota personnalisé d'octets interrogés Ne pas relancer en boucle : regrouper les chargements, écrire par la Storage Write API (hors du compte des modifications), passer en requêtes batch, attendre la remise à zéro
429 sur Gemini (Gemini Enterprise Agent Platform) Débit partagé du Standard PayGo dépassé ou rafale à la seconde Point de terminaison global, trafic lissé sur la minute, relance avec délai ; débit réservé (Provisioned Throughput) pour une charge stable
No quota project set, API not enabled in the project Identifiants utilisateur (ADC) sans projet de quota défini, le projet auquel l'appel est imputé gcloud auth application-default set-quota-project PROJECT_ID, ou --billing-project sur la commande

Côté BigQuery, la simultanéité est bornée à 2 000 slots par projet à la demande (voir Organiser BigQuery), et à deux instructions DML de modification simultanées par table, les suivantes étant mises en file.

Surveiller et alerter

Les quotas publient leurs métriques dans Cloud Monitoring, sur la ressource Consumer Quota (consumer_quota) :

Métrique (serviceruntime.googleapis.com/…) Contenu
quota/allocation/usage Consommation d'un quota d'allocation
quota/rate/net_usage Consommation d'un quota de débit
quota/limit Valeur du quota, à mettre en regard des deux précédentes
quota/exceeded Nombre de tentatives refusées pour dépassement
  • Alerte de la console : dans Quotas et limites du système, menu d'une ligne → Create usage alert crée une règle sur un pourcentage du quota, pour les quotas de niveau projet.
  • Seuils : alerter à 80 % des quotas qui bloquent une montée en charge (vCPU par région, IP externes, GPU, requêtes d'écriture des API critiques), et sur toute valeur non nulle de quota/exceeded pour les API de production. Le routage des alertes est décrit dans Alertes et incidents.
  • Ajusteur : ses hausses se suivent dans la même page et peuvent déclencher une alerte, pour garder la trace des valeurs relevées automatiquement.

Concevoir avec les limites

Relancer ce qui est passager, et seulement cela. Une erreur de débit (429, rateLimitExceeded, 503) passe en attendant ; une erreur d'allocation ou un quota journalier épuisé (quotaExceeded) ne passe pas en quelques secondes, et une relance en boucle aggrave la charge. L'attente croît exponentiellement, avec une gigue (jitter) aléatoire qui évite que tous les clients relancent au même instant. Les bibliothèques clientes Google appliquent déjà une politique de ce type ; google.api_core.retry.Retry l'adapte, en paramètre retry= de leurs méthodes ou en décorateur d'une fonction applicative :

from google.api_core import exceptions, retry


def passager(exc: Exception) -> bool:
    if isinstance(exc, (exceptions.TooManyRequests, exceptions.ServiceUnavailable)):
        return True  # 429 / RESOURCE_EXHAUSTED, 503
    if isinstance(exc, exceptions.Forbidden):  # 403 BigQuery : seule la limite à court terme passe
        return any(isinstance(e, dict) and e.get("reason") == "rateLimitExceeded" for e in exc.errors)
    return False


# Attente tirée entre 0 et un plafond qui double à chaque essai (1 s, 2 s, 4 s... 60 s), abandon après 5 min.
relance = retry.Retry(predicate=passager, initial=1.0, multiplier=2.0, maximum=60.0, timeout=300.0)


@relance
def publier_lot(lignes):
    ...  # appels d'API

Regrouper. Un appel qui porte cent éléments ne compte qu'une fois sur un quota compté en requêtes : lots d'écritures, GroupIntoBatches dans Dataflow (voir Diagnostiquer un pipeline Dataflow), Storage Write API plutôt que des jobs de chargement répétés sur une même table.

Répartir. Les quotas régionaux sont indépendants d'une région à l'autre, et les quotas de projet d'un projet à l'autre : un découpage par environnement ou par équipe (voir Hiérarchie des ressources) sépare aussi les quotas. Les quotas de niveau dossier ou organisation, eux, s'additionnent.

Anticiper. Demander les hausses avant un lancement, une migration ou un pic saisonnier : une demande examinée à la main prend du temps, et la valeur relevée ne vaut que pour la région demandée.

Des quotas comme garde-fous de coût

Un quota bas borne un volume, donc indirectement une dépense, là où un budget ne fait qu'alerter (voir Facturation et budgets).

  • BigQuery à la demande : les quotas personnalisés QueryUsagePerDay (projet, 200 Tio par défaut) et QueryUsagePerUserPerDay (chaque utilisateur, illimité par défaut) bornent les octets interrogés par jour. Le contrôle est préventif : une requête qui dépasserait le reste du quota est refusée d'emblée. Remise à zéro à minuit heure du Pacifique ; sans effet en éditions (slots).
  • API facturées à l'appel : baisser le quota de requêtes par jour ou par minute (et par utilisateur quand l'API le propose) d'un projet bac à sable.
  • Projets de test : garder des quotas de vCPU et de GPU bas pour qu'une boucle de création ou un autoscaling mal réglé bute sur un refus plutôt que sur une facture.

L'application d'un quota n'est pas instantanée : un léger dépassement est possible entre le franchissement et le refus. Garder une marge quand un quota sert de plafond de dépense. Une baisse de plus de 10 % ou sous la consommation courante doit être confirmée explicitement (--allow-high-percentage-quota-decrease, --allow-quota-decrease-below-usage).

Pièges

  • Relever le quota d'une seule région. Le basculement vers la région de secours échoue faute de vCPU, le jour où il sert. Aligner les quotas des deux régions, et réserver la capacité critique.
  • Oublier le quota global des GPU. Le quota régional d'un modèle accordé ne suffit pas si GPUs (all regions) reste à sa valeur initiale.
  • Relancer sur quotaExceeded. Une boucle de relance sur un quota journalier épuisé ne fait que consommer du débit et remplir les journaux.
  • Confondre refus de capacité et refus de quota. ZONE_RESOURCE_POOL_EXHAUSTED ne se règle pas par une demande de quota, mais en changeant de zone ou de type de machine.
  • Lire la console comme une valeur en temps réel. Les valeurs de quota y sont rafraîchies une fois par jour ; pendant le déploiement d'une nouvelle valeur par défaut, le message d'erreur (futureLimit) fait foi.

Alternatives en logiciel libre

  • Kubernetes (Apache 2.0) : ResourceQuota borne ce qu'un espace de noms peut détenir et LimitRange fixe les valeurs par pod, le modèle du quota d'allocation par projet appliqué à un cluster.
  • OpenStack Keystone (Apache 2.0) : limites unifiées par projet et par région, avec des valeurs par défaut et des surcharges, comme les quotas d'un cloud privé.
  • Envoy (Apache 2.0) et son service ratelimit (Apache 2.0) : limitation de débit locale ou globale par descripteur (clé d'API, utilisateur, route), l'équivalent d'un quota de débit devant ses propres API.
  • Tenacity (Apache 2.0) : relances en Python avec délai exponentiel, gigue et prédicats sur l'exception, pour les appels qui ne passent pas par une bibliothèque cliente Google.
  • Resilience4j (Apache 2.0) : relance, limiteur de débit, disjoncteur et cloisonnement pour la JVM, pour encaisser les refus d'une API sans l'inonder.
  • Prometheus et Alertmanager (Apache 2.0) : suivi du ratio consommation/limite et alerte avant saturation, ce que font ici les métriques de quota dans Cloud Monitoring.