MemoriaGCP

tekio.org

Optimiser les coûts (FinOps)

Le pilier « optimisation des coûts » du Well-Architected Framework repose sur quatre principes : aligner la dépense sur la valeur métier, diffuser la culture du coût dans les équipes, optimiser l'usage des ressources, optimiser en continu. En pratique, l'ordre des leviers compte : supprimer ce qui ne sert à rien, redimensionner ce qui sert, puis seulement changer de modèle de prix (remises, engagements), enfin revoir l'architecture. S'engager sur trois ans pour des VM surdimensionnées fige le gaspillage.

Les quatre principes, appliqués

Principe Pratique sur Google Cloud Outil
Aligner la dépense sur la valeur Coût unitaire (par client, par commande, par Go traité), services gérés et serverless quand ils réduisent le coût total Export de facturation croisé avec les données métier
Culture du coût Étiquettes obligatoires, rapports partagés par équipe, estimation du coût dans chaque dossier d'architecture Cost Management, calculateur de prix
Optimiser l'usage Ressources adaptées à l'environnement : haute disponibilité en production, éphémère et Spot en développement Active Assist, autoscaling
Optimiser en continu Revue périodique des recommandations, alertes sur la dérive, rétention des journaux adaptée à chaque usage FinOps hub, budgets (voir Facturation et budgets)

Le FinOps hub du compte de facturation rassemble les économies déjà réalisées, un score, l'utilisation des engagements et les recommandations de coût issues de Recommender (VM et disques inactifs, types de machine, engagements à souscrire, projets délaissés). La détection d'anomalies signale les écarts à l'historique par projet, et peut publier sur Pub/Sub.

Matrice des leviers

Levier Économie Effort Condition ou risque
Supprimer l'inactif : VM inactives, disques non attachés, adresses IP réservées inutilisées, projets délaissés 100 % de la ressource Faible Vérifier qu'il ne s'agit pas d'un secours ou d'un archivage voulu
Redimensionner les VM, ajuster les requests des pods Variable, souvent la plus grosse Faible à moyen Regarder les pics, pas seulement la moyenne
Arrêter hors heures ouvrées (développement, recette) Nuits et week-ends Faible Planifications d'instances, jobs Cloud Scheduler
Descendre à zéro (Cloud Run, GKE Autopilot au pod) Tout le temps d'inactivité Moyen Démarrage à froid ; pas d'instances minimales hors production
VM Spot Jusqu'à 91 % Moyen Charge interruptible, points de reprise
Remise à l'usage soutenu (SUD) Jusqu'à 20 ou 30 % Aucun Séries N1, N2, N2D, C2, M1, M2 ; comptes en libre-service
Engagement de ressources (CUD) Jusqu'à 55 %, 70 % en mémoire optimisée Moyen 1 ou 3 ans, une région et une configuration
Engagement de dépense flexible (CUD) 28 % à 1 an, 46 % à 3 ans sur la plupart des séries Moyen Montant horaire payé quoi qu'il arrive
BigQuery : édition ou engagement adaptés Engagement de slots Enterprise à −20 % (1 an) ou −40 % (3 ans) ; remise sur engagement de dépense BigQuery à −10 % ou −20 % Moyen Mesurer d'abord les slots consommés
BigQuery : partitionner, clusteriser Proportionnelle au volume non lu Moyen Voir Organiser BigQuery
Classes de stockage et cycle de vie Jusqu'aux tarifs Archive Faible Durées minimales et frais de lecture (voir Classes Cloud Storage)
Réseau : niveau Standard, CDN, co-localisation Selon la part du transfert sortant Moyen Latence, fonctions globales perdues
Journaux : exclusions, rétention Au-delà de 50 Gio par projet et par mois Faible Garder ce que l'audit exige

Remises sur le calcul

  • Usage soutenu (SUD) : automatique, sans engagement, pour les VM qui tournent plus du quart du mois, jusqu'à 30 % (N1, M1, M2, GPU sur N1) ou 20 % (N2, N2D, C2). Les séries récentes (E2, N4, C3, C4...) n'y ont pas droit, les VM de Dataflow non plus, ni un usage déjà couvert par un engagement.
  • Engagement de ressources : vCPU, mémoire, GPU, SSD local d'une configuration donnée, dans une région, pour 1 ou 3 ans. Jusqu'à 55 %, 70 % pour la mémoire optimisée. Rattaché à un projet, mais partageable entre les projets du compte de facturation. Adapté à un socle stable et prévisible.
  • Engagement flexible (dépense) : un montant horaire de dépense sur Compute Engine, GKE et Cloud Run, quels que soient projet, région et série. 28 % à 1 an et 46 % à 3 ans pour la plupart des séries générales, 17 % sur Cloud Run facturé à la requête. Le montant est dû chaque heure, qu'il soit consommé ou non : le dimensionner sur le plancher de la dépense, pas sur la moyenne.
  • VM Spot : jusqu'à 91 % contre une reprise possible à tout moment. Mélangée à un socle d'instances standard dans un groupe géré, elle absorbe les pics à bas prix.

Le choix du calcul lui-même (VM, GKE, Cloud Run) est traité dans Choisir le calcul.

BigQuery : à la demande ou éditions

Critère À la demande Éditions (capacité)
Facturation 6,25 $ par Tio lu (tarif US), premier Tio du mois gratuit Slots à l'heure, à la seconde avec une minute minimale : Standard 0,04 $, Enterprise 0,06 $, Enterprise Plus 0,10 $ par slot-heure (tarif US)
Engagement Aucun Engagement de capacité d'un ou trois ans, en Enterprise et Enterprise Plus seulement : −20 % ou −40 %, au moins 50 slots par tranches de 50, régional et rattaché à son projet d'administration, non supprimable avant son terme ; à l'échéance, renouvelé pour un ou trois ans selon son plan de renouvellement, ou supprimé si ce plan vaut NONE ; ou remise sur engagement de dépense, toutes éditions
Garde-fou maximum_bytes_billed, quotas par jour Taille de base et maximale de la réservation
Adapté à Usage irrégulier, petits volumes, requêtes bien élaguées ELT lourd et répété, tableaux de bord intensifs, coût prévisible
  • Les slots inactifs d'une réservation profitent aux autres réservations du même projet d'administration et de la même édition ; l'autoscaling ajoute des slots par multiples de 50, facturés même si les requêtes ne les utilisent pas tous, avec une minute minimale que la facturation fluide (fluid scaling), activable par réservation, supprime.
  • Un projet sans affectation retombe à la demande : affecter la réservation au niveau du dossier ou de l'organisation, et assigner explicitement None aux exceptions.
  • Les requêtes batch ont une priorité plus basse et attendent qu'il y ait de la capacité ; elles ne sont pas moins chères. Leur intérêt est de protéger les requêtes interactives d'une même réservation.
  • Le stockage d'une table ou d'une partition non modifiée depuis 90 jours passe automatiquement au tarif long terme, environ moitié prix, sans perte de performance.

Pic court et récurrent (traitement lourd du lundi matin, clôture mensuelle) : une réservation à autoscaling, base à 0 et maximum de slots fixé, sans engagement. L'autoscaling ajoute des slots par multiples de 50 dès que les requêtes en demandent, les facture au tarif de l'édition tant qu'ils sont alloués, puis les rend après une fenêtre d'au moins 60 secondes sans nouveau pic. Un engagement de capacité dure un ou trois ans et se paie chaque heure, que les slots servent ou non : il couvre le socle consommé en permanence, jamais le pic. Les deux se combinent : slots engagés en base, autoscaling au-dessus.

  • L'édition Standard plafonne une réservation à 1 600 slots ; au-delà, prendre Enterprise.
  • En cas de forte demande dans la région, BigQuery sert d'abord les bases et les engagements, puis l'autoscaling d'Enterprise Plus, d'Enterprise, et en dernier Standard et la demande. Pour un événement exceptionnel, très différent de la charge des semaines passées, la documentation conseille de relever la base à l'avance plutôt que de compter sur l'autoscaling.

Ce que chaque édition inclut

Fonction Standard Enterprise Enterprise Plus À la demande
Modèle de calcul Autoscaling seul, sans slots de base Base et autoscaling Base et autoscaling À la demande
Engagement de capacité (1 ou 3 ans) Non Oui Oui Non
Taille d'une réservation 1 600 slots au plus Quota régional Quota régional —
Affectation des réservations Projet Projet, dossier, organisation Projet, dossier, organisation —
Partage des slots inactifs, cible de concurrence Non Oui Oui Non
Objectif de disponibilité mensuel 99,9 % 99,99 % 99,99 % 99,99 %
BigQuery ML Non Oui Oui Oui
Sécurité fine : contrôle d'accès aux colonnes (policy tags), sécurité au niveau des lignes, masquage dynamique Non Oui Oui Oui
Clés CMEK Non Oui Oui Oui
VPC Service Controls Non Oui Oui Oui
Vues matérialisées Interrogation directe des vues existantes seulement Création, actualisation automatique et manuelle, réglage intelligent Idem Idem
Cache des résultats Par utilisateur Partagé entre utilisateurs Partagé entre utilisateurs Par utilisateur
BI Engine Non Oui Oui Oui
Index de recherche et index vectoriels Non : SEARCH et VECTOR_SEARCH sans index Oui Oui Oui
Requêtes continues Non Oui Oui Non
Inférence par modèles distants sur tables d'objets Non : SQL seulement Oui Oui Oui
BigQuery Omni (AWS, Azure) Non Oui Non Oui
Export vers Bigtable, Spanner, AlloyDB Non Oui Oui Non
Reprise après sinistre gérée Non Non Oui Non
Contrôles de conformité par Assured Workloads Non Non Oui Oui

L'édition est une propriété de la réservation, pas des données : un même dataset s'interroge depuis n'importe quelle édition, dans les limites de ses fonctions. Changer d'édition impose de supprimer et recréer la réservation, et les slots inactifs ne se prêtent qu'entre réservations de la même édition. Google prévient que la répartition des fonctions peut évoluer : une réservation Standard n'est pas un moyen d'interdire BigQuery ML ou une autre fonction.

Mesurer avant de choisir : volume facturé et slots consommés sur 30 jours, par utilisateur.

SELECT
  user_email,
  ROUND(SUM(total_bytes_billed) / POW(1024, 4), 2) AS tio_factures,
  ROUND(SUM(total_slot_ms) / 1000 / 3600, 1) AS slot_heures
FROM `region-REGION`.INFORMATION_SCHEMA.JOBS
WHERE creation_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
  AND job_type = "QUERY"
GROUP BY user_email
ORDER BY tio_factures DESC;

tio_factures multiplié par le prix au Tio donne le coût à la demande ; slot_heures multiplié par le prix de l'édition donne un plancher du coût en capacité, l'autoscaling facturant davantage que les slots réellement utilisés.

Réseau et serverless

  • Transfert sortant : l'entrée est gratuite ; le trafic entre zones d'une même région coûte 0,01 $ par Gio, entre régions davantage, vers internet au barème du niveau de service. Placer ensemble les services qui échangent beaucoup, et vérifier qu'un déploiement multizone ou multirégion est justifié par la disponibilité.
  • Niveau Standard : sortie internet moins chère, au prix d'un trajet sur l'internet public et sans adresse globale (voir Network Service Tiers). Le niveau se choisit adresse par adresse.
  • Cloud CDN : le transfert d'une VM vers le cache n'est pas facturé, seuls le remplissage et la livraison le sont ; il réduit la sortie des origines pour du contenu cacheable.
  • Descente à zéro : Cloud Run en facturation à la requête ne coûte rien sans trafic ; des instances minimales, ou la facturation à l'instance, font payer en continu. GKE Autopilot facture les requests des pods, Standard les nœuds, occupés ou non.

Trouver où part l'argent

Services et SKU les plus coûteux sur 30 jours, à partir de l'export de facturation :

SELECT
  service.description AS service,
  sku.description AS sku,
  ROUND(SUM(cost), 2) AS cout_brut,
  ROUND(SUM(cost) + SUM(IFNULL((SELECT SUM(c.amount) FROM UNNEST(credits) c), 0)), 2) AS cout_net
FROM `PROJECT_ID.DATASET.gcp_billing_export_v1_XXXXXX_XXXXXX_XXXXXX`
WHERE usage_start_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 30 DAY)
GROUP BY service, sku
ORDER BY cout_net DESC
LIMIT 20;

L'écart entre cout_brut et cout_net montre le poids des remises et crédits ; un SKU cher sans remise est un candidat à l'engagement, un SKU dont la ligne monte sans hausse d'activité, un candidat à la chasse au gaspillage. L'export détaillé (gcp_billing_export_resource_v1_…) descend jusqu'à la ressource.

Pièges

  • S'engager avant d'avoir nettoyé. Un engagement de trois ans calculé sur l'usage actuel fige des VM surdimensionnées. Redimensionner d'abord, s'engager ensuite sur le socle restant.
  • Croire qu'un engagement se revend. Il se paie jusqu'au terme ; un engagement flexible trop large coûte plus cher que le tarif à la demande.
  • Compter sur les SUD pour les séries récentes. E2, N4, C3 et C4 n'y ont pas droit : la comparaison de prix se fait avec les engagements.
  • S'engager sur un an pour absorber un pic hebdomadaire. L'engagement se paie toutes les heures de l'année ; une réservation à autoscaling ne facture que les minutes du pic.
  • Passer en requêtes batch pour économiser. Le prix est le même ; seule la file d'attente change.
  • Laisser un projet BigQuery hors réservation. Il est facturé à la demande sans que personne le voie, en parallèle des slots payés.
  • Appliquer les recommandations en lot. Une VM « inactive » peut être un secours, un gain affiché est une estimation.
  • Stocker tous les journaux, partout. Au-delà du palier gratuit, l'ingestion se paie par Gio, et chaque copie routée vers un autre bucket se paie à nouveau.

Alternatives en logiciel libre

  • OpenCost (Apache 2.0) : coût par espace de noms, charge de travail et étiquette dans Kubernetes, y compris sur GKE ; la base d'une refacturation par équipe dans un cluster partagé.
  • Cloud Custodian (Apache 2.0) : règles déclaratives qui trouvent et arrêtent ou suppriment les ressources inactives, non étiquetées ou hors horaires ; ce que les recommandations proposent, appliqué automatiquement.
  • Robusta KRR (MIT) : recommandations de requests et limits calculées sur l'historique Prometheus ; le redimensionnement des pods, là où Recommender traite surtout les VM.
  • Goldilocks (Apache 2.0) : exploite l'autoscaler vertical de Kubernetes en mode recommandation et affiche les valeurs proposées par charge.
  • KEDA (Apache 2.0) : mise à l'échelle sur événements (file, sujet Pub/Sub, métrique) avec descente à zéro ; le comportement de Cloud Run pour des charges Kubernetes.
  • Infracost (Apache 2.0) : coût d'un changement Terraform ou OpenTofu avant application, pour que le prix entre dans la revue de code.