MemoriaGCP

tekio.org

Observer : métriques, journaux, traces, SLO

Google Cloud Observability réunit six services qui se partagent le travail : Cloud Monitoring pour les métriques, les tableaux de bord, les SLO et les alertes, Managed Service for Prometheus pour les métriques au format Prometheus, Cloud Logging pour les journaux, Cloud Trace pour les traces distribuées, Cloud Profiler pour le profilage continu et Error Reporting pour le regroupement des exceptions. Le pilier fiabilité du Well-Architected Framework en fait un principe (Detect potential failures by using observability) : métriques, journaux et traces se complètent, et chacun répond à une question différente. Cette section traite de l'usage en production ; l'installation de Grafana et le branchement des notifications sont dans l'onglet DevOps (Brancher Grafana, Notifications et tickets).

OTLP métrique de journal exceptions SQL Compute Engine agent Ops GKE Prometheus managé Services managés Cloud Run, Cloud SQL Cloud Monitoring métriques, SLO Cloud Logging journaux, routeur Cloud Trace spans, 30 jours Alertes règles, burn rate Tableaux de bord Monitoring, Grafana Error Reporting groupes d'erreurs Analyse SQL Observability Analytics
Signaux d'observabilité et leurs usages

Les services managés publient leurs métriques et leurs journaux sans agent ; une VM a besoin de l'agent Ops, un cluster GKE collecte ses métriques Prometheus par le service managé. Une entrée de journal peut devenir une métrique, donc une alerte ; une exception journalisée alimente Error Reporting ; journaux et spans s'interrogent en SQL dans Observability Analytics, le nom que la documentation de Logging donne à l'analyse SQL (la page de tarifs dit Log Analytics).

Quelle question, quel outil

Question Outil Remarque
Le service tient-il ses objectifs ? SLO de Cloud Monitoring Calculé sur des métriques, sans code ; voir plus bas
Qu'est-ce qui sature ? CPU, mémoire, file, disque Explorateur de métriques (PromQL) Métriques Google Cloud gratuites, conservées six semaines
Que s'est-il passé sur cette requête ? Explorateur de journaux Langage de requête Logging ; filtrer par trace pour suivre la requête
Combien d'erreurs 5xx par client sur un mois ? Observability Analytics, ou puits vers BigQuery SQL sur les buckets de journaux ; BigQuery pour des jointures lourdes et longues
Où la requête perd-elle son temps entre services ? Cloud Trace Traces OpenTelemetry ; Cloud Run trace d'office, sans facturer ces spans
Quelle fonction consomme le CPU ou la mémoire ? Cloud Profiler Go, Java, Node.js, Python ; gratuit
Quelles erreurs nouvelles depuis la dernière livraison ? Error Reporting Regroupe par trace de pile ; renseigner serviceContext.version
Qui a modifié cette ressource ? Journaux d'audit Voir Détection et conformité
Le site répond-il vu de l'extérieur ? Vérification de disponibilité, moniteur synthétique Sondes depuis plusieurs régions
Est-ce une panne de Google ? Personalized Service Health Voir Alerter et gérer les incidents

Collecter selon la plateforme

Plateforme Métriques Journaux Traces
Compute Engine Agent Ops : système, GPU, une quarantaine d'applications tierces (MySQL, NGINX, Kafka...) Agent Ops (Fluent Bit) Agent Ops (collecteur OpenTelemetry) ou collecteur séparé
GKE Métriques système et Managed Service for Prometheus activés d'office ; paquets optionnels : plan de contrôle, kube-state, cAdvisor/Kubelet Journaux système, d'audit et applicatifs envoyés d'office Collecteur OpenTelemetry dans le cluster
Cloud Run Requêtes, latences, instances, CPU et mémoire, sans configuration stdout et stderr, structurés si JSON Spans automatiques, plus ceux du SDK OpenTelemetry
Services managés (Cloud SQL, Pub/Sub, Dataflow...) Publiées d'office, non facturées Journaux de service et d'audit Selon le service

Sur GKE Autopilot, l'envoi vers Cloud Logging et Cloud Monitoring ne se désactive pas. Pour relier journaux et traces, l'application écrit du JSON sur stdout avec le champ logging.googleapis.com/trace : l'explorateur affiche alors les journaux d'une trace, et inversement. Plusieurs projets d'un même environnement se regardent ensemble par un champ d'application des métriques (metrics scope) rattaché à un projet de supervision.

Les quatre signaux dorés

Le livre SRE de Google (Monitoring Distributed Systems) retient quatre signaux pour un service exposé aux utilisateurs ; le pilier fiabilité ajoute de les mesurer au plus près de l'utilisateur — navigateur, sinon load balancer ou service de tête —, et de ne pas juger la fiabilité sur le seul CPU.

Signal Ce qu'il mesure Load balancer HTTP(S) Cloud Run
Latence Temps de réponse, en séparant succès et échecs (une erreur rapide fausse la moyenne) https/total_latencies request_latencies
Trafic Demande : requêtes par seconde, sessions, débit https/request_count request_count
Erreurs Échecs explicites (5xx), implicites (200 au contenu faux), ou par politique (réponse trop lente) https/request_count par response_code_class request_count par response_code_class
Saturation Remplissage de la ressource la plus contrainte ; la latence monte souvent avant Utilisation des backends container/cpu/utilizations, container/max_request_concurrencies

Les latences sont des distributions : lire des percentiles (p50, p95, p99), jamais une moyenne, qui masque la traîne.

SLI, SLO et budget d'erreur

Le pilier fiabilité donne trois règles : définir la fiabilité par l'expérience utilisateur (taux de requêtes réussies, latence ressentie), viser un objectif réaliste, jamais 100 %, et traiter l'écart comme un budget d'erreur qu'on peut dépenser en livraisons et en expériences. Le pilier excellence opérationnelle demande des SLO « SMART » : spécifiques, mesurables, atteignables, pertinents, bornés dans le temps.

Dans Cloud Monitoring, un SLO s'attache à un service :

  • Services reconnus : espaces de noms, services et charges de travail GKE, services Cloud Run, App Engine, Cloud Service Mesh et Istio. Tout le reste passe par un service personnalisé, par exemple bâti sur les métriques du load balancer.
  • SLI par requêtes : ratio de bonnes requêtes (filtres « bonnes », « mauvaises », « total », deux sur trois) ou coupe d'une distribution de latence (distribution_cut). SLI par fenêtres : part des intervalles jugés bons, obligatoire quand la seule donnée disponible est un percentile, mais qui pèse autant une minute creuse qu'une minute chargée.
  • Période : calendaire (jour, semaine, quinzaine, mois) ou glissante de 1 à 30 jours. Objectif au plus 99,9 % ; jusqu'à 500 SLO par service.
  • Budget : (1 − objectif) × événements de la période. À 99,9 % sur 30 jours glissants, c'est 43 minutes d'indisponibilité totale, ou 1 requête sur 1 000.

Un SLO interne se fixe plus strict que l'engagement contractuel (SLA) : il prévient avant la pénalité. Les alertes sur la vitesse de consommation du budget sont détaillées dans Alerter et gérer les incidents.

Écrire une politique de budget d'erreur avant d'en avoir besoin : quand le budget du mois est épuisé, on gèle les mises en production non correctives et l'équipe passe sur la fiabilité. Sans cette règle, le SLO reste un graphique.

Tableaux de bord : Monitoring ou Grafana

  • Tableaux prédéfinis : chaque service (GKE, Cloud SQL, Cloud Run...) a le sien, et les intégrations installent tableaux et alertes recommandés pour les applications tierces. C'est le point de départ d'un diagnostic, pas un outil d'astreinte.
  • Un tableau par service, construit sur les quatre signaux dorés et l'état du SLO. Le reste s'explore à la demande dans l'explorateur de métriques : un mur de cent graphiques ne sert à personne en pleine nuit.
  • Tableaux en code : un tableau Cloud Monitoring est un JSON ; il se versionne et se déploie avec gcp.monitoring.Dashboard (Pulumi). Cloud Monitoring importe aussi les tableaux Grafana au format JSON.
  • Grafana quand les sources sont multiples (autres clouds, Prometheus existant, BigQuery) ou que l'équipe réutilise des tableaux communautaires. Installation et authentification : Brancher Grafana. Ses lectures passent par l'API Monitoring, facturée au-delà d'un quota gratuit, contrairement à la console.

Coût de l'observabilité

Poste Tarif (Google Cloud Observability) Levier
Journaux 0,50 $/Gio ingéré au-delà de 50 Gio par projet et par mois, 30 jours de stockage compris ; 0,01 $/Gio/mois au-delà de 30 jours ; routage et analyse gratuits Filtres d'exclusion sur le puits _Default ; échantillonnage sample(insertId, 0.1) ; journaux d'accès aux données activés au cas par cas
Métriques Métriques Google Cloud gratuites ; autres métriques (agent, personnalisées, basées sur les journaux) à 0,258 $/Mio au-delà de 150 Mio Page Metrics Management : volume, cardinalité et usage de chaque métrique, exclusion des inutiles
Prometheus À l'échantillon : 0,06 $ par million jusqu'à 50 milliards, dégressif ensuite Intervalle de collecte, metricRelabeling pour écarter séries et étiquettes
Traces 0,20 $ par million de spans au-delà de 2,5 millions par compte de facturation Échantillonnage dans le collecteur OpenTelemetry
Alertes Facturation annoncée à partir du 1er septembre 2027 au plus tôt : 0,35 $ par mois et par métrique référencée dans une condition, 0,50 $ par million de points renvoyés Conditions agrégées, peu de règles redondantes

Le coût d'une métrique suit sa cardinalité : chaque combinaison de valeurs d'étiquettes est une série. Une métrique basée sur les journaux accepte 10 étiquettes et 30 000 séries actives ; une métrique personnalisée, 30 étiquettes et 200 000 séries actives par ressource surveillée. Un identifiant d'utilisateur ou de requête en étiquette fait exploser les deux. Le détail du suivi des dépenses est dans Optimiser les coûts.

Un filtre d'exclusion ne s'applique qu'au puits qui le porte. Exclure les journaux d'accès du load balancer du puits _Default et les router en parallèle vers un bucket Cloud Storage garde une trace complète pour un coût de stockage objet.

Pièges

  • Surveiller les causes, pas les symptômes. Un CPU à 90 % qui ne dégrade aucune requête n'est pas une panne ; une latence p99 qui double en est une, même avec un CPU calme.
  • Compter avec des journaux. Dix millions d'entrées par jour pour en tirer un compteur coûtent bien plus cher qu'une métrique ; les journaux servent au détail, les métriques à la mesure.
  • Rétentions courtes. Six semaines pour les métriques Google Cloud, 30 jours pour le bucket _Default et pour les spans. Une analyse de tendance sur l'année demande un bucket à rétention longue, un puits vers BigQuery ou une métrique personnalisée (24 mois).
  • Journaux non structurés. Du texte libre ne se filtre pas par champ et ne se relie pas aux traces : écrire du JSON avec severity, message et l'identifiant de trace.
  • Données sensibles dans les journaux. Tout rôle de lecture du projet les voit ; masquer avant l'écriture (voir Données sensibles et gouvernance).
  • Un projet, une vue. Sans champ d'application des métriques, chaque équipe cherche dans le bon projet au mauvais moment ; en créer un par environnement (375 projets recommandés au plus).

Alternatives en logiciel libre

  • OpenTelemetry (Apache 2.0) : SDK et collecteur qui produisent métriques, journaux et traces dans un format neutre ; c'est déjà l'entrée recommandée de Cloud Trace et de l'agent Ops, et le seul composant à garder pour changer de backend.
  • Prometheus (Apache 2.0) : collecte par scraping, stockage local et PromQL ; le même langage que Cloud Monitoring, mais rétention, haute disponibilité et vue globale restent à construire (Thanos, Mimir).
  • Grafana Loki (AGPL v3) : journaux indexés par étiquettes et stockés sur objet, interrogés en LogQL ; l'équivalent de Cloud Logging, sans analyse SQL.
  • Jaeger (Apache 2.0) : collecte, stockage et exploration de traces distribuées, compatible OTLP ; le pendant de Cloud Trace.
  • Grafana Pyroscope (AGPL v3) : profilage continu en production avec comparaison entre versions, comme Cloud Profiler.
  • Pyrra (Apache 2.0) : SLO déclarés en ressources Kubernetes, avec tableaux de budget d'erreur et règles Prometheus générées ; l'équivalent des services et SLO de Cloud Monitoring pour une pile Prometheus.