Pub/Sub
- Publication des messages dans le sujet ; chaque abonnement en reçoit une copie
- Abonnement pull : Dataflow lit les messages et les acquitte une fois traités
- Écriture des données transformées
- Abonnement push : Pub/Sub appelle le service HTTPS à chaque message
- Message non acquitté après N tentatives : transféré vers le sujet de lettres mortes
Ce que c'est
Service de messagerie asynchrone géré et mondial, sur le modèle publication / abonnement : les producteurs publient des messages dans un sujet (topic), chaque abonnement rattaché au sujet en reçoit une copie.
- Modes de livraison : pull (le consommateur récupère les messages), push (Pub/Sub appelle un point de terminaison HTTPS), ou export direct vers BigQuery ou Cloud Storage.
- Garanties : livraison au moins une fois par défaut, exactement une fois en option pour les abonnements pull ; ordre garanti seulement entre messages qui partagent une clé d'ordonnancement.
- Acquittement : un message non acquitté avant l'échéance est relivré ; après un nombre d'échecs donné, il peut partir dans un sujet de lettres mortes (dead-letter topic).
- Rétention et relecture : conservation des messages acquittés possible sur l'abonnement ou le sujet, et relecture par seek vers un instantané ou une date.
- Serverless : aucune capacité à provisionner, facturation au volume de messages.
À quoi ça sert
- Point d'entrée des flux d'événements : applications, IoT, journaux, changements de données.
- Découpler producteurs et consommateurs, absorber les pics de charge.
- Alimenter un pipeline de streaming : Pub/Sub → Dataflow → BigQuery.
- Déclencher des traitements à chaque événement (Cloud Run, Eventarc).
À éviter quand l'écosystème attend l'API Kafka (préférer Managed Service for Apache Kafka), ou pour une file de tâches avec contrôle du débit et des tentatives vers un service précis (préférer Cloud Tasks).
Alternatives en logiciel libre
- Apache Kafka : journal d'événements distribué, la référence du streaming ; partitions, rétention longue, relecture.
- Apache Pulsar : sujets et abonnements multiples, multi-tenant, stockage à plusieurs niveaux ; le modèle le plus proche de Pub/Sub.
- NATS JetStream : messagerie légère avec persistance et acquittements.
- RabbitMQ : courtier de messages AMQP, routage fin, files de travail.