MemoriaGCP

tekio.org

Datastream

Sur site ou autre cloudProjet GCPBase sourceMySQL, Oracle, PGDatastreamflux CDC + backfillBigQuerytables répliquéesLookertableaux de bordCloud Storagefichiers Avro ou JSONDataflowmodèle de chargement123456
  1. Remplissage initial : Datastream lit les tables entières pour constituer l'état de départ
  2. Puis capture continue des changements dans le journal de transactions de la source, par connectivité privée
  3. Écriture des événements dans les tables BigQuery, en mode fusion ou en ajout seul
  4. Les tableaux de bord interrogent des tables à quelques minutes de la source
  5. Variante : le flux d'événements est déposé en fichiers Avro ou JSON dans un bucket
  6. Un modèle Dataflow relit ces fichiers pour charger Spanner, Cloud SQL ou un autre système

Ce que c'est

Service serverless de capture de changements (change data capture, CDC) et de réplication : il lit le journal de transactions d'une base de production et rejoue les modifications dans une destination analytique, sans requête lourde sur la source.

  • Trois objets : une configuration de connectivité privée (appairage VPC ou interface Private Service Connect) pour joindre une source sans passer par l'internet ; des profils de connexion, un par extrémité ; un flux (stream) qui relie un profil source à un profil de destination et choisit les tables.
  • Sources : bases MySQL, Oracle, PostgreSQL (dont AlloyDB), SQL Server, MongoDB, Spanner ; applications Salesforce, Salesforce Marketing Cloud, Microsoft Dataverse et ServiceNow.
  • Destinations : BigQuery, Cloud Storage, et les tables Apache Iceberg gérées par BigLake.
  • Deux phases : un remplissage initial (backfill) qui lit les tables entières, puis la capture continue des événements. Chaque événement est traduit dans un type unifié, représentation commune des types de toutes les sources.
  • Écriture dans BigQuery : en mode fusion, la table de destination reflète l'état courant de la source (UPSERT) ; en mode ajout seul, chaque changement devient une ligne, avec son type d'opération. Une colonne datastream_metadata porte l'identifiant de l'événement et l'horodatage de la source.
  • Facturation : au volume d'octets traités, sans coût fixe — un flux inactif ne coûte rien. Une franchise mensuelle de 100 Gio couvre les flux AlloyDB et Spanner vers BigQuery. Les opérations de fusion dans BigQuery sont facturées à part.

À quoi ça sert

  • Mettre une réplique analytique d'une base de production dans BigQuery, avec une latence de l'ordre de la minute, sans écrire de pipeline.
  • Alimenter un entrepôt à partir de plusieurs bases hétérogènes vers un schéma unique.
  • Migrer une base vers Google Cloud en gardant l'ancienne active : Datastream tient la cible à jour jusqu'à la bascule.
  • Produire un flux d'événements à partir d'une base existante, pour une architecture événementielle (via Cloud Storage, ou Pub/Sub en aval).

À éviter pour transformer les données au passage : Datastream réplique, il ne calcule pas. La transformation se fait après, dans BigQuery avec Dataform, ou dans un pipeline Dataflow. Pour un besoin de haute disponibilité entre deux bases transactionnelles, préférer la réplication native du moteur (voir Choisir une base de données).

L'octet facturé est une représentation interne de la donnée source, souvent deux à cinq fois plus volumineuse que la donnée elle-même : estimer le coût d'un flux à partir de la taille de la base conduit à le sous-évaluer. Côté destination, le paramètre max_staleness de la table arbitre entre fraîcheur et coût — plus il est bas, plus les fusions sont fréquentes et chères.

Alternatives en logiciel libre

  • Debezium : la référence du CDC, avec des connecteurs pour MySQL, PostgreSQL, Oracle, SQL Server et MongoDB ; s'utilise avec Kafka Connect ou en serveur autonome.
  • Apache Flink CDC : mêmes sources, intégrées à un moteur de traitement de flux avec état.
  • Kafka Connect : le socle de connecteurs source et puits, dont Debezium est l'implémentation CDC la plus répandue.
  • Meltano (licence MIT) et ses connecteurs Singer : réplication par lots ou incrémentale d'un large catalogue de sources, à la granularité de la table plutôt que de la transaction.
  • pglogical et les outils de réplication logique de PostgreSQL : réplication native entre bases du même moteur.

Documentation